1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Зимняя психометрическая школа: и опять четырехклеточные таблицы

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 4 янв 2019.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Уважаемые коллеги,



    21 января запись в нашу виртуальную школу остановлена. Почему? - Потому что зарегистрировались уже 74 человека, из которых 37 начали активную работу. На внутреннем блоге-форуме школы после первой недели появилось уже более 100 сообщений (!).



    Так что... если кто не успел, но интересуется, пожалуйста, подождите объявления о следующих циклах подобных "школ". Может быть, и "летняя" такая случится.



    Ваш АШ



    ======================================

    Здравствуйте, коллеги!
    Еще раз всех с наступившим НГ-2019.


    ПРОСЬБА: пожалуйста, поставьте этому сообщению лайк, если Вы считаете, что такую тематику нужно развивать СИСТЕМАТИЧЕСКИ - в рамках некой виртуальной "зимней психометрической школы".

    СВОДКА: после 1-го дня лайки поставили 14 человек. Если учесть, что половине из них такой ликбез НЕ нужен, то это маловато, конечно.
    Коллеги, если у кого-то будет возможность пригласить каких-то знакомых эйчаров (или психологов), то это будет хорошо. Мне пока не дают анонсировать такие мероприятия в группах для эйчаров (как правило, не дают).


    Сейчас в эпоху повального увлечения мощными ГОТОВЫМИ инструментами анализа данных возникает опасность еще большего разрыва между Специалистами и специалистами (одни пишутся с заглавной буквы, другие со строчной), между Аналитиками и пользователями (другими словами о том же). Разрыва в понимании СМЫСЛА АНАЛИТИЧЕСКИХ ПРОЦЕДУР.

    Даже базовые представления о корреляции в силу легкости подсчета показателей корреляции СНИЖАЮТСЯ или даже... "улетучиваются". Я это видел своими глазами не раз, когда просил "пользователей-специалистов" просто правильно разместить данные в электронной таблице - так, чтобы можно было их проанализировать с помощью коэффициента корреляции. НЕ МОГУТ (!?!).

    В связи с этим давайте попробуем еще раз поискать подходящий формат общения на эти темы. Прошлой попыткой стали "виртуальные психометрические ужины" - одномоментные вечерние онлайн-конференции в формате "чата". Выражали к ним интерес многие, но мало кто находил время вечером (в 21.00), а еще раньше - еще меньше :(

    Теперь вот думаю... Думаю о том, не попробовать ли банальные видео-лекции? - На самые банальные темы вроде "четырехклеточной корреляции", которую, увы, по моим представлениям многие "пользователи" до сих пор не освоили. Польза от видеолекций в том, что их можно смотреть асинхронно и... задавать вопросы. Причем, чтобы откладывание просмотра не превращалось в дурную бесконечность, думаю, что надо ограничить гарантированное время ответов на вопросы - например, одна неделя и не больше.

    Но... громоздить видео-лекцию на ту или иную тему - это опять-таки определенный труд. Для меня это труд бОльший, чем анонсировать эту тему в письменном виде. Вначале надо бы получить на анонс какой-то отклике, а затем уже - громоздить видео-лекцию в уверенности, что аудитория будет достаточно большой, что это труд имеет смысл..
    .

    Итак, про четырехклеточные таблицы сопряженности (ЧТС).
    Краткий план видео-лекции рождается примерно таким:

    1) Качественные данные и пересекающиеся множества (на диаграммах Венна).
    2) Построение ЧТС на основе диаграммы Венна (для "пересекающихся кругов").
    3) Декартова система координат и ЧТС.
    4) Конфигурация эллипсоида рассеяния в декартовой системе координат и ЧТС.
    5) Логические таблицы истинности и ЧТС
    6) Подсчет коэффициентов дискриминативности (КД) по строкам и столбцам ЧТС.
    7) Почему КД имеет разные значения по строкам и столбцам?
    8) Плюсы и минусы простейшего КД.
    9) Примеры подсчета КД для анализа "внешней валидности теста по критерию".
    10) Чем Фи-коэффициент удобней и полезней по сравнению с КД?
    11) Оценка значимости Фи-коэффициента.
    12) Построение ЧТС с помощью расщепления по медиане.
    13) Построение ЧТС по крайним (экстремальным) группам - по терцилям и квартилям.
    14) Как связаны КД, Фи и Линкор (линейная корреляция Пирсона) на одном массиве данных?

    Итак, покажем ниже фрагмент такой видео-лекции. Причем начнем... с конца - осветим пункт 14.

    Только что мы опубликовали здесь на форуме (и в группе TESTbyTEST на ФБ) данные о том, как связан возраст с успешностью в новогодней тест-игре MidiMelody. Напомним еще раз, как выглядит таблица и соответствующая диаграмма:


    Конкурные
    Баллы

    Молодые
    (до 33)

    Старшие
    (от 34)

    0- 300

    46%

    25%

    301- 700

    30%

    23%

    701- 1100

    16%

    28%

    1101 -1500

    8%

    25%
    А вот соответствующая диаграмма:

    Успешность от возраста.jpg

    Таблица, которая дается выше, НЕ ЯВЛЯЕТСЯ таблицей вида ЧТС по двум признакам:

    1) Количество строк больше двух.
    2) В клеточка даются проценты, а не частоты (численность испытуемых).


    Для начала вернемся к частотам:


    Конкурс. баллы

    Молодые

    Старшие

    0- 300

    35

    20

    301- 700

    23

    18

    701- 1100

    12

    22

    1101 -1500

    6

    20
    Поясним, что в левой верхней клетке число 35 указывает на число
    молодых людей, которые попали в самый низкий интервал по величине
    конкурсного балла.


    А вот как выглядит ЧТС, построенная на базе указанной восьмиклеточной таблицы:


    Расщепление по медиане

    Тест\Критерий

    До 33

    После 33

    Низкая Группа

    58

    38

    Высокая
    группа

    18

    42

    КД=

    0,76

    0,48

    0,28
    Поясним, как подсчитан ПРОСТЕЙШИЙ коэффициент дискриминативности (КД) по этой ЧТС. Это можно сделать буквально "на пальцах".

    1) Шаг 1: считаем 0,76 - это отношение численности успешных к общей численности в группе молодых (58/76 = 0,76).
    2) Шаг 2: считаем 0,48 - - это отношение численности успешных к общей численности в группе старших (38/80 = 0,48).
    3) Шаг 3: считаем разность этих двух дробей и получаем КД=0,28.


    Вопрос: 0,29 - это много или мало? Это значимо или можно пренебречь?

    Напомним, что соответствующий линейный коэффициент Пирсона (Линкор) равен 0,37,
    что обладает очень высокой значимостью (на уровне ошибки p<0,001 при численности выборки n=156).


    А теперь ГЛАВНЫЙ ВОПРОС (для этой части номер 14 лекции):

    Почему КД оказался ниже, чем Линкор? - Почему 0,28, а не 0, 37?

    Итак, стоит прежде всего обратить внимание, что ЧТС, указанная выше, получена путем самого грубого расщепления - по медиане. Клеточки этой ЧТС получены путем суммирования клеточек восьмиклеточной таблицы, так что в "низкую группу по конкурсному баллу" попали те испытуемые, которые набрали 700 очков и меньше, а в "высокую группу" - те, кто набрали больше 700 очков. При медианном расщеплении испытуемые, которых отделяет друг от друга только 1 очко (тот, у кого 701 попадает уже в высокую группу, а у кого 700 - в низкую), на самом деле могут по своим результатам НЕ РАЗЛИЧАТЬСЯ ЗНАЧИМО. Чтобы взять заведомо более значимые различия, давайте произведем анализ по "крайним" группам - произведем расщепление по четвертям (примерным четвертям). Тогда ЧТС будет выглядеть так:



    Расщепление по квартилям

    Тест\Критерий

    До 33

    После 33

    Низкая

    35

    20

    Высокая

    6

    20

    КД1=

    0,85

    0,50

    0,35
    Как видим, в данном случае КД уже приближается к значению Линкор (0,37), но... все-таки его не достигает.

    Но... КД может оказаться для этой же самой ЧТС и выше, если просто "перевернуть" (точнее транспонировать) таблицу - поменять местами строки и столбцы:


    Критерий\Тест

    Низкая

    Высокая

    До 33

    35

    6

    После 33

    20

    20

    КД2=

    0,64

    0,23

    0,41
    Ого! - Получили даже более высокое значение, чем Линкор, а именно - 0,41.
    Оказывается, КД меняется в зависимости от того, как мы считаем дроби
    - по строкам или по столбцам. Мы видим это на данном примере ярко!
    А вот среднее арифметическое значение КД1 и КД2 равно 0,38.
    Оно уже неплохо приблизилось к Линкор (0,37).


    Вставка: тут меня спросили: А зачем транспонировать? Мой ответ: эта
    операция показывает, что некоторые коэффициенты меняются, если
    поменять местами строки и столбцы. А мы ведь ожидаем, что ничего
    не меняется "от перемены мест слагаемых", а это, увы, не "слагаемые"
    вовсе. И не все коэффициенты получают одно и то же значения.


    Неужели КД надо каждый раз считать дважды? - Увы, чтобы не обмануться
    надо! Причем чем больше асимметричными оказываются переменные по строкам
    и столбцам (краевые суммы не равны), тем в большей степени этот двойной подсчет необходим (!).


    А что нам дает подсчет для этой ЧТС фи-коэффициента? Оказывается Фи-корреляция Гилфорда равна 0,38, причем значение это НЕ зависит от того, какую таблицу мы берем (исходную или транспонированную), ибо коэффициент Фи не зависит от того, что по строкам и что по столбцам. Видим, что его значение совпадает с усредненным КД (0,38) и сразу же неплохо приближается к Линкор (к 0,37).

    Значимость Фи-коэффициента легко оценить по следующей формуле, являющейся обратным преобразованием статистического критерия Хи-квадрат
    для уровня значимости p<0,001 и одной степени свободы:

    ФИкрит = КОРЕНЬ(10.8/(35+6+20+20) = 0,365


    Уфф! Значимость того же высокого уровня (низкой вероятности ошибки) с помощью ФИ достигнута (того, что и для линейной корреляции), но... едва-едва. Так что на этом примере видим, что проверка значимости Фи-коэффициента ведет себя даже строже (!).



    ИТАК. ОБЩИЙ ВЫВОД.

    Произведенные "на пальцах" расчеты на указанном понятном (я надеюсь!) примере иллюстрируют для нас смысл Фи-коэффициента как наиболее удобного инструмента для измерения статистической связи двух бинарных переменных, связанных друг с другом с помощью ЧТС - четырехклеточной таблицы сопряженности. Эти расчеты показывают, что при достаточно сбалансированных двух переменных значения Фи-коэффициента оказывается весьма близким к значению линейной корреляции. Но... на мой вкус, все, что нам дает ЧТС по сравнению с линейной корреляции - это гораздо более высокая наглядность полученной связи: пропорция в одной группе ИНАЯ, чем в другой (!) - в этом смысл, это надо постараться ПОНЯТЬ. Как? - Ну хотя бы просто раскрыть глаза и увидеть, глядя на значения частот в "четырех соснах" - в четырех клеточках таблицы.

    ЛИРИЧЕСКОЕ ОТСТУПЛЕНИЕ: про строки, столбцы и конкретное мышление.

    Что такое конкретное мышление? - Абстрактное понятие связано намертво с определенной "наглядной картинкой". Например, чтобы увидеть прямой угол в треугольнике, этот треугольник для человека с конкретным, наглядно-образным мышлением приходится обязательно размещать так, чтобы он "стоял на одном из катетов", а прямой угол находился обязательно сбоку. А если такой прямоугольный треугольник положить на гипотезу, так что прямой угол окажется верхним, то... конкретное мышление может вовсе не опознать, что этот треугольник является прямоугольным (?!). Почему? - А ему легче "разглядеть" прямой угол, когда одна линия идет строго по горизонтали (один катет), а другая -строго по вертикали (другой катет).

    Примерно тоже самое получается у нас с пресловутыми этими ЧТС - четырехклеточными таблицами. Стоит произвести транспонирование и... перестает распознаваться такая структура данных, которая работает на проверку валидности. Ибо человек с конкретным мышлением должен обязательно привыкнуть "ВИДЕТЬ", что по столбцам - критерий, а по строкам - результаты теста (попадание в высокую и низкую группу), а если по-другому... то, ситуация уже не распознается. Я это видел СОТНИ РАЗ у студентов психологов старше 20 лет. Студентов МГУ (!), а что Вы хотите от рядовых эйчаров, которым, как и кассирам-операционистам, ни одну формулу нельзя давать в руки, а надо давать "таблицы перевода" (сырых баллов в стандартные, например), ибо таблицами они пользоваться умеют, а формулами... нет.

    О том, как трудно усваивать абстрактные математические правила, говорит нам опыт преподавания математики для ... маленьких детей (до 9-10 лет, когда логичекое мышление только-только вызревает). Правила математики у детей срастаются с образами конкретных предметов. И это на данном этапе не так плохо! Нужно этим пользоваться, чтобы ребенок мог хотя бы в конкретной форме что-то освоить. А если у него в голове мелькают и "толкаются" разные картинки, то он будет обязательно путаться. Например, если раньше времени ребенку начать ВБИВАТЬ коммутативный закон умножения (от перемены мест сомножителей произведение не меняется), то он... начинает путаться в делении, ибо НЕ ПОНИМАЕТ, какой именно делитель надо выбрать для решения той или иной содержательной задачи. Но... об этом в другой ветке идет разговор - "Сколько яблок растет на березе".
    Последнее редактирование: 22 янв 2019
  2. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Я за вечерние пятничные лекции/ чаты и т.п., п.ч. после пятницы - суббота, и можно лечь спать попозже. А на неделе, особенно по понедельникам, и с учётом поясного времени это было сложно.
  3. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    А, я думаю, что видео-лекция - это самый удобный вариант, с последующим ее обсуждением в течение какого-то времени. А если уж очень много вопросов или какой-то супер важный вопрос возник, то можно онлайн собраться
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Инна, спасибо за ваш отклик.

    Давайте, может быть, попробуем режим видео-лекции ... с продолжением, о котором тут написала уже Наташа Завоеванная.

    Ваш АШ


  5. Ярославцева Е.И.

    Ярославцева Е.И. Локомотив

    С новым годом! Всем удач, творчества и времени!
    Пушистый снег создает настроение и определенное затишье. Возникает ощущение отдыха. Кажется.
    Прочла про таблицы и в принципе, поняла. Терминологическую нетренированность преодолела. Особенно хорош пример с треугольником, опирающимся на катеты. Но в принципе смена горизонтальных показателей на вертикальные тоже не вызывает сложности. Не кубик Рубика.
    Кстати, вспомнилось - видела в аэропорту Бостона команду россиян после соревнований по сбору этого кубика. Так они и во время кофепития форму не теряли, одновременно вертели эти кубики, соревнуясь между собой за фантастическое время!!! Я смотрела - как. Мизинцем запускали на скорость один слой, другим пальцем подгоняли на несколько оборотов другой и в перпендикулярном направлении делали что-то со средним. Фантастика! Ехали, конечно же, с первым местом! Куда-то в новое место....
    Так таблицы со значениями вертеть -проще пареной репы. И соотношения находить, что в вертикали, что в горизонтали - какая разница? Все от тренировки зависит.
    Я правильно мыслю, Александр Георгиевич? (Надеюсь)
    Но когда пытаешься удерживать еще и смысл этих цифр - заморочка получается. Тормозишь. Вопрос, ради чего эти цифры крутить надо, остается, особенно, если не специалист, или Специалист, но в другой области.
    Учиться, конечно, надо.
    Мне кажется, что школа, реализующая "человеческий фактор", отношения понимания очень важна. Это понимание, через взаимопонимание. Через согласованность в реальном, а не в табличном формате.
    Поскольку время сжато, то можно использовать и вебинары, которые дадут эффект удаленного, но конкретно происходящего общения. С вопросами, как формой обратной связи.
    Мне и данный текст тоже понравился, но не уверена, что терминологию наполнила верно, а каждый раз погружаться в словарь нет времени, а то не вынырнешь оттуда.
    Я бы постаралась на вебинары успеть.
  6. Ярославцева Е.И.

    Ярославцева Е.И. Локомотив

    Пожалуй и про пятницы тоже верно.
    Шмелев А.Г. нравится это.
  7. Козлова Ю.С.

    Козлова Ю.С. Модератор Команда форума

    Хорошая идея с видео-лекциями! Если будут ещё и задачи на понимание материала, будет вообще замечательно!
    Я, правда, не знаю, смогу ли найти время на прослушивание и выполнение заданий (проходила курс "Теория игр" осенью, всё время выбивалась из графика) :(
    Шмелев А.Г. нравится это.
  8. Царев В.П.

    Царев В.П. Участник

    «понимание, через взаимопонимание» Елены Ивановны похоже на Зону Ближайшего Развития, но не в паре взрослый+ребёнок, а репетитор+ведомый(взрослый).

    Понято ли читателем транспонирование?
    Как это отрефлексировано:
    1) таблицы со значениями вертеть -проще пареной репы.
    2) что в вертикали, что в горизонтали - какая разница? Все от тренировки зависит.
    3) Вопрос, ради чего эти цифры крутить надо, остается...
    Значит, «ниасилил»

    Проверку внимательности - не прошли :-(
    Шаги 1 и 2 подсчёта КД: «отношение численности успешных к общей численности»

    «фрагмент такой видео-лекции» выглядит как книжный учебник, а не видео :-(
    [в начале было обещано - «анонсировать эту тему в письменном виде»]
    Предлагаю для уменьшения трудоёмкости поменять порядок действий - вместо
    «получить на анонс какой-то отклике, а затем уже - громоздить видео-лекцию»
    1) сначала сделать пронумерованные слайды PowerPoint с минимумом текста и с речевым сопровождением (ссылка для скачивания файла презентации https://yadi.sk/i/BxCNE1Rv7ebReA ),
    2) зрители «асинхронно» (в индивидуальном темпе) прослушивают, и задают вопросы к слайдам голосом («затирая» речь лектора) и/или добавляя слайды [с письменными вопросами, решениями задач...],
    3) лектор обобщает вопросы/ответы/исправления решений - в новых поясняющих слайдах (с голосом), размещая их в ленте сообщений форума,
    4) спустя неделю публикует дополненную версию лекции.
    Тарасенко Н.Н. нравится это.
  9. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Владимир Петрович, добрый вечер
    Вы все очень стройно изложили по поводу тех организации лекции. Но...Боюсь, что все застопорится на этапе "скачали презентацию". У большинства желающих. Следовательно, усилия автора будут не оправданы Поэтому я бы предпочла сразу увидеть видео- лекцию, а не презентацию в поверпоинте.
    Никитина И.А. нравится это.
  10. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Наташа, а я ведь планировал видео-лекцию как презентацию с голосовым сопровождением. Просто... Не понял, как при этом люди будут задавать вопросы голосом. Владимир, можете пояснить? Спасибо за ваши замечания и советы.

  11. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    А я, поняла так, что Петр Владимирович, предлагает просто презентацию, которая открывается через поверпоинт. А, Вы предлагаете тоже самое, но в формате видео, Александр Георгиевич? Одним файлом?
  12. Царев В.П.

    Царев В.П. Участник

    Добрый вечер, Наталья Сергеевна.
    Отвечаю на #9.

    Инициатор темы предложил «еще раз поискать подходящий формат общения» в рамках некой виртуальной психометрической ликбез-школы.
    В ленте сообщений упомянуты следующие варианты и их достоинства/недостатки:

    1) одномоментные вечерние онлайн-конференции. #1: мало кто находил время вечером (в 21.00), а еще раньше - еще меньше. #2: с учётом поясного времени это было сложно.

    2) банальные видео-лекции (записанные, и лектор уже в офлайне). #1: Польза в том, что их можно смотреть асинхронно и... задавать вопросы. Причем, чтобы откладывание просмотра не превращалось в дурную бесконечность, ограничить гарантированное время ответов на вопросы - например, одна неделя и не больше. #3: А если уж очень много вопросов или какой-то супер важный вопрос возник, то можно онлайн собраться. #7: смогу ли найти время на прослушивание и выполнение заданий.

    3) [онлайн] вебинары, которые дадут эффект удаленного, но конкретно происходящего общения. #5: Я бы постаралась на вебинары успеть.

    4) презентации PowerPoint с записанным речевым сопровождением. #8: зрители «асинхронно» (в индивидуальном темпе) прослушивают, и задают вопросы.

    Что Вы бы добавили и уточнили по этим четырем вариантам?
  13. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Я бы выбрала пункт 2 или пункт 4. Если говорить о пункте 4, думаю, что лучше записать презентацию в форме видео, потому что часто два файла звуковой и сами слайды могут не запуститься, банально из-за сохранения в разных папках, например. В общем, одним файлом удобнее и на форуме публиковать.
  14. Царев В.П.

    Царев В.П. Участник

    Александр, Вы планируете делать "обычные" слайды со "встроенным" звуком, но без "видеоклипов"?

    Чтобы к слайду записать голосовой вопрос (заменяя первоначальный звук), надо скачать файл презентации PowerPoint, выбрать нужный слайд, выбрать панель "Показ слайдов", нажать треугольник "Запись показа слайдов", "Начать запись с текущего слайда", выключить галочку "Время показа слайдов и анимации", "Начать запись" и говорить. Для остановки записи нажать крестик вверху слева.

    1.png 2.png
  15. Царев В.П.

    Царев В.П. Участник

    Разных папок нет. Скачайте _один_ файл из #8, запускайте, смотрите и слушайте - Ваши опасения исчезнут :)

    На форуме можно публиковать файлы максимально 4,9 МБ, поэтому презентация размещена на Яндекс-Диске.
  16. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Да? Спасибо. Не знала. Все презентации с голосом именно с двумя файлами.
  17. Царев В.П.

    Царев В.П. Участник

    Так было в старых версиях PowerPoint.
    У меня версия MS Office 2010.
  18. Царев В.П.

    Царев В.П. Участник

    Записал вопросы к двум слайдам.
    Файл получился меньше 4,9 МБ - прикрепился к этому сообщению.

    Вложения:

  19. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    У меня Офис 2007. И там два файла, насколько помню. Вот и приходим к тому, что я говорила раньше. Как не печально, но это так.
  20. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Владимир я выслушал Ваши вопросы.

    Скажите, пожалуйста, а Вы считаете, что наши пользователи
    смогут сами:


    а) Скачивать файл
    б) Записывать голосовое сообщение к каждому слайду
    в) Загружать файл на форум?


    Как Вы думаете, какой процент пользователей сумеет это сделать?
    Точнее вопрос даже не так формулируется: Какой процент
    пользователей НЕ поленится это сделать?


    Можете хотя бы взять известных Вам зарегистрированных
    участников этого сообщества - как базу для такой оценки.


    АШ