Еще раз про корреляцию и проценты

Если она "не решает задачу индивидуального предсказания", то как это соотнести с примера АШ о выборе одежды по прогнозу погоды? Либо пример, либо Ваше высказывание не валидны. Давайте уже определимся: если формула не предсказывает вероятность единичного события (по бинарной номинативной шкале), то о чем она вообще? Каков ее практический смысл?
По Вашей ссылке: тот текст относится к концепции мощности критерия отвержения/принятия нулевой гипотезы, а не к бинарному предсказанию вероятности события.
Вы предлагаете пользователю проводить собственный метаанализ при выборе подходящего психодиагностического инструмента? Это такая шутка? Сколько "существующих" (цитирую Вас) метааналитических исследований по отечественным методикам Вы знаете?
Александр Георгиевич! Мне бы очень хотелось узнать Ваш ответ на мой вопрос. Желательно, конкретный и прямой

Петр,

я такой формулы, увы, не знаю. Более того, не думаю, что она вообще существует,
ибо внутри широкой категории основная масса наблюдаемых событий может
быть распределена очень по-разному: в одном случае, эта масса может размещаться
ближе к границе между категориями и это даст низкой вычисленное значение t-критерия,
а в другом случае- дальше от границы и это даст высокое t. Так мне представляется.
Нужны дополнительные ограничения, чтобы появилась такая формула. Например,
предположение, что каждое из двух распределений (в двух группах) имеет
строго-нормальное распределение со средними в середине каждой
категории-интервала и равные дисперсии.

С ув,
АШ

Петр Всеволодович,

я в своем понимании связываю мощность эффекта с размером выборки, на котором
установлен коэффициент предсказания. Если Вы располагаете малюсенькой выборкой
в 10 человек и установили эмпирический коэффициент точности на уровне 90 процентов, то ожидаемый
разброс может достигать 50 процентов и больше, не правда ли? А вот если выборка
у Вас в 1000 человек, то в этом случае 90 процентов точности означает, что вряд
ли истинная вероятность прогноза ниже 85% процентов. Понятно ли я говорю,
на ту ли тему, по которой Вы задаете вопрос?

Ваш АШ

Спасибо, Александр Георгиевич!
Похоже, тут оказались смешаны две темы. Первую поднял я: по поводу вычисления прогноза на основе t Стьюдента. Вторая появилась с подачи Юрия Александровича, - про мощность критерия, но она к моему вопросу прямого отношения не имеет. Ведь при малой выборке и формула на основе корреляции тоже не даст точного прогноза. Поэтому, давайте оставим тему мощности в покое. А на мой вопрос Вы ответили: формулы либо нет, либо Вы о ней не слышали. Это и есть прямой и конкретный ответ. Осталось только рассеять сомнение: годится ли формула на основе корреляции для предсказания единичных событий. Если нет, то на что она годится?

Петр Всеволодович,

"единичное событие" в случае вероятностного прогноза - это для меня
лично "квадратура круга". Некий абстрактный вопрос на грани с риторическим.
Как мы можем подсчитать надежность прогноза при "единичном событии"
пока оно остается единичным? - Для меня на этот вопрос нет ответа и не
может быть. Ну не все так устроено в природе, чтобы на любые вопросы
был ответ, понимаете.

Вероятностный прогноз - это такой прогноз, которые дает "прирост к
случайному угадыванию" только в случае МАССОВЫХ ПРОЦЕССОВ.
Если нет массовых процессов, то и нет смысла в вероятностном прогнозе.
А для массовых процессов коэффициент корреляции может предсказать
точность прогноза, хотя точность такого предсказания будет не высокой.
Любая эмпирическая проверка даст какую-то величину, которая будет
отклоняться от предполагаемой.

Что касается t-критерия, то всем известно, что этот критерий используется
для оценки значимости линейной корреляции Пирсона (чуть ли не сам
Пирсон это когда-то предложил):

http://medstatistic.ru/theory/pirson.html

Но эта формула касается не прогноза, а оценки статистической
достоверности отличия r от нуля.


Ваш АШ

А как же Ваш пример с выбором одежды по метеопрогнозу? Вы в данном случае ведь один? И для себя предсказываете вероятность дождя. Аналогично, - для конкретного соискателя Вы предсказываете его успешность на основе его конкретного результата тестирования. Это я понимаю под единичным случаем. И при чем здесь надежность? Если Вы получили коэффициент корреляции, то какие сомнения в надежности? Я пытаюсь понять практический смысл от использования формулы 0.5+r*0.5. Или я как-то неправильно спрашиваю?

Ну ладно. Давайте пойдет в дебри, связанные с различением априорной и апостериорной
вероятности события. Мы формируем априорную вероятность единичного события на основе
массы аналогичных событий. И... принимаем решение зонт не брать (ибо дождь будет
с прогнозируемой вероятностью менее 0,5, а теплую куртку одеть, ибо полагаем, что градусов
будет не больше 10). Но... выясняется, что прогноз оказался ошибочным. И что делать?
Можно ли по единичному событию вычислить апостериорную вероятность ошибки?
- Нельзя. Нужны более массовые наблюдения, чем единичные.

Мы иногда смешиваем такие вещи, как вероятность и цена ошибки.
Если цена маловероятной ошибки высокая (потери высоки) и ошибка наступает,
то это нас стимулирует к тому, чтобы заняться новыми иссследованиями - изучить
массу аналогичных случаев, чтобы скорректировать априорную вероятность
(в отношении будущих событий) на основе апостерирной (на основе прошлых
событий). Зачем вообще требуется это терминологическое различение - априорной
и апостериорной вероятности? - Не лишняя ли это "игра умными словами"? - А ведь
дело в том, что уравнивая эти два вида вероятности мы Не осознаем, что
делаем ключевое допущение, которое, увы, не всегда является корректным - что
сумма факторов (система факторов), влияющих на событие, в будущем остается
тем же самым, что было в прошлом, пока мы собирали данные об эмпирической
(апостериорной) вероятности. Если мы же знаем, что какой-то фактор заведемо
уже изменился (и понизил вероятность, например, или повысил), то в
априорную надо уже заранее вносить поправку, опираясь на апостериорную,
но не принимая ее автоматически.

С ув,
АШ

И еще немного про различение апостериорной и априорной вероятности.
Я тут написал в группе "Автомобилисты Москвы" (на Фейсбуке) про то,
как запаздывает Яндекс-навигатор. Он опирается в своем прогнозе
длительности маршрута на веб-камеру, которая снимает состояние (скорость
трафика) на какой-то улице или магистрали в данный момент. Но...
автомобиль Ваш прибудет на это место лишь через энное количество
минут, а к этому времени ситуация в этом месте может измениться.
Если туда отправиться (по совету от самого навигатора) сразу множество
автомобилей, то скорее всего возникнет пробка как раз там, где она
в данный момент не прогнозируется. Так возникает ситуация "рефлексивной
игры", которая вносит всегда очень большую поправку при расчете
априорной вероятности. Ее просто приходится прогнозировать "с точностью
до наоборот", опираясь на апостериорную. Если апостериорная низкая
(вероятность пробки оценивается как низкая), то значит априорная
вероятность будущего события на самом деле будет, наоборот, высокая.

Единичное событие зависит не только от систематических и регулярных
факторов (сезонных, например), но и от сиюминутных уникальных (ситуационных)
факторов. Если мы понимаем механизм влияния этих уникальных
факторов на вероятность, то мы строим прогноз единичного события
не на основе "типового прогноза", а строим уникальный прогноз - "Здесь и теперь".
Оценить количественно надежность такого уникального прогноза
очень трудно. Я не знаю, как ее оценить. Только эвристическими
методами, по-видимому.

С ув,
АШ

Александр! Я задал вопрос: зачем нужна формула предсказания? Предположим, что я не дебил, и понимаю, что 65% вероятности, - это не 100%. И я не обижусь на прогноз из-за его вероятностного характера. И я не собираюсь на основании ошибки апостериорно ничего больше вычислять. И я понимаю, что есть еще масса причин, почему 65% могут превратиться в 35%. Так могу я, с этими оговорками, использовать формулу для предсказания своих действий или наступления событий? Для себя, для клиентов, испытуемых и пр.? Эта формула, из-за которой весь сыр-бор, - как ее ИСПОЛЬЗОВАТЬ для практики????

Петр,

есть по крайней мере 2 цели, для чего можно использовать обсуждаемую формулу:

1) Более простая задача (цель) - выбор из двух и более альтернативных
источников прогнозирования. То есть, это задача сравнения эффективности.
Если у нас есть тест, по который известно, что он дает 65%, и живой
человек-интервьюер, про которого известно, что он дает 60% и не
существует возможности их использовать одновременно (надо
выбирать - либо платить зарплату интервьюеру, либо закупать
лицензию не тест), то лучше выбрать тест. Согласитесь, чтобы
что-то сравнить, надо привести эти 2 источника к одинаковой шкале,
но если тест дает линейную шкалу прогноза, а человек - бинарную,
то и сравнить нельзя.

2) Более сложная задача - определение необходимости поиска
дополнительных источников. Если у нас точность теста только 65%,
а нам надо повысить ее до 90 процентов (чтобы сократить ожидаемые
потери от ошибки до приемлемого уровня), то вывод такой - надо
искать еще дополнительные источники, которые в сумме с данным
источником позволят повысить точность.

Главное: знание примерной вероятности ошибки нам позволяет
предсказать размеры ожидаемых потерь: надо цену потерь
умножить на вероятность ошибки.

Это не все задачи, но я попробовал перечислить.

С ув,
АШ

Ну, вот!!! А ведь я подозревал, что все довольно просто. Спасибо! Осталось только приобрести Ваш учебник и скорректировать процент через перекос вероятности.
Вдогонку, еще вопрос, если позволите. Снова про единичный случай.
Преамбула такова: величина ошибки прогноза уменьшается при увеличении баллов по предиктору, полученных конкретным испытуемым. Например, ошибка при приеме на интеллектуальную работу соискателя, имеющего высокий IQ, состоящая в том, что он не справится с этой работой (я упростил). Есть ли возможность выразить эту закономерность в процентах ошибки бинарного прогноза? Например, - как функцию от величины IQ вероятности ошибки в процентах . Подозреваю, что это связано с величиной стандартного отклонения и доверительным интервалом. Я прав? Хорошо бы иметь формулу либо табличку пересчета. Куда посмотреть?

Петр,

я понимаю Ваш вопрос следующим образом (пересказываю его своими словами): Уменьшается
ли точность прогноза на полюсах шкалы тестовых баллов? Так?

Дело в том, что это не всегда так. Когда это так? В двух случаях (и при их сочетании):

1) частенько на полюсах концентрируются малодостоверные и случайные высокие показатели,
которые не отражают реального высокого уровня измеряемого свойства.

2) сам внешний критерий (прогнозируемое событие) часто не связан на всей области изменения
линейным образом со шкалой тестового балла: после какого-то оптимального
значения измерямого психического свойства вероятность прогнозируемого
события объективно больше не растет и даже снижается (например, не требуется для каких-то
видов работ иметь сверхвысокий IQ, который даже мешает - снижает вероятность успеха).

Но... реже, но бывает и так, что высокие тестовые баллы приводят к повышению
вероятности прогнозируемого события. Это наблюдается в двух случаях (и при их
сочетании):

3) когда на интервале тестовой шкалы, близкой к высокому полюсу,
ошибка измерения не нарастает слишком сильно, то есть тест сохраняет
свою достоверность и валидность в отношении измереямого свойства.

4) когда измеряемое свойство именно при своих высоких значениях
обеспечивает БОЛЕЕ высокую вероятность достижения требуемых
критериальных показателей (прогнозируемого события). То есть,
когда для успеха в работе, например, требуется не просто "повышенное
значение", а высокое и даже очень высокое значение измеряемого свойства.


Как различать эти случаи? - Очень просто. Надо действовать эмпирическим
путем - изменять положение "точки отсечения" (cut score) на шкале и
пересчитывать четырехклеточную корреляцию. Если при повышении
точки отсечения коэффициент корреляции растет, то значит наблюдаются
случаи 3 и 4. При этом, конечно, повышается асимметрия и надо применять
поправку на несбалансированность краевых сумм таблицы сопряженности.

С ув,
АШ

Петр Всеволодович, по-моему неплохой способ выразить такую зависимость - т.н. карта прогноза. Прилагаю пример такой карты, позаимствованной из чудной книжки Б.Шнайдера и Н.Шмитта (2004) в виде презентации (вырезка из моих учебных материалов)

Александр Георгиевич!
Вы: "я понимаю Ваш вопрос следующим образом (пересказываю его своими словами): Уменьшается
ли точность прогноза на полюсах шкалы тестовых баллов? Так?"
Нет, я имел в виду как раз обратное: то, что Вы описали в пункте 4, и то, что Константин Владимирович (Спасибо!) проиллюстрировал своей "Картой прогноза", если я правильно ее понял. А именно: увеличение точности индивидуального прогноза с увеличением балла по предиктору. Но за дополнительную информацию и подробный разбор проблемы - огромное спасибо!
Константин Владимирович, "Прогностическая оценка" на "Карте" - это что: баллы по некоему тесту (предиктору) или оценка предполагаемого качества работы соискателя? Если первое, то нет ли возможности выразить точность индивидуального прогноза в цифровом выражении. Может, его выражает плотность распределения на вертикальных срезах?
Коллеги, у меня складывается субъективное впечатление, что психометристы этого форума больше озабочены подбором и валидностью вероятностной модели, характеризующей некий измерительный инструмент в целом. Меня же интересует валидность суждения по поводу конкретного испытуемого. Понимаю, что без первого не может быть второго. Но ответы, которые мне приходят от присутствующих (за что всем огромное спасибо!), освещают только первую часть проблемы.

«Прогностическая оценка» - это, естественно, предиктор (частная оценка за тест или интегральная по результатам выполнения тестовой батареи – в данном случае неважно).
«Критерий» – это некое числовое выражение эффективности деятельности работника (учащегося…), выраженное, как и предиктор, в континуальной шкале. Например, рейтинг непосредственного руководителя, средний балл за курс обучения, объем продаж и т.п.
Далее идет серия допущений, которые приближают нас к пониманию того, как это работает, но не являются точным зеркалом реальности, увы.
1) Предполагается, что распределение показателей эффективность деятельности группы работников можно описать нормальным распределением (недавно О’Бойль и Агуинис показали на огромной выборке, что в ряде сфер – спорт, наука, искусство, политика… это предположение не выполняется).
Это предположение отражается в серии N-распределений вдоль оси предиктора.
2) Предполагается, что всех работников можно поделить на «успешных» и «неуспешных» без каких-либо переходных уровней. Мы здесь прибегаем к дихотомизации, поскольку многим гражданам, а порой и государственным институтам, легче думается в терминах черно-белого мышления или категорий (годен/не годен; хороший/плохой, друг/враг, здоровый/больной и т.п.).
Это предположение отражается в появлении горизонтальной линии, проецирующейся на некую точку на оси критерия, которая и делит всех работников на «успешных» и «неуспешных».
Для группы кандидатов с определенной оценкой по предиктору точность прогноза выражается в соотношении площадей под кривой каждого частного нормального распределения над и под этой линией.
На «карте прогноза» видно, что при низких оценках предиктора большая часть отобранных лиц оказывается под линией, т.е. неуспешными. Но на этой же иллюстрации реалистично показано, что даже при таких оценках какая-то часть кандидатов справилась бы с работой. Просто эта доля очень невелика. Стало быть, отсеивая кандидатов с такой оценкой, мы поступим «негуманно» по отношению к этой части кандидатов, но сэкономим организации значительные средства, избавив ее от изрядного числа негодных работников.
На другом полюсе – другая картина: абсолютное большинство кандидатов с условной оценкой «35» (по предиктору) оказывается успешными работниками, тогда как незначительное меньшинство даже в этом случае окажется неуспешными. Но соотношение площадей совершенно другое.
Из этой иллюстрации должно быть понятно, что когда мы переходим к индивидуальному прогнозу, мы ничего не можем утверждать наверняка (с пресловутой «100%-ной точностью»), но лишь с некоторой вероятностью. Чем ближе мы к краям диапазона распределения предиктора, тем более определенным будет наш прогноз: при низких оценках - скорее всего, не пригоден; при высоких – скорее всего, пригоден.
Возможно, более перспективный подход связан с расчетом доверительных интервалов в окрестностях индивидуальной оценки, но он предполагает, как раз, отказ от дихотомического мышления. В двух словах сформулировать это мне «не по зубам»; я бы порекомендовал статью
Cumming G. The new statistics: Why and how // Psychological Science, 2014, V.25, N.1, p.7-29,
в которой, в том числе, даются ссылки на различные бесплатные ресурсы и Интернет-калькуляторы для расчета величин эффекта, доверительных интервалов и других полезных вещей.

Да, и, конечно, t-критерий – это вообще «ни о чем». Хотя он и зависит от величины эффекта (например, значения коэффициента корреляции), но сам никакого отношения к точности прогноза не имеет.

P.S. Вместо того чтобы прививать студентам-психологам мета-аналитическое мышление, их фокусируют на мнимой важности оценки «статистической значимости нулевой гипотезы». И таким образом указывают простой и надежный путь к тому, как надо сфальсифицировать результатов исследований ради защиты диплома – опубликования статьи – обретения «корочек» и т.д. Но это уже другая песня.

С уважением, К.Сугоняев

Константин Владимирович! В целом, Вы подтвердили моё понимание "Карты". Меня очень интересует ее интерпретация вот в этой части:
"Из этой иллюстрации должно быть понятно, что когда мы переходим к индивидуальному прогнозу, мы ничего не можем утверждать наверняка (с пресловутой «100%-ной точностью»), но лишь с некоторой вероятностью. Чем ближе мы к краям диапазона распределения предиктора, тем более определенным будет наш прогноз: при низких оценках - скорее всего, не пригоден; при высоких – скорее всего, пригоден." Мой вопрос и касается цифрового выражения "некоторой вероятности", например, в % ошибки бинарного прогноза. При этом никто и не ожидает 100%, но вот - сколько процентов? - хотелось бы знать. Как бы измерить это Ваше "скорее всего"? Например, на сколько (в % ошибки бинарного прогноза) соискатель с баллом 35 предпочтительнее соискателя с баллом 30? Могу предположить, что средние частных распределений находятся на линии регрессии. Тогда для вычисления этого % мог бы как-то помочь коэффициент корреляции? Но - как?

Елена Ивановна,

соглашусь с Вами в том. что риск выгорания убывает.
Хотя я ни разу в этом ракурсе над эффектом вероятностного
мышления и статистической компетентности НЕ задумывался.

Ваш АШ