Еще раз про корреляцию и проценты

Людмила Николаевна.

и Юрий Тукачев, и я уже не раз описывали это на вашем персональном блоге в ветке,
посвященной цветовой психодиагностике. Юрий остроумно предложить применить
САМУЮ ПРОСТЕЙШУЮ процедуру, которая почти что не взывает к какой-либо
"математике от психологии" - посмотреть, сколько процентов испытуемых дадут
согласие со своим "портретом", построенным на основании МЦВ, и Вы дали уже один раз
согласие на эту процедуру и даже любезно согласились дать "двум выборам",
который произведет каждый респондент-доброволец, именно свою модифицированную
интерпретацию. Единственное дополнение к этой почти "бытовой процедуре"
заключается в том, что половина респондентов получит истинное заключение,
а другая половина (контрольная группа) - ложное, которое будет определенно с помощью "датчика
случайных чисел". Если среди тех, кто получил "ложную обратную связь" будет
примерно такой же процент согласных, как и среди тех, кто получил истинную, тогда
все дело просто во внушаемости испытуемых (эффект Барнума).
Я уже начал работу по программно-методическому обеспечению
этой процедуры (чтобы не все делать вручную) и на это еще потребуется время.
И вдруг Вы решили, что разговор про проценты и корреляции настраивает
Вас против и того, и другого (извините, если я неправильно Вас понял).
В нашем запланированном эксперименте мы будем иметь дело только
с процентами, а не с корреляциями, как Вы видите.

С ув,
АШ

А, в этом плане)

Согласен! Только тогда это получается не только оптимизм или пессимизм, а еще и ошибка первого и второго рода.

Я бы ещё уточнил один момент. Можно коррелировать две метрические переменные, а потом по одной брать попадание в крайние группы как бинарное событие. А можно сразу брать бинарную и метрическую переменную и считать бисериальный коэффициент корреляции. Рискну предположить, что точность прогноза в этих случаях будет определяться по-разному. Впрочем, я бы для такой ситуации сразу делал логистическую регрессию.

Ксения, здравствуйте.

Давайте рассмотрим для простоты шкалу температуры.
Вот уж казалось бы совершенно количественная, континуальная
шкала, которая измеряется по Цельсию в градусах. Прикладывая
руку ко лбу больного ребенка, мы пытаемся интуитивно (приближенно)
оценить, есть у него температура или нет. Точность нашей субъективной
оценки можно измерить, если составить таблицу вида:

Наблюдение №	1	2	3	4	5	6	7
Субъективная оценка	37,4	36,6	38,5	39,5	37,3	38,1	36,6
Реальная температура, измеренная градусником	38,2	37,3	37,7	38,1	36,5	37,4	36,9
Субъективное Решение	Улица	Улица	Дом	Дом	Улица	Дом	Дом
Объективное решение	Дом	Улица	ДОм	Дом	Улица	Улица	Дом

Известно, что при температуре 37,5 и выше не рекомендуется выходить из дома и требуется вызывать врача на дом. Допустим, что родитель руководствуется этим формальным правилом. Сколько ошибок он допускает? - Очевидно, что 2 ошибки из 7 возможных (см. таблицу). Какова точность его субъективных решений? В процентах это 72 процента. А какова линейная корреляция субъективных континуальных ощущений и объективных показаний градусника? - Пирсоновская линейная корреляция равна 0,58.

Вот какая четырехклеточная матрица сопряженности 2 на 2 описывает эти 7 случаев (наблюдений):

	Объективное решение УЛИЦА	Объективное решение ДОМ
Субъективное решение УЛИЦА	2	1
Субъективное решение ДОМ	1	3

Фи-коэффициент связи по этой таблице будет равен 0,42 (еще меньше, чем Пирсоновский). Поясню, что для таких маленьких выборок, конечно, нет такой строгой и простой зависимостью между корреляцией и точностью в процентах. Но уже этот простой пример иллюстрирует то факт, что, как правило, мера корреляции оказыватся НИЖЕ, чем точность в процентах.

Но что для нас важнее: точность наших решений или линейная точность нашего "интуитивного ощущения температуры"?

К сожалению, научный подход к измерению часто не акцентирует внимание к этим моментам - к тем, которые крайне важны для прикладных измерений. Мы ведь измеряем в прикладных целях прежде всего для того, чтобы принимать решение. И решений у нас нередко всего 2. Ну... а если их 3 или 4, то ситуация не сильно меняется. Чтобы просчитать точность надо просто построить таблицы сопряженности не 2 на 2, а 3 на 3 или 4 на 4, например. И по главной диагонали этой таблицы (там, где совпадают субъективные решений и объективно-обоснованные решения) будет стоять сумма правильных решений. Эту сумму решений надо указать в числителе дроби, а все возможные решения - в знаменателе. Затем дробь умножить на 100 и получится точность, выраженная в процентах.

Коллеги,

по моему убеждению, большая наша беда (как науки, не имеющий точного прикладного выхода!)
заключается в том, что психологи - выпускники вузов - не УМЕЮТ строить ни первичные таблицы
(прежде всего не умеют заполнять строки с формализованными решениями), ни таблицы сопряженности,
а математики совсем их этому не учат, а учат той математике, которая не имеет такого важного
значения для прикладной гуманитарной науки - не учат работе с категориальными шкалами
и, в частности, с бинарными переменными.

С ув,
АШ

Ксения,

мне кажется, что в фокусе Вашего внимания (интереса) оказываются немножко другие вещи, чем то, о чем я здесь толкую. Я ведь вовсе нигде не утверждал, что можно найти какую-то единственную переменную, которая дает хорошую прогностичность для всего и вся. Я только утверждал, что существует определенная связь (формализованная!) между коэффициентом корреляции и процентом точного прогноза. И при этом я утверждал, что далеко не все специалисты (даже среди весьма квалифицированных и именитых) одинаково трактуют эту связь. Многим (очень многим!) кажется, что коэффициент корреляции в районе 0,3 - это полная беспомощность, но это вовсе не так. В очень многих ситуациях (например, в ситуации прогноза погоды или подьема-падения курса валюты) мы не можем иметь "высокоточный прогноз", а должны довольствоваться лишь вероятностным прогнозом. И в этом случае 70 процентов точности - это уже кое-что (хотя ошибок очень много, но лучше такой прогноз, чем никакой). А ведь 70 процентов - это только КК (коэффициента корреляции) в районе 0,4. Почему я пишу " в районе"? - Потому что при перекосе в вероятности прогнозируемого события простая формула должна замещаться более сложной, то есть "поделить на два и прибавить 50%" - это уже не работает.

Что касается вашего фокуса внимания, то Вы пишите (если я вообще понял Вас) о другом - о том, что требуется учитывать много переменных и только так можно повысить точность прогноза до приемлемого уровня. Мой ответ: комбинация независимых переменных (параметров) - это просто переход к "сложной переменной". От этого перехода статус прогнозируемого события (зависимой бинарной переменной) никак НЕ меняется. Если это зависимая переменная бинарная, то она и остается бинарной. Да, если мы используем комбинацию двух бинарных параметров, то нам не удастся уже оперировать таблицей сопряженности 2 на 2, придется перейти к таблице 4 на 2, но это незначительно усложнение. Вот как может, например, выглядеть такая таблица 4 на 2 для описания значимого повышения вероятности болезни. Болезнь при этом предстает как синдром, то есть логическая конъюнкции двух параметров, или симптомов - А и В:

	Болезнь X	Отсутствие болезни X
Симптом А и симптом В	9	1
Симптом А и нет симптома В	5	15
Нет симптома А и есть симптом В	5	15
Нет ни А, ни В	12	38

Пояснение: для простоты рассматриваем выборку больных численность 100 человек,
хотя это может быть просто 100 процентов больных.


Для каждого симптома по отдельности таблица 2 на 2 выглядит так:

	Болезнь X есть	Болезни X нет
Симптом есть	14	16
Симптома нет	17	53

Фи-коэффициент связи в этой табличке 2 на 2 очень невысокий фи=0,22, что
дает точность прогноза по одному симптому только немногим выше гадания (уровня
фифти-фифти или 50 процентов точности).

Зато для комплексной переменной "А и В" (логическая конъюнкция, совпадение)
табличка 2 на 2 выглядит уже так:

	Болезнь X есть	Болезни X нет
Симптомы А и В	9	1
Нет совпадения А и В	22	68

Что дает фи-коэффициент 0,43 и при этом по нашей упрощенной
формуле точность прогноза оказывается в районе 70 процентов.

Казалось бы, точность обнаружения болезни равна 90% (в первой строке),
и это просто блестящий уровень точности! Но...
Но при этом очень невысока точность констатации отсутствия болезни.
Для тех, кто не знает теории вероятности, она равна 68/90 = 0,75, или
75 процентов (во второй строке). Но на самом деле случайное отрицание болезни
наступает не с вероятностью 50%, а с более высокой вероятностью почти 70
процентов, так как отсутствие болезни Х - это вообще более вероятное событие
(в большинстве случаев реальных болезней перекос в сторону отсутствия
события еще сильней). Поэтому отклонение от ожидаемой вероятности
угадывания в случае второй строки совсем не велико и приближается к...
уровню случайного угадывания. А среднее значение между 90% точности
(для наступления события или первой строки) и 50% точности (для
ненаступления события или второй строки) равно как раз 70 процентам.

Ксения, полезно ли то, что я попытался показать "на пальцах" - на
таблицах с конкретными арифметическими значениями?
Полезно ли для того, чтобы читатель понял, что логика бинарного
прогноза для комбинированных переменных остается по сути
той же, что и для простых переменных и матрицы (таблицы) сопряженности
частот событий опять-таки вполне работают? Хотя не всегда это
таблицы 2 на 2, а часто это таблица 4 на 2 или 8 строк на 2 столбца
(когда имеется комбинация трех бинарных параметров) и т.п.

Ваш АШ

Ксения,

спасибо Вам, что Вы сохранили внимание к таким немножко скучноватым вещам
и дали положительную обратную связь. Спасибо.

Ваш АШ

P.S.

Я много раз убеждался, что гуманитариям (психологам, в частности) очень нужна дискретная
и вероятностная математика, а не "дифинтегра", которая оперируют непрерывными шкалами.
А из дискретной математики самое главное - это комбинаторика в матричном (табличном)
представлении. Без этой комбинаторики очень трудно понять, как из теории вероятности
рождается Вероятностная Логика, а, следовательно, и Вероятностное Мышление.
Членение шкал на интервалы-категории, которым присваивается определенный
смысл, связанный с вариантами решений, а затем создание комбинаторной
сетки (таблицы) для двух и более "категориальных шкал" - определенный когнитивный
(интеллектуальный) навык, который, увы, часто просто никто у студентов не формирует.
Ибо нужны релевантные примеры, а ими математики просто-напросто не владеют.