1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Расчёт размера эффекта

Тема в разделе 'Общие вопросы', создана пользователем Хохлов Н.А., 22 июн 2019.

  1. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    В отечественных работах часто используют дисперсионный анализ, но обычно ограничиваются оценкой значимости различий. При этом оценка размера эффекта почти всегда не приводится.

    Вот эта статья может быть интересна тем, кто только начинает в этом разбираться: http://ivdon.ru/ru/magazine/archive/n2y2016/3610
    Ну, и оценка взаимоотношений между объёмом выборки, размером эффекта и мощностью критерия может оцениваться с помощью программы G*Power.

    А знает ли кто-нибудь современное состояние дел? Нет ли каких-то новых способов оценки размера эффекта?
    Хохлов Н.А., 22 июн 2019
    #1
    Кисленко В.В., Шилко Р.С. и Низовских Н.А. нравится это.
  2. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Никита Александрович, здравствуйте! Спасибо за статью и за то, что подняли вопрос о величине эффекта. Часто сталкиваюсь с этим показателем при чтении иностранных статей, но так и не уяснил для себя - что это такое? К сожалению, в приведенной статье нет теоретических формул, поясняющих математический смысл понятия "величина эффекта". Может, кто-либо из более продвинутых форумчан может ответить на этот вопрос? Заранее спасибо!
    Яньшин П.В., 23 июн 2019
    #2
    Низовских Н.А. нравится это.
  3. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Пётр Всеволодович, попробую объяснить без формул (на словах). Речь идёт о фактической разнице между группами. Например, апробируют новый метод обучения школьников. В экспериментальной группе до начала тренировок средний балл был 4, а после обучения - 4,5. Абсолютный прирост составил 0,5. При больших выборках значимым будет и очень маленький прирост, поэтому часто делается вывод об эффективности метода лишь на основе статистической значимости. А в реальности такой прирост не является существенным (он значимый, но слишком маленький). Чаще всего оценивают отношение этого прироста к дисперсии в целом (разницу между стандартизированными оценками в идеальном случае). Считается, что размер эффекта 0,2 - маленький, 0,5 - средний, 0,8 - большой.
    Хохлов Н.А., 23 июн 2019
    #3
    Булгаков А.В. и Низовских Н.А. нравится это.
  4. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо за быстрый ответ. Но это -то и так мне было понятно. Хочется знать, например, следующее: 1) как коэффициент F в Anova связан с величиной эффекта?; 2) как коэффициенты корреляции связаны с эффектом? Те цифры, что Вы привели - это для каких формальных показателей критерия?; как связана величина эффекта, например, с коэффициентом детерминации?
    Яньшин П.В., 23 июн 2019
    #4
  5. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Положительно, хотя и не напрямую. Но он будет ещё связан с объёмом выборки - эти соотношения можно посмотреть с помощью G*Power.

    Корреляции чего с чем? Это же дисперсионный анализ, здесь корреляция не вычисляется. Хотя в расчёт мощности критерия может закладываться корреляция между двумя выборками (как именно - сейчас не скажу; вероятно, @Тукачев Ю.А. сможет ответить точнее).

    d – Коэна

    Если считать коэффициент детерминации для дисперсионного анализа, то напрямую. Размер эффекта может трактоваться как процент дисперсии, объяснямой изучаемым фактором. На этом строится оценка размера эффекта с помощью критерия η-квадрат.
    Хохлов Н.А., 23 июн 2019
    #5
  6. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо. Но я имел ввиду корреляцию безотносительно ANOVA. Я встречал обсуждение величины эффекта в метааналитических статьях в связи с корреляцией переменных. Думаю, эта тема касается любой статистической закономерности. Я ошибаюсь?
    Яньшин П.В., 23 июн 2019
    #6
  7. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Ну да, в метаанализах анализируются меры связи (r-данные) и меры различия (d-данные). Всё, что обсуждалось до этого, касается мер различия (и не в контексте метаанализа).

    Про размер эффекта в метаанализе см. статью: https://istina.msu.ru/publications/article/812989/
    Последнее редактирование: 23 июн 2019
    Хохлов Н.А., 23 июн 2019
    #7
    Кисленко В.В., Шилко Р.С. и Булгаков А.В. нравится это.
  8. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо за ссылку. "Ну да" - это к чему? Не могли бы Вы уточнить (и это будет полезно многим): как и на основе каких исходных параметров обработки и теоретических соображений определяется "сила эффекта" при 1) корреляционных исследованиях и 2)сравнении выборок (не для метаанализа). Понимаю, что это - тема для главы в учебнике... Но если коротко? Например: есть результаты стат. анализа STATISTICA или SPSS. Как с помощью вычислений на их основе получить характеристику эффекта?
    Яньшин П.В., 24 июн 2019
    #8
  9. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    К тому, что расчёт размера эффекта для дисперсионного анализа в одном исследовании предполагает использование несколько иных математико-статистических приёмов, чем расчёт размера эффекта в метаанализе.

    В корреляционных исследованиях важно показывать не только статистическую значимость коэффициента корреляции, но и коэффициент детерминации (в самом простом случае линейной корреляции - квадрат коэффициента корреляции). Коэффициент детерминации покажет, сколько процентов дисперсии одной переменной объяснено дисперсией другой переменной. Это регрессионный анализ - и он есть во всех статистических пакетах в готовом виде.
    В SPSS при выборе ОЛМ можно поставить галочку "Оценки размера эффекта" - там будет η-квадрат. В SPSS не посчитать d-Коэна (https://en.wikiversity.org/wiki/Cohen's_d), но его несложно вычислить руками - как разницу между стандартизированными значениями или вывести из η-квадрат (https://www-01.ibm.com/support/docview.wss?uid=swg21476421).
    В STATISTICA я почти не работал, но там по крайней мере есть аналог G*Power - http://statistica.ru/local-portals/medicine/example/636/
    Хохлов Н.А., 24 июн 2019
    #9
    Яньшин П.В. нравится это.
  10. Алтухов В.В.

    Алтухов В.В. Модератор Команда форума

    Интересно, а в R есть какие-то пакеты с расчетом величины эффекта?
    Алтухов В.В., 24 июн 2019
    #10
  11. Алтухов В.В.

    Алтухов В.В. Модератор Команда форума

    А, сори, не увидел сразу по ссылке что статья про R))
    Алтухов В.В., 24 июн 2019
    #11
  12. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Итак, если я правильно понял, для корреляции эффект хорошо выражается через R-квадрат (коэффициент детерминации), в для сравнения выборок - через отношение частных распределений к общему (коэф. Коэна). Как-то так.
    Яньшин П.В., 24 июн 2019
    #12
    Алтухов В.В. нравится это.
  13. Калугин А.Ю.

    Калугин А.Ю. Участник

    Калугин А.Ю., 22 июл 2019
    #13
    Яньшин П.В., Кисленко В.В., Шмелев А.Г. и 2 другим нравится это.
  14. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Хохлов Н.А., 23 июл 2019
    #14
    Калугин А.Ю. и Яньшин П.В. нравится это.
  15. Пантюхин С.С.

    Пантюхин С.С. Локомотив

    Добавлю классики:
    1) небольшая статья автора пауэр-анализа Джейкоба Коэна - Cohen J. A power primer // Psychological Bulletin. – 1992. – 112(1). – P. 155-159.
    2) хорошая вводная статья известных специалистов по методологии метаанализа Ральфа Росноу и Роберта Розенталя - Rosnow R. L., Rosenthal R. Effect sizes for experimenting psychologists // Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Expérimentale. - 2003. - 57(3). - P. 221–237.
    (есть небольшая ошибка в формуле под первой таблицей, но это не критично.)

    Из монографий:
    1. Cohen J. Statistical Power Analysis for the Behavioral Sciences. – New York, NY: Routledge Academic, 1988. – 567 p.
    2. Grissom R. J., Kim J. J. Effect Sizes for Research. – Mahwah, N.J.: Lawrence Erlbaum, 2005. – 268 p.
    3. Hedges L. V., Olkin I. Statistical Methods for Meta-Analysis. – Orlando, Fl.: Academic Press, 1985. – 392 p.
    4. Rosenthal R., Rosnow R. L., Rubin D. B. Contrasts and effect sizes in behavioral research: A correlational approach. – New York: Cambridge University Press, 2000. – 212 p.
    Пантюхин С.С., 26 ноя 2019
    #15
    Калугин А.Ю., Яньшин П.В. и Хохлов Н.А. нравится это.
  16. Пантюхин С.С.

    Пантюхин С.С. Локомотив

    С d Коэна не так всё просто, есть несколько очень похожих оценок размера эффекта, которые называются d, d Коэна в одно и то же время. Хёджес и Коэн сами создали предпосылки для путаницы, не заморачиваясь с обозначениями оценок. Грубо говоря, есть d на основе смещенной оценки дисперсии (с n в знаменателе), есть d Коэна на основе несмещенной оценки дисперсии (с n-1 в знаменателе), которую Коэн называл ds (s - в нижнем индексе) и которую в большинстве случаев рассматривают как d Коэна, она же равна g Хёджеса, и, наконец, есть несмещенная оценка размера эффекта g с поправкой от Хёджеса. Все 3 при этом встречаются и под другими обозначениями, и в составе разных формул. И, боюсь, что это еще не всё по поводу d Коэна, которая чувствительна к отсутствию идеальных условий - к асимметричности распределения и гетерогенности дисперсий в выборках.
    Пантюхин С.С., 27 ноя 2019
    #16
    Леви М.В., Калугин А.Ю., Яньшин П.В. и ещё 1-му нравится это.
  17. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Тут вышла новая статья:
    Baumeister R.F. Do effect sizes in psychology laboratory experiments mean anything in reality? // Психология. Журнал Высшей школы экономики, 2020. – Т. 17. – № 4. – С. 803-811. – DOI: 10.17323/1813-8918-2020-4-803-811
    https://psy-journal.hse.ru/data/2020/12/17/1355890032/17-04_2020.pdf

    Я с автором не согласен. Но это интересный материал для обсуждения.
    Хохлов Н.А., 2 янв 2021
    #17
    Пантюхин С.С. нравится это.
  18. Пантюхин С.С.

    Пантюхин С.С. Локомотив

    Да, провокационные заявления дают хороший повод подискутировать. Автор ссылается на одну из работ (где он сам был соавтором) - The Making of Might-Have-Beens: Effects of Free Will Belief on Counterfactual Thinking.
    Удивительные вещи пытаются количественными методами измерить без особых реверансов в плане моделирования. Эксперимент по определению влияния (субъективно оцениваемой) свободы воли на контрфактуальное мышление с индукцией Велтена (Фельтена) в качестве средства воздействия. Хороший такой полет мысли (и почему в философии еще нет статистики?). Проблема не в использовании оценок размера эффекта, проблема в том, что не все можно измерить количественно и простым путем. Особенно, когда речь идет о ценностях, настроении, вкусах и т.п. Можно использовать дискурс-анализ.

    Некоторые цифры вызывают вопросы по расчетам в целом.
    Последнее редактирование: 4 янв 2021
    Пантюхин С.С., 4 янв 2021
    #18
    Низовских Н.А. и Хохлов Н.А. нравится это.
  19. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Хохлов Н.А., 24 мар 2022
    #19
    Булгаков А.В., Пантюхин С.С. и Шилко Р.С. нравится это.