1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Расчёт размера эффекта

Тема в разделе 'Общие вопросы', создана пользователем Хохлов Н.А., 22 июн 2019.

  1. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    В отечественных работах часто используют дисперсионный анализ, но обычно ограничиваются оценкой значимости различий. При этом оценка размера эффекта почти всегда не приводится.

    Вот эта статья может быть интересна тем, кто только начинает в этом разбираться: http://ivdon.ru/ru/magazine/archive/n2y2016/3610
    Ну, и оценка взаимоотношений между объёмом выборки, размером эффекта и мощностью критерия может оцениваться с помощью программы G*Power.

    А знает ли кто-нибудь современное состояние дел? Нет ли каких-то новых способов оценки размера эффекта?
  2. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Никита Александрович, здравствуйте! Спасибо за статью и за то, что подняли вопрос о величине эффекта. Часто сталкиваюсь с этим показателем при чтении иностранных статей, но так и не уяснил для себя - что это такое? К сожалению, в приведенной статье нет теоретических формул, поясняющих математический смысл понятия "величина эффекта". Может, кто-либо из более продвинутых форумчан может ответить на этот вопрос? Заранее спасибо!
    Низовских Н.А. нравится это.
  3. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Пётр Всеволодович, попробую объяснить без формул (на словах). Речь идёт о фактической разнице между группами. Например, апробируют новый метод обучения школьников. В экспериментальной группе до начала тренировок средний балл был 4, а после обучения - 4,5. Абсолютный прирост составил 0,5. При больших выборках значимым будет и очень маленький прирост, поэтому часто делается вывод об эффективности метода лишь на основе статистической значимости. А в реальности такой прирост не является существенным (он значимый, но слишком маленький). Чаще всего оценивают отношение этого прироста к дисперсии в целом (разницу между стандартизированными оценками в идеальном случае). Считается, что размер эффекта 0,2 - маленький, 0,5 - средний, 0,8 - большой.
  4. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо за быстрый ответ. Но это -то и так мне было понятно. Хочется знать, например, следующее: 1) как коэффициент F в Anova связан с величиной эффекта?; 2) как коэффициенты корреляции связаны с эффектом? Те цифры, что Вы привели - это для каких формальных показателей критерия?; как связана величина эффекта, например, с коэффициентом детерминации?
  5. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Положительно, хотя и не напрямую. Но он будет ещё связан с объёмом выборки - эти соотношения можно посмотреть с помощью G*Power.

    Корреляции чего с чем? Это же дисперсионный анализ, здесь корреляция не вычисляется. Хотя в расчёт мощности критерия может закладываться корреляция между двумя выборками (как именно - сейчас не скажу; вероятно, @Тукачев Ю.А. сможет ответить точнее).

    d – Коэна

    Если считать коэффициент детерминации для дисперсионного анализа, то напрямую. Размер эффекта может трактоваться как процент дисперсии, объяснямой изучаемым фактором. На этом строится оценка размера эффекта с помощью критерия η-квадрат.
  6. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо. Но я имел ввиду корреляцию безотносительно ANOVA. Я встречал обсуждение величины эффекта в метааналитических статьях в связи с корреляцией переменных. Думаю, эта тема касается любой статистической закономерности. Я ошибаюсь?
  7. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Ну да, в метаанализах анализируются меры связи (r-данные) и меры различия (d-данные). Всё, что обсуждалось до этого, касается мер различия (и не в контексте метаанализа).

    Про размер эффекта в метаанализе см. статью: https://istina.msu.ru/publications/article/812989/
    Последнее редактирование: 23 июн 2019
  8. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо за ссылку. "Ну да" - это к чему? Не могли бы Вы уточнить (и это будет полезно многим): как и на основе каких исходных параметров обработки и теоретических соображений определяется "сила эффекта" при 1) корреляционных исследованиях и 2)сравнении выборок (не для метаанализа). Понимаю, что это - тема для главы в учебнике... Но если коротко? Например: есть результаты стат. анализа STATISTICA или SPSS. Как с помощью вычислений на их основе получить характеристику эффекта?
  9. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    К тому, что расчёт размера эффекта для дисперсионного анализа в одном исследовании предполагает использование несколько иных математико-статистических приёмов, чем расчёт размера эффекта в метаанализе.

    В корреляционных исследованиях важно показывать не только статистическую значимость коэффициента корреляции, но и коэффициент детерминации (в самом простом случае линейной корреляции - квадрат коэффициента корреляции). Коэффициент детерминации покажет, сколько процентов дисперсии одной переменной объяснено дисперсией другой переменной. Это регрессионный анализ - и он есть во всех статистических пакетах в готовом виде.
    В SPSS при выборе ОЛМ можно поставить галочку "Оценки размера эффекта" - там будет η-квадрат. В SPSS не посчитать d-Коэна (https://en.wikiversity.org/wiki/Cohen's_d), но его несложно вычислить руками - как разницу между стандартизированными значениями или вывести из η-квадрат (https://www-01.ibm.com/support/docview.wss?uid=swg21476421).
    В STATISTICA я почти не работал, но там по крайней мере есть аналог G*Power - http://statistica.ru/local-portals/medicine/example/636/
    Яньшин П.В. нравится это.
  10. Алтухов В.В.

    Алтухов В.В. Модератор Команда форума

    Интересно, а в R есть какие-то пакеты с расчетом величины эффекта?
  11. Алтухов В.В.

    Алтухов В.В. Модератор Команда форума

    А, сори, не увидел сразу по ссылке что статья про R))
  12. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Итак, если я правильно понял, для корреляции эффект хорошо выражается через R-квадрат (коэффициент детерминации), в для сравнения выборок - через отношение частных распределений к общему (коэф. Коэна). Как-то так.
    Алтухов В.В. нравится это.
  13. Калугин А.Ю.

    Калугин А.Ю. Участник

  14. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Калугин А.Ю. и Яньшин П.В. нравится это.
  15. Пантюхин С.С.

    Пантюхин С.С. Участник

    Добавлю классики:
    1) небольшая статья автора пауэр-анализа Джейкоба Коэна - Cohen J. A power primer // Psychological Bulletin. – 1992. – 112(1). – P. 155-159.
    2) хорошая вводная статья известных специалистов по методологии метаанализа Ральфа Росноу и Роберта Розенталя - Rosnow R. L., Rosenthal R. Effect sizes for experimenting psychologists // Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Expérimentale. - 2003. - 57(3). - P. 221–237.
    (есть небольшая ошибка в формуле под первой таблицей, но это не критично.)

    Из монографий:
    1. Cohen J. Statistical Power Analysis for the Behavioral Sciences. – New York, NY: Routledge Academic, 1988. – 567 p.
    2. Grissom R. J., Kim J. J. Effect Sizes for Research. – Mahwah, N.J.: Lawrence Erlbaum, 2005. – 268 p.
    3. Hedges L. V., Olkin I. Statistical Methods for Meta-Analysis. – Orlando, Fl.: Academic Press, 1985. – 392 p.
    4. Rosenthal R., Rosnow R. L., Rubin D. B. Contrasts and effect sizes in behavioral research: A correlational approach. – New York: Cambridge University Press, 2000. – 212 p.
  16. Пантюхин С.С.

    Пантюхин С.С. Участник

    С d Коэна не так всё просто, есть несколько очень похожих оценок размера эффекта, которые называются d, d Коэна в одно и то же время. Хёджес и Коэн сами создали предпосылки для путаницы, не заморачиваясь с обозначениями оценок. Грубо говоря, есть d на основе смещенной оценки дисперсии (с n в знаменателе), есть d Коэна на основе несмещенной оценки дисперсии (с n-1 в знаменателе), которую Коэн называл ds (s - в нижнем индексе) и которую в большинстве случаев рассматривают как d Коэна, она же равна g Хёджеса, и, наконец, есть несмещенная оценка размера эффекта g с поправкой от Хёджеса. Все 3 при этом встречаются и под другими обозначениями, и в составе разных формул. И, боюсь, что это еще не всё по поводу d Коэна, которая чувствительна к отсутствию идеальных условий - к асимметричности распределения и гетерогенности дисперсий в выборках.