Пирсон, мощность и визуализация

есть редкие заболевания, когда трудно найти и похожие исследования, и самому физически набрать даже 30 человек

я думаю, есть и обратная сторона - статистические методы должны развиваться и в эту сторону - маленьких выборок. и: должно быть-таки хорошее и понятное издание для работы со статистикой.
чтобы потом не охали и не вздыхали "ах, как мало они знают и криво применяют"

А почему тогда не использовать в таких случаях качественные методы? Или хотя бы подкреплять ими количественные методы на небольших выборках (и потому с малой мощностью)?

Статистические методы развиваются в сторону малых выборок, например, непараметрические методы. Но они часто обладают меньшей мощностью.

Методы действительно развиваются. Недавно проходивший на Coursera курс по статистике от Duke University даже не рассматривали классические непараметрические методы, заменив их применением симуляций и бутстрепом. Но в сторону малых выборок можно "копать" до определенного предела. По одному случаю мы не можем сделать вывод о сотне людей в генеральной совокупности, какими бы изощренными методами мы не пользовались.

Вот это верно. Выборка не должна быть большой или обязательно случайной, она должна быть репрезентативной. Просто есть разные приемы, повышающие репрезентативность.

А вообще, здесь в Китае присутствовал на докладе по докторской диссертации. Так докладчик использовала в своем исследовании учащихся несколько школ одного из китайских городов, с администрацией которого у нее была договоренность (это явно convinient sample). Но затем она сравнивала распределение тестовых баллов (для аналога ЕГЭ) в своей выборке и по всему Китаю, чем (косвенно) подтверждала репрезентативность. Я был поражен, что можно подумать и в эту сторону: наверное, в такой же ситуации я бы даже не подумал искать распределение тестовых баллов для всей страны, просто сравнил бы дескриптивные статистики для пола, социально-экономического статуса и т.п.

P.S. И вообще, как мне показалось, для китайцев нет проблемы малых выборок. Точнее, они не понимают, как это студент не смог набрать необходимую выборку.

ну, в психологии яркий пример с малой выборкой - исследование с использованием МРТ - дорого, неудобно, испытуемого трудно заманить и заставить лежать там по часу, а то и больше.

у меня выборки - суицидентов, в одной группе около 100, а вот в других - 41 и 37 - и это я года два собирала. с каждым работала часа по 4. и никогда заранее не угадаешь, в какую группу он попадет, пока не заполнит весь блок методик.

хм, а в какой теме?

Пскольку тематика разговоров расширилась, разрешите разместить здесь информацию с дальних берегов. Paul Barrett написал:

I have always said that there are two books which should be required reading for every 2nd year psychology undergraduate student (yes, 2nd year, because every computational/statistical/analytical methodology they are taught, and deploy, from then on requires knowledge of both the constituent properties of measurement and investigative methodology).

1. Kline, P. (1998). The New Psychometrics: Science, Psychology, and Measurement. Routledge. ISBN: 0-415-18751-6.
(The chapter on John Searle, reality, truth, facts, and social constructivism/constructionism is one of the clearest expositions I've ever read).

2. Michell, J. (1999). Measurement in Psychology: Critical History of a Methodological Concept. Cambridge University Press. ISBN: 0-521-62120-8.
(No student should ever proceed beyond the 2nd year without a crystal clear understanding of the constituent properties of measurement and quantity).

Now, I'm adding a third.

3. Haig, B.D. (2014). Investigating the psychological world: Scientific method in the behavioral sciences. MIT Press. ISBN: 9780-262-02736-6.
http://www.amazon.com/Investigating... scientific method in the behavioral sciences

Мой короткий комментарий: хорошо бы перевести на русский язык все три книги.

(This book is a masterwork. This is the handbook of scientific method (not ‘the’ scientific method, but scientific methodology under one umbrella of Abductive Theory of Method: ATOM)

ну, я бы перевела. наверно

Поскольку пост вызвал отклик, завершу цитату:

Brian's book forms the basis for the entire investigative enterprise that constitutes psychological inquiry. It is all about understanding how to investigate and explain phenomena. It is not a cookbook of methods. It's a book about the relationships between data, phenomena, and theories, and the interplay between them within an overarching framework of abductive inference.

There are six chapters:
1. Method, Methodology, and Realism
2. Detecting Psychological Phenomena
3. Theory Generation: Exploratory Factor Analysis
4. Theory Development: Analogical Modeling
5. Theory Appraisal: Inference to the Best Explanation
6. Conclusion.
The subsections to each can be viewed at the Amazon link above; there is a nice review there as well.

It is a beautifully written book, clear, concise, well-balanced, with facts, arguments, and logic carefully presented to enhance understanding from the reader.

In a decade where the investigative methodology of psychologists is being questioned and seen as highly dubious by those inside and outside the science/discipline, this book is to investigative methodology as Joel Michell's was to understanding measurement. Utterly essential.