О количественном и качественном подходе к психодиагностике

№ 1 из 59. 20.11.2010 : 23:45. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
спасибо, что Вы выделили эту тему в отдельную ветку на собственном блоге. Она заслуживает того и Вы написали очень хорошее вводное сообщение.
 
Я - целиком за синтез. Но... давайте спросим себя чисто логически, что необходимо для синтеза сторонникам количественных методов? - Правильно, нужно освоить качественные. И тогда становится понятным симметричный вопрос и симметричный ответ: что же нужно для работы на синтез сторонникам качественных методов? - Правильно, нужно освоить количественные. Ленятся это делать и те, и другие. Но... как Вы думаете, у кого будет больше трудностей в этой работе?
 
С ув,
АШ
 

№ 2 из 59. 21.11.2010 : 00:24. Барлас Т.В.
------------------------------------------------------------------
ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Татьяна Владимировна,
спасибо, что Вы выделили эту тему в отдельную ветку на собственном блоге. Она
заслуживает того и Вы написали очень хорошее вводное сообщение.
Я - целиком за синтез. Но... давайте спросим себя чисто логически, что
необходимо для синтеза сторонникам количественных методов? - Правильно, нужно
освоить качественные. И тогда становится понятным симметричный вопрос и
симметричный ответ: что же нужно для работы на синтез сторонникам качественных
методов? - Правильно, нужно освоить количественные. Ленятся это делать и те, и
другие. Но... как Вы думаете, у кого будет больше трудностей в этой работе?
С ув,
АШ


------------------------------------------------------------------

Александр Георгиевич!
У меня ответы несколько отличаются от Ваших.
Я не думаю, что сторонникам качественных методов надо становиться спецами по количественным, и наоборот. Если они будут стараться это честно проделать, то возможно не добьются успеха: это действительно два очень сильно различающихся стиля мышления. При этом трудности будут взаимными, и у кого больше - предсказать не берусь. Но понимание иного стиля и минимальные познания в "соседней" сфере весьма желательны.
Скажем, меня как тестолога очень сильно (и боюсь не в лучшую сторону) изменил многолетний опыт работы с коллегами, не приемлющими количественные методы. Однако же "тестологическая закваска" мешает работать с проективными методами. Но при этом  понимание их возможностей,  уважение к ним, а также минимальные знания имеются. И это к примеру позволяет "увидеть" ярко выраженную агрессию на рисунках мужчины с достаточно "благополучными" результатами "бланковых" тестов. И не удивиться, когда в катамнезе через полгода отмечаются драки в нетрезвом виде, из-а которых человек имел крупные неприятности на  работе.
То есть, я не за освоение методов "смежников" (только если действительно есть склонность), а скажем так - за заинтересованное знакомство, осознание различий и границ своей компетентности.   

№ 3 из 59. 21.11.2010 : 11:36. Кононова В.Н.
------------------------------------------------------------------
Уважаемые коллеги! Позвольте присоединиться к дискуссии.
 
На мой взгляд, причина принципиального расхождения позиций о приоритете количественного ИЛИ качественного подхода - в БИПОЛЯРНОСТИ научного мышления у большинства психологов, как теоретиков, так и практиков. В этом оно сходно с житейским взглядом на мир.
 
Когда мы слышим категоричные оценочные суждения подростка о том, что другой человек "плохой" или "хороший" ("злой" или"добрый" и т.п.), то нам очевидно, что это серьезное огрубление действительности. Стоит только задуматься, и даже у отрицательных персонажей типа бабы Яги можно найти "положительные" качества.
 
Пора переходить от плоскостного и биполярного взгляда на мир к полимодальному и многомерному!
 
Я уверена, что в действительности для корректного описания реальности больше подходит формула, которая существенно отличается от привычной арифметической:
 
1 [количество] + 1 [качество]  =  3 [новообразование].
 
Вспомните про эффект синергии.
 
Когда-то, 15 лет назад, в своей кандидатской диссертации, посвященной практическому применению проективных методик для изучения индивидуальных особенностей и структуры личности профессионалов, я была твердо убеждена, что создание индивидуального психологического портрета сродни искусству и принципиально не поддается формализации. К счастью, спустя 10 лет я своими руками создала алгоритм формирования интерптераций проективной методики "Цветовое Зеркало"для компьютерной программы.
Как показало время, эта компьютерная программа прошла проверку на практике и дает действительно полезные, весомые результаты.
 
Возможно, легче и естественнее сочетать (а ане противопоставлять) количественные и качественные подходы тем людям, у кого одновременно активны обе руки (оба полушария головного мозга), а не "левшам" или "правшам"?
 
В любом случае, как верно заметил гениальный Лев Семенович Выготский про высшие психические функции, психические новообразования не образуются самостийно, стихийно, а формируются сознательно, с волевым усилием.
 
Поэтому на пути к синтезу качественного и количественного подходов в сознании и мышлении современных психологов без осознания своих личностных особенностей, ограничений и стереотипов и болезненного процесса роста не обойтись. 

№ 4 из 59. 21.11.2010 : 15:32. Чупров Л.Ф.
------------------------------------------------------------------
Решил и я присоединиться к дискуссии.
Первое. Я могу ошибаться, но думаю, что стоит развести понятия «психологическое тестирование» и «педагогическое тестирование». Цели разные. Контроль качества усвоения учебного материала, тестирование остаточных знаний – это «педагогическое тестирование», как и ЕГЭ.
Второе. За столетие после создания теста Бине и Симона «Метрическая скала умственных способностей» и теста Роршаха оба подхода: количественный и качественный ушли очень далеко. Качественный чаще используется как индивидуальная процедура (в клинике, в практической психологии, экспертизе), но для больших групп он не эффективен в плане временных и физических затрат.
Многие психологи в зависимости от задач используют или тот или иной подходы, а следовательно и методы.
Третье. Объединение обоих подходов по себе перспектива заманчива, но, почти, не выполнима.
Чтобы осуществить синтез чего-то, надо сначала произвести упрощение инструментов, но потом, все равно, полноценной качественно-количественной интерпретации не получается. Что-то превалирует. Иначе инструмент не работает. Та же самая особенность проявляется и при комплексной судебно-психологической экспертизе. Если это не механическое комплексование (переплетное), а действительно комплексная экспертиза, то по тексту заключения можно точно определить лидера – основного диагноста и интерпретатора (психолог или врач-психиатр).
В свое время (в 1984 г.) эту задачу пыталась решать со своими коллегами и аспирантами Л.И.Переслени. Было создано или модифицировано в общей сложности 9 инструментов. 7 из них были объединены в ПДК (Л.И.Переслени, Е.М.Мастюкова, Л.Ф.Чупров, 1990), ПДН (Л.Ф.Чупров, 1990), ПДТ (Л.Ф.Чупров, 1988). Два инструмента оказались не совершенными.
Полноценный качественно-количественный подход – это иллюзия. Практикующий психолог должен (и обязан) владеть обеими, а вот использовать какой из них – определяют поставленная задача и цель исследования.
 
С уважением Л.Чупров.

№ 5 из 59. 21.11.2010 : 16:18. Собчик Л.Н.
------------------------------------------------------------------
 
 
"....я до сих пор не могу понять, каким образом можно рецензировать тест, опираясь только на данные о надежности, валидности и нормах, не получив ни одного реального описания конкретного человека по результатам этого теста, не говоря уже о том, чтобы самому поработать с ним хотя бы немного. Точно так же я не могу понять, каким образом можно выпускать  к тесты, не наработав опыта интерпретации и не изложив его подробно в руководстве. По-видимому все это считается издержками качественного, "феминного" подхода."
Это особенно важный аргумент в Вашей реплике, уважаемая Татьяна! Да и в остальном полностью согласна с Вами. Когда-то давно Вы меня порадовали своей статьей "Свет в конце тоннеля", приветствуя первые публикации по психодиагностике. У Вас вполне реалистичный подход к обсуждаемой проблеме, чувствуется большой опыт и знание предмета. К сожалению, у левополушарных мужчин дискуссия на эту тему грешит схоластичностью и отсутствием конкретного опыта, умения толкованать данные конкретных людей. Попытки свести все к неким стандартам уводит их от индивидуальной неповторимости. Нет у них (ну не у всех, конечно) понимания того неоспоримого факта, что лишь сложные сочетания показателей разных тестов, в том числе и проективных, приближает нас к пониманию психологической сущности и к проблемам человека.
Л.Н.

№ 6 из 59. 21.11.2010 : 16:43. Коняева А.П.
------------------------------------------------------------------
Уважаемые Танечка,  дамы  и Леонид Федорович, рада высказать солидарность с такой постановкой вопроса. Хочу только еще раз (как и ветке у Александра Георгиевича) призвать нас не множить деление на право-лево. Думаю, что ничего кроме более-менее переработанных обид это не дает для сообщества психологов. Даже в контексте "присутствующие - исключение". Повторю и цитаты из Голдберга, который на изучение мозга  научную жизнь  положил: "Сдвиг с правого полушария в левое выглядит как универсальный феномен, фиксирующий суть любого процесса обучения в любом масштабе времени от часов до лет. Индивид стоящий перед действительно новой ситуацией или задачей, решает ее главным образом правым полушарием. Но как только ситуация становится знакомой и усваивается, доминантная роль левого полушария становится очевидной. ..Также зрительно-пространственная хорошо знакомая задача ( как узнавание знакомых лиц) вовлекала главным образом левое полушарие - хотя согласно старым принципам любая зрительно-пространственная задача, включая распознавание лиц, должна вовлекать преимущественно правое полушарие. В отличие от этого, сравнение фотографий незнакомых лиц активизировало главным образом правое полушарие...Новые методы подтверждают вывод о том, что перенос когнитивного центра тяжести с правой половины мозга в левую является универсальным правилом, ненарушаемым в различных когнитивных задачах, от вербальных до зрительно-пространственных. ..." И ничего о половой спецификации. Про правое еще было, что оно за решение задач типа "Эврика", а про левое - как ответсвенное за  предписывающие модели,  что мне кажется вполне привлекательным, чтобы мужчинам захотелось объединиться/поделиться с  нами, женщинами правом причастности к единомозговому механизму.

№ 7 из 59. 21.11.2010 : 17:06. Собчик Л.Н.
------------------------------------------------------------------
Не стоит принимать сказанное о полушариях слишком серьезно. Речь идет лишь об избыточной
ориентировке на измерение в противовес толкованию полученных параметров, пониманию и
сравнению их с жизненной реальностью, с разнообразием личностной индивидуальности,
рассматриваемой в тех обстоятельствах, в которых проводится тестирование. Эмоциональная
составляющая  и интуитивный подход, который следует понимать как результат обобщенного
опыта, способствуют адекватности интерпретации данных. Естественно, при изучении больших
массивов, опираться приходится  на статистику и стандарты. Но и там интересные
закономерности можно вывести лишь при наличии способности к предвосхищению.
Л.Н.

№ 8 из 59. 21.11.2010 : 17:19. Рудинский И.Д.
------------------------------------------------------------------
ЦИТАТА (Пишет Собчик Л. Н.):

------------------------------------------------------------------

Это особенно важный аргумент в Вашей реплике, уважаемая Татьяна! Да и в
остальном полностью согласна с Вами. Когда-то давно Вы меня порадовали своей
статьей "Свет в конце тоннеля", приветствуя первые публикации по
психодиагностике. У Вас вполне реалистичный подход к обсуждаемой проблеме,
чувствуется большой опыт и знание предмета. К сожалению, у левополушарных мужчин
дискуссия на эту тему грешит схоластичностью и отсутствием конкретного опыта,
умения толкованать данные конкретных людей. Попытки свести все к неким
стандартам уводит их от индивидуальной неповторимости. Нет у них (ну не у всех,
конечно) понимания того неоспоримого факта, что лишь сложные сочетания
показателей разных тестов, в том числе и проективных, приближает нас к пониманию
психологической сущности и к проблемам человека.
Л.Н.


------------------------------------------------------------------
Уважаемая Людмила Николаевна, возможно я ошибаюсь, но гендерные различия не имеют никакого отношения к обсуждаемой проблематике. Тем более, при указании на них столь категоричным тоном.
 
Коллеги, не имея психологического образования и не владея методологией психодиагностики, тем не менее, часто сталкиваюсь с проблематикой качественных и количественных оценок в рамках педагогической диагностики. Попытаюсь сформулировать свое понимание обсуждаемого вопроса в категорниях теории принятия решений.
Качественное (бинарное, двоичное, альтернативное и т.п.) оценивание применяется при решении задачи классификации, когда в результате реализации соответствующей оценочной процедуры единственный (это принципиально важно!) объект должен быть отнесен к одному из альтернативных классов. Качественная оценочная шкала всегда бинарна, и поэтому проецирование на нее оцениваемого свойства позволяет относить объект к одному из двух рассматриваемых классов. Качественное оценивание может быть субъективным (решение принимается экспертом либо экспертной комиссией) либо объективным (по результатам инструментального измерения оцениваемых свойств). "Традиционное" качественное оценивание предполагает принятие решения по результатам анализа единственного свойства объекта, однако в настоящее время все более интенсивно начинают применяться процедуры многокритериального оценивания, предусматривающие т.н. свертку множества частных оценок в единую комплексную оценку. Наиболее распространенный пример качественного оценивания в педагогике - присвоение выпускнику учебного заведения искомой квалификации.
Количественное (многозначное) оценивание применяется при решении задач ранжирования множества однородных объектов либо их декомпозиции на n > 2 непересекающихся подмножества. Со структурных позиций, принципиальное отличие механизма количественного оценивания заключается в многозначности или даже непрерывности рценочной шкалы, вследствие чего количественная оценка всегда оказывается более точной, чем качественная. Количественное оценивание также может быть субъективным либо объективным. В принципе, нет никаких препятствий к тому, чтобы в результате многокритериального количественного оценивания получать итоговую качественную оценку - это уже теория информации и прикладная алгоритмика, не более того.
На мой взгляд, нет смысла противопоставлять качественный и количественный подходы в силу принципиально разного характера решаемых с их помощью задач. Другое дело, что при увеличении значности оценочных шкал методы качественного оценивания могут и должны заменяться методами количественного оценивания .
Но это уже совсем иная проблема.
 

№ 9 из 59. 21.11.2010 : 18:27. Собчик Л.Н.
------------------------------------------------------------------
Нужно понимать шутку. Никто не спорит (тем более - я), что количественный подход в психодиагностике необходим.
Речь идет лишь об излишней формалистике без анализа многих привходящих параметров. Я не против мужчин, я - за. Ну, улыбнитесь, коллега!

№ 10 из 59. 21.11.2010 : 18:44. Рудинский И.Д.
------------------------------------------------------------------
ЦИТАТА (Пишет Собчик Л. Н.):

------------------------------------------------------------------
Нужно понимать шутку. Никто не спорит (тем более - я), что количественный подход
в психодиагностике необходим.
Речь идет лишь об излишней формалистике без анализа многих привходящих
параметров. Я не против мужчин, я - за. Ну, улыбнитесь, коллега!


------------------------------------------------------------------

№ 11 из 59. 21.11.2010 : 20:26. Шмелев А.Г.
------------------------------------------------------------------
Игорь Давидович,
(впрочем, эта реплика адресована всем участникам дискуссии).
 
спасибо за ясное изложение того взгляда на проблему, который характерен для специалистов по формальной теории измерений. Действительно, на фоне определенных формализмов, связанных с типологией шкал, качественная диагностика - частный случай количественной. Казалось бы привлекательная точка зрения, да? Хотя бы для таких сторонников количественных методов, как я. Но эти формализмы не вполне оправданы, так как абстрагируются, по моему мнению, от некоторых важнейших сторон реальности. А именно - от возможности, в одних случаях, и невозможности, в других, повторить наблюдение (или регистрацию события). Качественный подход востребован прежде всего тогда, когда у нас фактически НЕТ возможности повторить наблюдение и строить заключение на основе статистики повторений.  Что толку для одного конкретного экстраверта из информации о том, что, например, 65-70 процентов (значимое большинство) людей с экстравертированным темпераментом успешно противостоят "выгоранию" в ходе коммуникативного стресса (связанного с избытком профессионально-значимого общения). Важно понять, этот конкретный человек попадет в группу большинства или в группу меньшинства - в те 30 процентов экстравертов, которые все-таки "выгорят". В конкретном случае складывается уникальная комбинация жизненных обстоятельств и индивидуальных особенностей, которая фактически не имеет аналогов. Поэтому не удается опереться на статистику "аналогичных случаев".
 
Согласен с Леонидом Федоровичем, который взглянул на проблему (пока в большей степени, чем остальные коллеги) с экономической точки зрения: если у нас есть ресурсы (времени квалифицированных специалистов), чтобы применять качественный индивидуальный подход (требующих нередко несколько дней для сбора и анализе разнообразной информации об одном единственном человеке), то тогда качественный подход оправдан. Но, если у нас нет такой практической возможности, а есть задача - за 1-2 недели (иногда за 1-2 дня!) дать сразу прогноз по сотням и тысячам (даже не десяткам) специалистов, то тогда приходится применять именно количественные (тестовые, стандартизированные) методы. Другие методы просто НЕТ времени применять.
 
В чем моя претензия к психологам? - Они просто не умеют подсчитывать ресурсы, в том числе временные. Они постоянно абстрагируется от того, чтобы калькулировать выгоды и затраты: выгоды в терминах повышения точности прогноза, а затраты - в терминах повышения числа человеко-часов квалифицированного труда. Поэтому многие "качественники" (сторонники качественных методов) вообще не могут понять смысла количественных методов и не чувствительны к психометрической информации о том, насколько эффективны те или иные количественные методы.  Сами идеологи, возглавляющие армию сторонников качественных методов, просто не понимают, зачем им нужны количественные методы, когда именно, в каком объеме нужны психометрические знания и т.п.
 
В своем вчерашнем ответе Т.Ю.Базарову (на мое блоге) я веду разговор примерно о том же, но немного под другим ракурсом.
 
С ув,
АШ
 
 
 
ЦИТАТА (Пишет Рудинский И. Д.):

------------------------------------------------------------------
ЦИТАТА (Пишет Собчик Л. Н.):
Это особенно важный аргумент в Вашей реплике, уважаемая Татьяна! Да и в
остальном полностью согласна с Вами. Когда-то давно Вы меня порадовали своей
статьей "Свет в конце тоннеля", приветствуя первые публикации по
психодиагностике. У Вас вполне реалистичный подход к обсуждаемой проблеме,
чувствуется большой опыт и знание предмета. К сожалению, у левополушарных
мужчин
дискуссия на эту тему грешит схоластичностью и отсутствием конкретного опыта,
умения толкованать данные конкретных людей. Попытки свести все к неким
стандартам уводит их от индивидуальной неповторимости. Нет у них (ну не у всех,
конечно) понимания того неоспоримого факта, что лишь сложные сочетания
показателей разных тестов, в том числе и проективных, приближает нас к
пониманию
психологической сущности и к проблемам человека.
Л.Н.
Уважаемая Людмила Николаевна, возможно я ошибаюсь, но гендерные различия не
имеют никакого отношения к обсуждаемой проблематике. Тем более, при указании на
них столь категоричным тоном.
Коллеги, не имея психологического образования и не владея методологией
психодиагностики, тем не менее, часто сталкиваюсь с проблематикой качественных и
количественных оценок в рамках педагогической диагностики. Попытаюсь
сформулировать свое понимание обсуждаемого вопроса в категорниях теории принятия
решений.
Качественное (бинарное, двоичное, альтернативное и т.п.) оценивание применяется
при решении задачи классификации, когда в результате реализации соответствующей
оценочной процедуры единственный (это принципиально важно!) объект должен быть
отнесен к одному из альтернативных классов. Качественная оценочная шкала всегда
бинарна, и поэтому проецирование на нее оцениваемого свойства позволяет относить
объект к одному из двух рассматриваемых классов. Качественное оценивание может
быть субъективным (решение принимается экспертом либо экспертной комиссией) либо
объективным (по результатам инструментального измерения оцениваемых свойств).
"Традиционное" качественное оценивание предполагает принятие решения по
результатам анализа единственного свойства объекта, однако в настоящее время все
более интенсивно начинают применяться процедуры многокритериального оценивания,
предусматривающие т.н. свертку множества частных оценок в единую комплексную
оценку. Наиболее распространенный пример качественного оценивания в педагогике -
присвоение выпускнику учебного заведения искомой квалификации.
Количественное (многозначное) оценивание применяется при решении задач
ранжирования множества однородных объектов либо их декомпозиции на n > 2
непересекающихся подмножества. Со структурных позиций, принципиальное отличие
механизма количественного оценивания заключается в многозначности или даже
непрерывности рценочной шкалы, вследствие чего количественная оценка всегда
оказывается более точной, чем качественная. Количественное оценивание также
может быть субъективным либо объективным. В принципе, нет никаких препятствий к
тому, чтобы в результате многокритериального количественного оценивания получать
итоговую качественную оценку - это уже теория информации и прикладная
алгоритмика, не более того.
На мой взгляд, нет смысла противопоставлять качественный и количественный
подходы в силу принципиально разного характера решаемых с их помощью задач.
Другое дело, что при увеличении значности оценочных шкал методы качественного
оценивания могут и должны заменяться методами количественного оценивания .
Но это уже совсем иная проблема.


------------------------------------------------------------------


 

№ 12 из 59. 21.11.2010 : 21:07. Батурин Н.А.
------------------------------------------------------------------
Уважаемая Татьяна Владимировна!
    Мне показалось, что Ваше непонимание о рецензировании тестов на основе анализа его психометрических параметров – намек на несовершенство подхода к рецензированию тестов, который реализуется в проекте Ежегодник профессиональных рецензий.    Поэтому решил привести свои аргументы.
 
       Вы пишете: «Возможно я безнадежно "феминна", но я до сих пор не могу понять, каким образом можно рецензировать тест, опираясь только на данные о надежности, валидности и нормах, не получив ни одного реального описания конкретного человека по результатам этого теста, не говоря уже о том, чтобы самому поработать с ним хотя бы немного.
 
        В отличие от Вас я видимо безнадежно «мускулинен» и не понимаю, а что можно понять о качестве теста, подержав его в руках и опробовав  на «одном конкретном человеке»?
        Сошлюсь на авторитет  женщины -  А.Анастази,  надеюсь ее мнение для Вас значимо:  «Насколько хорош данный тест? Действительно ли он отвечает своему назначению? Эти вопросы могут выливаться, - и время от времени действительно выливаются, - в длительные бесплодные дискуссии. Субъективные мнения, необоснованные предчувствия и личные пристрастия могут приводить одних к переоценке возможностей конкретного теста, а у других вызывать его упорное непринятие. Единственный способ дать окончательный ответ на подобные вопросы – эмпирическая проверка. Объективная оценка психологических тестов предполагает в первую очередь определение их надежности и валидности в строго заданных ситуациях» (Анастази, Урбина - Психологическое тестирование.7-е международное издание,2001, с.22).
 
       Дальше Вы пишете: «Точно так же я не могу понять, каким образом можно выпускать   тесты, не наработав опыта интерпретации и не изложив его подробно в руководстве. По-видимому, все это считается издержками качественного, "феминного" подхода». 
    По моему, «феминность» и «качественный подход» здесь не причем, поскольку я – безнадежно «мускулинный» - с этим ( частично) – согласен. Хотя и до конца не понимаю, что такое «наработать опыт», а «потом изложить его подробно в руководстве»?  Ведь Руководство пишет не пользователь, а разработчик.   Хотя в принципе, «с полезностью данных для понимания и интерпретации сведений о валидности…,получаемых самим пользователем теста» -  согласна и А.Анастази (с.162), посвящая этой проблеме целую шестую главу: «Валидность: измерение и интерпритация».
 
    Поэтому предлагаю тему феминности- мускулинности, так же как лево-право полушарности  - закрыть и обсуждать проблему количественных и качественных измерений, исходя из научных представлений, а не из того, что «это мне нравиться», а это «не для женщин».
 
     Н.А.Батурин
      Все мы - бесполые психологи-коллеги - особенно в День Психолога (хотя и мужчины по роду).
 
 
 
 

№ 13 из 59. 21.11.2010 : 21:19. Батурин Н.А.
------------------------------------------------------------------
 
 
  Александр Гергиевич, после "сохранения коментария" куда-то улетел следующий абзац:
 

   " Поэтому предлагаю тему феминности-мускулинности, так же как лево-право полушарности  - закрыть и обсуждать проблему количественных и качественных измерений, исходя из научных представлений, а не из того, что «это мне нравиться», а это «не для женщин».
 
   Коллеги, прошу читать этот абзац перед последним - с поздравлением с   
   Днем Психолога.

         Н.Б.

№ 14 из 59. 22.11.2010 : 19:07. Барлас Т.В.
------------------------------------------------------------------
Уважаемый Николай Алексеевич!
Вы правы в том, что мои недоумения частично связаны с опытом участия в Ежегоднике рецензий. Однако я никоим образом не могу назвать это "намеком на несовершенство". Мои недоумения - это не более, чем мои недоумения. Давайте попробуем в них разобраться, без отсылок к гендеру, который в данном случае является не более, чем фигурой речи.
 
       " не понимаю, а что можно понять о качестве теста, подержав его в руках и опробовав  на «одном конкретном человеке»?"
 
Отвечаю: можно понять, достаточно ли информации, приведенной в руководстве, для того, чтобы провести тестирование, обработку и интерпретацию результатов и быть уверенным, что все это проведено в соответствии с руководством и замыслом автора.
В моей практике было немало тестов, которые  хорошо смотрелись в руководствах, однако при попытке их выполнить, всплывали непредвиденные проблемы, которые заставляли отказываться от применения теста.
 
Хотя и до конца не понимаю, что такое «наработать опыт», а «потом изложить его подробно в руководстве»?  
 
Отвечаю: во многих руководствах  мне не хватает сведений об особенностях испытуемых с различными сочетаниями выявляемых тестом характеристик. В большинстве руководств авторы ограничиваются описанием высоких и низких значений характеристик. Между тем, при попытке соотнести конкретные значения характеристик у конкретного человека начинающий (и не только начинающий) пользователь нередко оказывается в недоумении. К примеру , как интерпретировать сочетание высокой доминантности с низкой экстраверсией. Доминантный индивид вроде бы должен стремиться добиваться принятия своей позиции во взаимодействии с другими, но как интроверт он будет склонен избегать этого взаимодействия.
Как только начинаешь разбираться с индивидуальными данными, подобные  вопросы возникают в большом количестве, и руководство, авторы которого ограничились лишь проверкой психометрических характеристик - не помощник. Именно способность содержательно отвечать на подобные вопросы, которая возникает не сразу, а после некоторого опыта работы, я и называю "наработкой опыта и изложением его в руководстве".
Конечно для обследование сотен и тысяч людей это не так принципиально, но для индивидуального обследования - важно. Иначе получается вместо описания человека внутренне противоречивый конгломерат характеристик.   
 
P.S. Почему-то коммантарий оказался приписанным Н.А.Батурину.
Размещаю его заново
Т.В.Барлас

№ 15 из 59. 22.11.2010 : 19:14. Коняева А.П.
------------------------------------------------------------------
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
№ 12 из 13. 21-11-2010 : 21:07. Коллега: Батурин Н. А.
Уважаемый Николай Алексеевич!
Вы правы в том, что мои недоумения частично связаны с опытом участия в
Ежегоднике рецензий. Однако я никоим образом не могу назвать это "намеком на
несовершенство". Мои недоумения - это не более, чем мои недоумения. Давайте
попробуем в них разобраться, без отсылок к гендеру, который в данном случае
является не более, чем фигурой речи.
" не понимаю, а что можно понять о качестве теста, подержав его в руках и
опробовав на «одном конкретном человеке»?"
Отвечаю: можно понять, достаточно ли информации, приведенной в руководстве, для
того, чтобы провести тестирование, обработку и интерпретацию результатов и
быть уверенным, что все это проведено в соответствии с руководством и замыслом
автора.
В моей практике было немало тестов, которые хорошо смотрелись в руководствах,
однако при попытке их выполнить, всплывали непредвиденные проблемы, которые
заставляли отказываться от применения теста.
Хотя и до конца не понимаю, что такое «наработать опыт», а «потом изложить его
подробно в руководстве»?
Отвечаю: во многих руководствах мне не хватает сведений об особенностях
испытуемых с различными сочетаниями выявляемых тестом характеристик. В
большинстве руководств авторы ограничиваются описанием высоких и низких
значений характеристик. Между тем, при попытке соотнести конкретные значения
характеристик у конкретного человека начинающий (и не только начинающий)
пользователь нередко оказывается в недоумении. К примеру , как интерпретировать
сочетание высокой доминантности с низкой экстраверсией. Доминантный индивид
вроде бы должен стремиться добиваться принятия своей позиции во взаимодействии
с другими, но как интроверт он будет склонен избегать этого взаимодействия.
Как только начинаешь разбираться с индивидуальными данными, подобные вопросы
возникают в большом количестве, и руководство, авторы которого ограничились
лишь проверкой психометрических характеристик - не помощник. Именно способность
содержательно отвечать на подобные вопросы, которая возникает не сразу, а после
некоторого опыта работы, я и называю "наработкой опыта и изложением его в
руководстве".
Конечно для обследование сотен и тысяч людей это не так принципиально, но для
индивидуального обследования - важно. Иначе получается вместо описания человека
внутренне противоречивый конгломерат характеристик.
P.S. Почему-то коммантарий оказался приписанным Н.А.Батурину.
Размещаю его заново
Т.В.Барлас


------------------------------------------------------------------
Татьяна, совершенно согласна с каждым из высказанных аргументов по поводу "полноценного" руководства к тесту.
Что касается сборника рецензий, то я к сожалению прочла только одну, Александра Виноградова. С большой благодарностью к ее автору - он точно дал понять, где методику применять не следует - каковы ее естественные ограничения.

№ 16 из 59. 23.11.2010 : 09:45. Барлас Т.В.
------------------------------------------------------------------
Вчера, когда я отвечала на сообщение Н.А.Батурина, произошел технический сбой. Сегодня я с большим сожалением обнаружила, что сообщение, на которое я отвечала Николаю Алексеевичу (между сообщениями 11 и 12), исчезло. Очень жаль, потому что оно было весьма содержательным, а текст не сохранился (только несколько цитат). Мои извинения Николаю Алексеевичу и всем сообщникам и вопрос к администрации блога: нет ли какой-нибудь резервной копии, из которой это сообщение можно восстановить?

№ 17 из 59. 23.11.2010 : 18:44. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
соместными усилиями с Николаем Алексеевичем (ему - отдельное спасибо), мы восстановили временно утраченное его сообщение. О том, почему и как это произошло, я направил Вам техническое письмо в частном порядке. Кстати, очень удобно, когда грамотные пользователи перед публикацией длинного своего сообщения (или вдруг получившегося длинным) предварительно сохраняют текст на своем компьютере в блокноте или в Ворде. За эту разумную тактику, которую применил Николай Алексеевич, я лично всегда агитировал и даже сделал на этом акцент в созданном Дистанционном курсе "Деловая коммуникация в Интернете", который, увы, среди наших сообщников (очень занятых людей) не пользуется успехом.
 
По содержательной стороне обсуждения. Мне бы очень хотелось услышать Ваш комментарий к моему сообщению, которое у меня возникло как ответ И.Д. Рудинскому от 21.11.2010. 
 
С ув,
АШ
 
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Вчера, когда я отвечала на сообщение Н.А.Батурина, произошел технический сбой.
Сегодня я с большим сожалением обнаружила, что сообщение, на которое я отвечала
Николаю Алексеевичу (между сообщениями 11 и 12), исчезло. Очень жаль, потому что
оно было весьма содержательным, а текст не сохранился (только несколько цитат).
Мои извинения Николаю Алексеевичу и всем сообщникам и вопрос к администрации
блога: нет ли какой-нибудь резервной копии, из которой это сообщение можно
восстановить?


------------------------------------------------------------------


 

№ 18 из 59. 23.11.2010 : 18:57. Коняева А.П.
------------------------------------------------------------------
ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Кстати, очень

удобно, когда грамотные пользователи перед публикацией длинного своего сообщения
(или вдруг получившегося длинным) предварительно сохраняют текст на своем
компьютере в блокноте или в Ворде. За эту разумную тактику, которую применил
Николай Алексеевич, я лично всегда агитировал и даже сделал на этом акцент в
созданном Дистанционном курсе "Деловая коммуникация в Интернете", который, увы,
среди наших сообщников (очень занятых людей) не пользуется успехом.


------------------------------------------------------------------
Александр Геогиевич, хочу поделиться, почему я практически не пользуюсь этой замечательной практикой предсохранения. У меня часто соскакивают из запоминания посты. А так как они почти всегда длинные, то иногда бывает жалко. Но я считаю, что раз соскакивание не поддается очевидным закономерностям - то это знак судьбы, что текст был преждевременным. надо еще отстроиться от реакции и второй подход будет правильнее. Во всяком случае с точки зрения ноосферы.

№ 19 из 59. 23.11.2010 : 19:13. Шмелев А.Г.
------------------------------------------------------------------
Алла,
 
если бы я следовал такой же суеверно-иррациональной тактике (извините, если эти эпитеты могут обидеть), то   потерял бы слишком много своих текстов и времени на их восстановление.
 
Я начал проводить сложные онлайн-проекты еще в 90-е годы (всероссийская олимпиада "Телетестинг"), когда от сетей и компьютеров можно было ждать каких-угодно выходок... Поэтому простые правила самострахования собственной работы были мной лично усвоены прочно.
 
С ув,
АШ
 
 
ЦИТАТА (Пишет Коняева А. П.):

------------------------------------------------------------------
Александр Геогиевич, хочу поделиться, почему я практически не пользуюсь этой
замечательной практикой предсохранения. У меня часто соскакивают из запоминания
посты. А так как они почти всегда длинные, то иногда бывает жалко. Но я считаю,
что раз соскакивание не поддается очевидным закономерностям - то это знак
судьбы, что текст был преждевременным. надо еще отстроиться от реакции и второй
подход будет правильнее. Во всяком случае с точки зрения ноосферы.


------------------------------------------------------------------


 

№ 20 из 59. 23.11.2010 : 20:27. Коняева А.П.
------------------------------------------------------------------
ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Алла,
если бы я следовал такой же суеверно-иррациональной тактике (извините, если эти
эпитеты могут обидеть), то потерял бы слишком много своих текстов и времени на
их восстановление.
Я начал проводить сложные онлайн-проекты еще в 90-е годы (всероссийская
олимпиада "Телетестинг"), когда от сетей и компьютеров можно было ждать
каких-угодно выходок... Поэтому простые правила самострахования собственной
работы были мной лично усвоены прочно.
С ув,
АШ
ЦИТАТА (Пишет Коняева А. П.):
Александр Геогиевич, хочу поделиться, почему я практически не пользуюсь этой
замечательной практикой предсохранения. У меня часто соскакивают из запоминания
посты. А так как они почти всегда длинные, то иногда бывает жалко. Но я считаю,
что раз соскакивание не поддается очевидным закономерностям - то это знак
судьбы, что текст был преждевременным. надо еще отстроиться от реакции и второй
подход будет правильнее. Во всяком случае с точки зрения ноосферы.


------------------------------------------------------------------
Дорогой Александр! Я ни в коем случае для наследования. Просто подумала, что Вам интересно будет принять во внимание факт, что альтернативные стратегии по разному мотивируются и рационализируются, и, кстати, могут проживать внутри субъективной причинно-следственной модели,  исключительно как рациональные (так что я не обижаюсь, ибо не об этом). Ваша А..К.

№ 21 из 59. 23.11.2010 : 23:28. Барлас Т.В.
------------------------------------------------------------------
ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Александр Георгиевич!
Вы просили меня откликнуться на это Ваше сообщение, я не делала это раньше, потому что  в целом я согласна с изложенными в нем мыслями. Однако в связи с ним вспоминается старый анекдот про диалог врача и больного:
- Больной, не волнуйтесь, для этой операции смертность только один процент.
- Доктор, а ВАШ процент уже умер?
Иными словами, мы действительно смотрим на проблему диагностики с несколько разных позиций, и невзирая на то, что я понимаю всю важность экономической эффективности, не могу отстраниться от того, что с позиции отдельно взятого индивида все видится несколько иначе.
Кстати, индивидуальный подход и экономическая эффективность не всегда противоречат друг другу. Вполне возможно уникальное сочетание характеристик индивида, которое обеспечит высокую эффективность, однако в силу уникальности, оно не будет оценено формализованным алгоритмом отбора, и такой кандидат будет отсеян. Что может привести к большой упущенной выгоде, потому что  нестандартное сочетание  характеристик, приводящее к высокой успешности, нередко встречается не просто у хороших, а у выдающихся специалистов, превосходящих по своему потенциалу тех, кто успешно проходит через процедуры стандартного отбора.
Я однако не являюсь ревностным сторонником качественного подхода из-за того, что он очень субъективен и очень зависит от квалификации психолога, а она увы слишком часто оставляет желать лучшего. О следствиях и последствиях было уже многократно говорено.
 
 
 
Игорь Давидович,
(впрочем, эта реплика адресована всем участникам дискуссии).
спасибо за ясное изложение того взгляда на проблему, который характерен для
специалистов по формальной теории измерений. Действительно, на фоне определенных
формализмов, связанных с типологией шкал, качественная диагностика - частный
случай количественной. Казалось бы привлекательная точка зрения, да? Хотя бы для
таких сторонников количественных методов, как я. Но эти формализмы не вполне
оправданы, так как абстрагируются, по моему мнению, от некоторых важнейших
сторон реальности. А именно - от возможности, в одних случаях, и невозможности,
в других, повторить наблюдение (или регистрацию события). Качественный подход
востребован прежде всего тогда, когда у нас фактически НЕТ возможности повторить
наблюдение и строить заключение на основе статистики повторений. Что толку для
одного конкретного экстраверта из информации о том, что, например, 65-70
процентов (значимое большинство) людей с экстравертированным темпераментом
успешно противостоят "выгоранию" в ходе коммуникативного стресса (связанного с
избытком профессионально-значимого общения). Важно понять, этот конкретный
человек попадет в группу большинства или в группу меньшинства - в те 30
процентов экстравертов, которые все-таки "выгорят". В конкретном случае
складывается уникальная комбинация жизненных обстоятельств и индивидуальных
особенностей, которая фактически не имеет аналогов. Поэтому не удается опереться
на статистику "аналогичных случаев".
Согласен с Леонидом Федоровичем, который взглянул на проблему (пока в большей
степени, чем остальные коллеги) с экономической точки зрения: если у нас есть
ресурсы (времени квалифицированных специалистов), чтобы применять качественный
индивидуальный подход (требующих нередко несколько дней для сбора и анализе
разнообразной информации об одном единственном человеке), то тогда качественный
подход оправдан. Но, если у нас нет такой практической возможности, а есть
задача - за 1-2 недели (иногда за 1-2 дня!) дать сразу прогноз по сотням и
тысячам (даже не десяткам) специалистов, то тогда приходится применять именно
количественные (тестовые, стандартизированные) методы. Другие методы просто НЕТ
времени применять.
В чем моя претензия к психологам? - Они просто не умеют подсчитывать ресурсы, в
том числе временные. Они постоянно абстрагируется от того, чтобы калькулировать
выгоды и затраты: выгоды в терминах повышения точности прогноза, а затраты - в
терминах повышения числа человеко-часов квалифицированного труда. Поэтому многие
"качественники" (сторонники качественных методов) вообще не могут понять смысла
количественных методов и не чувствительны к психометрической информации о том,
насколько эффективны те или иные количественные методы. Сами идеологи,
возглавляющие армию сторонников качественных методов, просто не понимают, зачем
им нужны количественные методы, когда именно, в каком объеме нужны
психометрические знания и т.п.
В своем вчерашнем ответе Т.Ю.Базарову (на мое блоге) я веду разговор примерно о
том же, но немного под другим ракурсом.
С ув,
АШ

№ 22 из 59. 24.11.2010 : 01:05. Кроник А.А.
------------------------------------------------------------------
Коллеги, в количественных методах в идеале имеются критерии качества: валидность, надежность, репрезентативные нормы, компьютерные версии. Мой наивный вопрос: a каковы критерии качества качественных методов?

 
И еще свежая шутка: "Качественные методы - методы исследования, препятствующие умножению количественных ошибок в социальном познании и способствующие умножению качественных" (Е.Головаха. "Психология и другие смешные науки. Альтернативный словарь" М: Смысл, 2010, с.28).
 
АК 
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
... вспоминается старый анекдот про диалог врача и больного:
- Больной, не волнуйтесь, для этой операции смертность только один процент. - Доктор, а ВАШ процент уже умер?

... невзирая на то, что я понимаю всю важность экономической  эффективности, не могу отстраниться от того, что с позиции отдельно взятого индивида все видится несколько иначе.

№ 23 из 59. 24.11.2010 : 09:15. Чупров Л.Ф.
------------------------------------------------------------------
К методике качественной и количественной диагностики.
У каждого экспериментатора свои цели, свои задачи и свои тараканы.
Работающий качественными методами экспериментатор берет одного таракана, ставит перед собой задачу: «Определение группы инвалидности у тараканов», подготавливает стандартное оборудование эксперимента (стол со стеклянной поверхностью и пистолет, секундомер, краску и измерительную ленту). Четко фиксирует ход исследования. Первый этап. Экспериментатор, смазов брюшко красителем, выпускает таракана на стеклянную поверхность, производит выстрел из пистолета – таракан побежал и экспериментатор замеряет путь и скорость. Второй этап. Экспериментатор отрывает у таракана одну лапу, располагает его на стеклянной поверхности, стреляет из пистолета – таракан бежит и экспериментатор замеряет путь и скорость. Так методично, отрывая по одной ноге, исследователь доходит да ампутации последней. Обезноженного таракана располагает на стеклянной поверхности, стреляет из пистолета и получает данные по полной инвалидности. Далее, обработав все полученные данные – распределяет результат по группам инвалидности.
Работающий количественными методами исследователь ставит более глобальные цели и решает более важные проблемы. Например, "Чем слышит таракан?". Он использует почти то же самое оборудование (стеклянный стол, пистолет) и чистые, статистически достоверные (репрезентативные) выборки – коробки с тараканами (по числу конечностей плюс одна). Высыпает  на середину стола тараканов из первой коробки: «Полный набор ног», стреляет из пистолета и определяет дисперсию. После этого, подготовив поверхность стола, берет вторую коробку с тараканами «Без одной ноги», высыпает содержимое на стол, рассчитывает и фиксирует дисперсию. Продолжает эксперимент до тех пор, пока на поверхность стола не поступит последняя статистически достоверная выборка полностью обезноженных тараканов. Экспериментатор производит выстрел, фиксирует результат - неподвижность тараканов и после тщательной статистической обработки пишет заключение эксперимента: «Таким образом, наше исследование, проведенное на статистически достоверных, репрезентативных, независимых выборках, после корректной статистической обработки результатов доказало, что тараканы слышат ногами».
(С) уважением Л.Чупров.
 
ЦИТАТА (Пишет Кроник А. А.):

------------------------------------------------------------------
Коллеги, в количественных методах в идеале имеются критерии качества:
валидность, надежность, репрезентативные нормы, компьютерные версии. Мой наивный
вопрос: a каковы критерии качества качественных методов?
И еще свежая шутка: "Качественные методы - методы исследования, препятствующие
умножению количественных ошибок в социальном познании и способствующие умножению
качественных" (Е.Головаха. "Психология и другие смешные науки. Альтернативный
словарь" М: Смысл, 2010, с.28).
АК


------------------------------------------------------------------
 

№ 24 из 59. 24.11.2010 : 11:30. Коняева А.П.
------------------------------------------------------------------
ЦИТАТА (Пишет Чупров Л. Ф.):

------------------------------------------------------------------
К методике качественной и количественной диагностики.
У каждого экспериментатора свои цели, свои задачи и свои тараканы.
Работающий качественными методами экспериментатор берет одного таракана, ставит
перед собой задачу: «Определение группы инвалидности у тараканов»,
подготавливает стандартное оборудование эксперимента (стол со стеклянной
поверхностью и пистолет, секундомер, краску и измерительную ленту). Четко
фиксирует ход исследования. Первый этап. Экспериментатор, смазов брюшко
красителем, выпускает таракана на стеклянную поверхность, производит выстрел из
пистолета - таракан побежал и экспериментатор замеряет путь и скорость. Второй
этап. Экспериментатор отрывает у таракана одну лапу, располагает его на
стеклянной поверхности, стреляет из пистолета - таракан бежит и экспериментатор
замеряет путь и скорость. Так методично, отрывая по одной ноге, исследователь
доходит да ампутации последней. Обезноженного таракана располагает на стеклянной
поверхности, стреляет из пистолета и получает данные по полной инвалидности.
Далее, обработав все полученные данные - распределяет результат по группам
инвалидности.
Работающий количественными методами исследователь ставит более глобальные цели и
решает более важные проблемы. Например, "Чем слышит таракан?". Он использует
почти то же самое оборудование (стеклянный стол, пистолет) и чистые,
статистически достоверные (репрезентативные) выборки - коробки с тараканами (по
числу конечностей плюс одна). Высыпает на середину стола тараканов из первой
коробки: «Полный набор ног», стреляет из пистолета и определяет дисперсию. После
этого, подготовив поверхность стола, берет вторую коробку с тараканами «Без
одной ноги», высыпает содержимое на стол, рассчитывает и фиксирует дисперсию.
Продолжает эксперимент до тех пор, пока на поверхность стола не поступит
последняя статистически достоверная выборка полностью обезноженных тараканов.
Экспериментатор производит выстрел, фиксирует результат - неподвижность
тараканов и после тщательной статистической обработки пишет заключение
эксперимента: «Таким образом, наше исследование, проведенное на статистически
достоверных, репрезентативных, независимых выборках, после корректной
статистической обработки результатов доказало, что тараканы слышат ногами».
(С) уважением Л.Чупров.
ЦИТАТА (Пишет Кроник А. А.):
Коллеги, в количественных методах в идеале имеются критерии качества:
валидность, надежность, репрезентативные нормы, компьютерные версии. Мой
наивный
вопрос: a каковы критерии качества качественных методов?
И еще свежая шутка: "Качественные методы - методы исследования, препятствующие
умножению количественных ошибок в социальном познании и способствующие
умножению
качественных" (Е.Головаха. "Психология и другие смешные науки. Альтернативный
словарь" М: Смысл, 2010, с.28).
АК


------------------------------------------------------------------
Продолжая стебный тон, но со всей возможной серьезностью к теме хочу внести свой критерий качества при применении качественных методов. Это крепкий сон рекрутера на одном полюсе шкалы и телефонобоязнь на другом в течение срока гарантийной ответственности за трудоустроенного кандидата. И метод, которрый обладает наиболее высоким потенциалом пребывания ближе к полюсу спокойного сна - грамотно и добросовестно проведенная комбинация глубинного интервью и интервью по компетенциям. Чуть не забыла - перепроверенные сбором рекомендаций.

№ 25 из 59. 24.11.2010 : 17:17. Барлас Т.В.
------------------------------------------------------------------
Уважаемый Александр Александрочич!
Мой ответ тоже будет несколько наивный, точнее идеалистический.
Я думаю, что с позиции практической полезности и применимости теста оптимальный критерий качества может быть общим для количественных и качественных методик. Это критерий прогностической валидности, то есть, возможности на основании теста дать прогноз по значимым для практика параметрам поведения.
 
В связи с этим у меня вопросы к тем, кто лучше меня знает процедуры адаптации современных тестов
- Многие ли тесты, соответствующие критериям качества, проходят процедуру проверки прогностической валидности?
- Если да, то каков принятый промежуток между тестированием и оценкой пераметров поведения (например, профессиональной успешностью). Думаю, что практиков чаще интересует возможность прогноза на годы, а не на месяцы.
- Если получены значения прогностической валидности (к примеру, коэфициенты корреляции), то какую точность прогноза они обеспечивают? К примеру, если прием на работу проводится исключительно на основе тестов, то какой процент неэффективных работников окажется в организации через год-два после тестирования?
- Есть ли возможность при оценке прогностической валидности учесть ошибку другого рода (каюсь, не помню навскидку, какая из них называется первого, а какая - второго рода)? Иными словами, какая часть испытуемых, отсеянных на основе тестов, в итоге оказалась (к примеру) эффективными работниками?
 
Иными словами так ли велико преимущество качественных (в смысле хороших по качеству, а по сути - количественных) тестов при решении практических задач перед интуитивными, неформализованными решениями, чтобы стоило вводить процедуры тестирования? 
 
 
 
 
ЦИТАТА (Пишет Кроник А. А.):

------------------------------------------------------------------
Коллеги, в количественных методах в идеале имеются критерии качества:
валидность, надежность, репрезентативные нормы, компьютерные версии. Мой наивный
вопрос: a каковы критерии качества качественных методов?
И еще свежая шутка: "Качественные методы - методы исследования, препятствующие
умножению количественных ошибок в социальном познании и способствующие умножению
качественных" (Е.Головаха. "Психология и другие смешные науки. Альтернативный
словарь" М: Смысл, 2010, с.28).

№ 26 из 59. 24.11.2010 : 17:43. Коняева А.П.
------------------------------------------------------------------
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Уважаемый Александр Александрочич!
Мой ответ тоже будет несколько наивный, точнее идеалистический.
Я думаю, что с позиции практической полезности и применимости теста оптимальный
критерий качества может быть общим для количественных и качественных методик.
Это критерий прогностической валидности, то есть, возможности на основании теста
дать прогноз по значимым для практика параметрам поведения.
В связи с этим у меня вопросы к тем, кто лучше меня знает процедуры адаптации
современных тестов?
- Многие ли тесты, соответствующие критериям качества, проходят процедуру
проверки прогностической валидности?
- Если да, то каков принятый промежуток между тестированием и оценкой пераметров
поведения (например, профессиональной успешностью). Думаю, что практиков чаще
интересует возможность прогноза на годы, а не на месяцы.
- Если получены значения прогностической валидности (к примеру, коэфициенты
корреляции), то какую точность прогноза они обеспечивают? К примеру, если прием
на работу проводится исключительно на основе тестов, то какой процент
неэффективных работников окажется в организации через год-два после
тестирования?
- Есть ли возможность при оценке прогностической валидности учесть ошибку
другого рода (каюсь, не помню навскидку, какая из них называется первого, а
какая - второго рода)? Иными словами, какая часть испытуемых, отсеянных на
основе тестов, в итоге оказалась (к примеру) эффективными работниками?
Иными словами так ли велико преимущество качественных тестов при решении
практических задач перед интуитивными, неформализованными решениями, чтобы
стоило вводить процедуры тестирования?
ЦИТАТА (Пишет Кроник А. А.):
Коллеги, в количественных методах в идеале имеются критерии качества:
валидность, надежность, репрезентативные нормы, компьютерные версии. Мой
наивный
вопрос: a каковы критерии качества качественных методов?
И еще свежая шутка: "Качественные методы - методы исследования, препятствующие
умножению количественных ошибок в социальном познании и способствующие
умножению
качественных" (Е.Головаха. "Психология и другие смешные науки. Альтернативный
словарь" М: Смысл, 2010, с.28).


------------------------------------------------------------------
Таня, хочу присоединиться ко всем вопросам, прозвучавшим от тебя и внести добавление. Мне хотелось уточнить, что интервью по компетенциям или глубинное интервью врядли могут быть отнесены к неформализованным и чисто интуитивным инструментам, так как имеют и жесткий алгоритм проведения/поведения интервьюера, и дают возможность получать данные о человеке во вполне сравниваемом формате, как с другими обследуемыми, так и с данными этого же человека через определенные промежутки времени, имеют жесткий формат обработки и интерпретации первичной информации, на основе которого будут вынесены суждения. Кстати,  выявлять также вполне определенно, что изменилось после специальных обучающих программ.

№ 27 из 59. 25.11.2010 : 11:07. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
Я внимательно прочитал эту Вашу реплику и тоже не вижу между нами серьезных расхождений. Я за разумное применение количественного и качественного подхода в разных ситуациях, а там, где это возможно, - за их сочетание! Если меня спросят: "Что делать, вот у этого кандидата баллы по тестам низкие настолько, что его не надо брать, но интервью и в неформализованных оценочных процедурах он проявил особое своеобразие, оригинальность и т.п.?", я отвечу: "Постарайтесь, если это возможно, обследовать этого кандидата дополнительно. Если можете рискнуть, возьмите его на испытательный срок. Возможно, что именно здесь Вы и найдете настоящий "клад"!
 
Что касается анкедота. За это отдельное спасибо. Мне очень нужны такие анекдоты. Я их использую на лекциях, чтобы как-то скрасить для студентов определенное занудство моего материала, который приходится давать.
 
Кстати, у меня была мысль создать у нас в И-сообществе отдельный блог как коллекцию  анекдотов - педагогически-ценных и психологически проинтерпретированных. Как Вам эта мысль? Начнем с Вашего, да? Пусть люди пользуются...
 
С ув,
АШ
 
 
 
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Александр Георгиевич!
Вы просили меня откликнуться на это Ваше сообщение, я не делала это раньше,
потому что в целом я согласна с изложенными в нем мыслями. Однако в связи с ним
вспоминается старый анекдот про диалог врача и больного:
- Больной, не волнуйтесь, для этой операции смертность только один процент.
- Доктор, а ВАШ процент уже умер?
Иными словами, мы действительно смотрим на проблему диагностики с несколько
разных позиций, и невзирая на то, что я понимаю всю важность экономической
эффективности, не могу отстраниться от того, что с позиции отдельно взятого
индивида все видится несколько иначе.
Кстати, индивидуальный подход и экономическая эффективность не всегда
противоречат друг другу. Вполне возможно уникальное сочетание характеристик
индивида, которое обеспечит высокую эффективность, однако в силу уникальности,
оно не будет оценено формализованным алгоритмом отбора, и такой кандидат будет
отсеян. Что может привести к большой упущенной выгоде, потому что нестандартное
сочетание характеристик, приводящее к высокой успешности, нередко встречается
не просто у хороших, а у выдающихся специалистов, превосходящих по своему
потенциалу тех, кто успешно проходит через процедуры стандартного отбора.
Я однако не являюсь ревностным сторонником качественного подхода из-за того, что
он очень субъективен и очень зависит от квалификации психолога, а она увы
слишком часто оставляет желать лучшего. О следствиях и последствиях было уже
многократно говорено.


------------------------------------------------------------------


 

№ 28 из 59. 25.11.2010 : 18:58. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
Хотя Вы отвечаете здесь Александру Кронику, разрешите мне тоже вмешаться.
Я хотел описать пример исследования прогностической валидности, о котором я уже много-много лет рассказываю студентам на лекции, посвященной валидности. Речь идет про тест-опросник, который разработали в области кардиологической медицины Розенман и Фридман еще в 50-е годы. Без особого изыска в терминологии была сформулирована классификация типологии поведения из двух букв - А и В. Через 10-15 лет среди тысяч обследованных здоровых людей выявилиь около сотни заболевших инфарктном миакарда. Оказалось, что среди них значимо чаще встречаются люди типа "А", для которых в поведении характерна спешка на фоне постоянного дефицита времени, сверхвключенность в работу и ряд других признаков активной реакции на стресс. А вот симптоматика ишемической болезни сердца выявлена у людей с поведением типа "В" - с противоположным набором признаков заторможенно пассивной реаакции на стресс.
 
Часто ли в Западной психологии встречаются подобные исследования прогностической валидности, которые потребовали от авторов многотысячных выборок и десятилетий в сборе данных прежде, чем анонсировать результаты? - Увы, и на Западе не часто. Часто ли такие исследования проводолись в СССР и России? - Увы, совсем почти не проводились. Почему? - А на них как на эталон никто и не ориентинруется вовсе!
 
Теперь самокритично о наших достижениях. Далеко не все методики, которые мы разработали в нашей лаборатории "Гуманитарные технологии", проверены на прогностическую валидность. Масса организационных факторов мешают этому. В том числе ПОЛНОЕ НЕПОНИМАНИЕ наших пользователей в том, зачем нам надо оказывать в этой работе содействие.  Выход найден в основном в тех случаях, когда мы сами (наша лаборатория) оказываемся главными пользователями определенной методики. В упоминаемом в этом году чаще других "Ежегоднике рецензий" Вы найдете нашу методику "Профориентатор" (ее использует и развивает Центр тестирования "Гуманитарные технологии" - организация, входящая в нашу группу компаний). По этой методике обследуется каждый год тысячи старшеклассников. Мы организовали обзвон и провели телефонное интервьюирование полтысячи респондентов спусти 3-4 года, собрав данные о том, где и как они получают высшее профессиональное образование. Так появились данные о прогностической валидности методики "Профориентатор" - невысокой, но значимой и обнадеживающей. Подробнее об этом можно найти в статьях, написанных моими соавторами, - Кононовой, Серебряковым, Ивановой в журналах "Вопросы психологии" и "Вестник МГУ" в 2010 году.
 
 
Что касается качественных методов, то ничего, кроме НЕПОНИМАНИЯ процедурных деталей и ... нежелания, не мешает их сторонникам организовать подобную проверку прогностической валидности, ипользуя в качестве меры корреляции коэффициенты типа фи-коэффициента для матрицы сопряженности качественных признаков. Но... я НЕ знаю, где и кто это сделал? Вы знаете? Я уже четверть века обучаю сотни психологов строить матрицы сопряженности фактически для качественных признаков! Где исследования?
 
 
С ув,
АШ

ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Уважаемый Александр Александрочич!
Мой ответ тоже будет несколько наивный, точнее идеалистический.
Я думаю, что с позиции практической полезности и применимости теста оптимальный
критерий качества может быть общим для количественных и качественных методик.
Это критерий прогностической валидности, то есть, возможности на основании теста
дать прогноз по значимым для практика параметрам поведения.
В связи с этим у меня вопросы к тем, кто лучше меня знает процедуры адаптации
современных тестов?
- Многие ли тесты, соответствующие критериям качества, проходят процедуру
проверки прогностической валидности?
- Если да, то каков принятый промежуток между тестированием и оценкой пераметров
поведения (например, профессиональной успешностью). Думаю, что практиков чаще
интересует возможность прогноза на годы, а не на месяцы.
- Если получены значения прогностической валидности (к примеру, коэфициенты
корреляции), то какую точность прогноза они обеспечивают? К примеру, если прием
на работу проводится исключительно на основе тестов, то какой процент
неэффективных работников окажется в организации через год-два после
тестирования?
- Есть ли возможность при оценке прогностической валидности учесть ошибку
другого рода (каюсь, не помню навскидку, какая из них называется первого, а
какая - второго рода)? Иными словами, какая часть испытуемых, отсеянных на
основе тестов, в итоге оказалась (к примеру) эффективными работниками?
Иными словами так ли велико преимущество качественных тестов при решении
практических задач перед интуитивными, неформализованными решениями, чтобы
стоило вводить процедуры тестирования?


------------------------------------------------------------------


 

№ 29 из 59. 25.11.2010 : 19:06. Барлас Т.В.
------------------------------------------------------------------
Я всецело за собрание анекдотов, потому что это один из способов донесения важной для корпоративной культуры информации. Хотя в моей "коллекции" психологических анекдотов есть и довольно злые, и не очень приличные, и не факт, что я бы решилась из обнародовать.
"Коллекция" - это метафора, она существует только в памяти, и подходящий анекдот вспоминается при случае, когда он уместен, а не "по заказу". Тем не менее, расскажу свой любимый анекдот про психолога, правда смысл его относится скорее к проблемам консультирования и психотерапии, а не психодиагностики.
 
Диалог психолога со своей женой.
- Знаешь, - говорит жена, - ходят слухи, что у нашей соседки роман.
- Это ее проблема.
- Но говорят, что у нее роман с тобой.
- А это моя проблема.
- Но что же мне теперь делать?
- А вот это уже твоя проблема.
 
Кстати, хочу поблагодарить за упоминание рассказа Веллера Тест. Я его раньше не знала, а сейчас складывается так, что практически каждому потоку есть повод его рассказать, хотя специально я это не планирую.

ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Татьяна Владимировна,
Я внимательно прочитал эту Вашу реплику и тоже не вижу между нами серьезных
расхождений. Я за разумное применение количественного и качественного подхода в
разных ситуациях, а там, где это возможно, - за их сочетание! Если меня спросят:
"Что делать, вот у этого кандидата баллы по тестам низкие настолько, что его не
надо брать, но интервью и в неформализованных оценочных процедурах он проявил
особое своеобразие, оригинальность и т.п.?", я отвечу: "Постарайтесь, если это
возможно, обследовать этого кандидата дополнительно. Если можете рискнуть,
возьмите его на испытательный срок. Возможно, что именно здесь Вы и найдете
настоящий "клад"!
Что касается анкедота. За это отдельное спасибо. Мне очень нужны такие анекдоты.
Я их использую на лекциях, чтобы как-то скрасить для студентов определенное
занудство моего материала, который приходится давать.
Кстати, у меня была мысль создать у нас в И-сообществе отдельный блог как
коллекцию анекдотов - педагогически-ценных и психологически
проинтерпретированных. Как Вам эта мысль? Начнем с Вашего, да? Пусть люди
пользуются...
С ув,
АШ
ЦИТАТА (Пишет Барлас Т. В.):
Александр Георгиевич!
Вы просили меня откликнуться на это Ваше сообщение, я не делала это раньше,
потому что в целом я согласна с изложенными в нем мыслями. Однако в связи с ним
вспоминается старый анекдот про диалог врача и больного:
- Больной, не волнуйтесь, для этой операции смертность только один процент.
- Доктор, а ВАШ процент уже умер?
Иными словами, мы действительно смотрим на проблему диагностики с несколько
разных позиций, и невзирая на то, что я понимаю всю важность экономической
эффективности, не могу отстраниться от того, что с позиции отдельно взятого
индивида все видится несколько иначе.
Кстати, индивидуальный подход и экономическая эффективность не всегда
противоречат друг другу. Вполне возможно уникальное сочетание характеристик
индивида, которое обеспечит высокую эффективность, однако в силу уникальности,
оно не будет оценено формализованным алгоритмом отбора, и такой кандидат будет
отсеян. Что может привести к большой упущенной выгоде, потому что нестандартное
сочетание характеристик, приводящее к высокой успешности, нередко встречается
не просто у хороших, а у выдающихся специалистов, превосходящих по своему
потенциалу тех, кто успешно проходит через процедуры стандартного отбора.
Я однако не являюсь ревностным сторонником качественного подхода из-за того,
что
он очень субъективен и очень зависит от квалификации психолога, а она увы
слишком часто оставляет желать лучшего. О следствиях и последствиях было уже
многократно говорено.


------------------------------------------------------------------
 

№ 30 из 59. 28.11.2010 : 00:45. Барлас Т.В.
------------------------------------------------------------------
Александр Георгиевич!
Вы подтверждаете мое грустное предположение, что ни количественные, ни качественные методы не обладают в массе своей доказанной прогностической валидностью. И это значит, что по большому счету проблема их сравнительной эффективности для практики пока не может быть решена.
Я не только психолог, но и человек, и подвержена действию известной социально-психологической закономерности о том, что единичный яркий пример может казаться более важным, чем статистические доказательства. Не претендуя  на обобщения, расскажу пару таких примеров.
В последнем потоке выполненных студентами практических заданий была  впечатлившая меня история девочки, которая пройдя профориентационное тестирование (где - не помню) поступила в колледж по одной из рекомендованныз специальностей. На втором курсе поняла, что это категорически "не ее" и вскоре ушла. Сейчас учится в институте по другой специальности, довольна.
А когда я сама была студенткой, то делала практическое задание по ТАТу на знакомом, и этот протокол храню до сих пор. Опыта не было, задание выполнено не вполне верно, но... протокол очень интересный. Несколько раз я проделывала некий опыт: читала несколько рассказов своим студентам, которые почти ничего не знали про тест (я его даю только обзорно) и прошу угадать профессию и семейное положение испытуемого (на момент обследования и то и другое еще было туманным). Профессию угадывают с легкостью, с семейным положением сложнее, но пару раз были на удивление  точные догадки. Поэтому для меня совершенно неудивительны данные (кажется из монографии Д.А.Леонтьева) о точности прогнозов на десятилетия о жизненном пути на основе рассказов ТАТ.
Хотя ТАТ все-таки тест, но сколько знаю, его репутация у тестологов (скажем так) неоднозначная.
Вот наверное все, что могу ответить в неурочное для научных дискуссий время (увы, другого сейчас нет).


ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
 
 
 
Татьяна Владимировна,
Хотя Вы отвечаете здесь Александру Кронику, разрешите мне тоже вмешаться.
Я хотел описать пример исследования прогностической валидности, о котором я уже
много-много лет рассказываю студентам на лекции, посвященной валидности. Речь
идет про тест-опросник, который разработали в области кардиологической медицины
Розенман и Фридман еще в 50-е годы. Без особого изыска в терминологии была
сформулирована классификация типологии поведения из двух букв - А и В. Через
10-15 лет среди тысяч обследованных здоровых людей выявилиь около сотни
заболевших инфарктном миакарда. Оказалось, что среди них значимо чаще
встречаются люди типа "А", для которых в поведении характерна спешка на фоне
постоянного дефицита времени, сверхвключенность в работу и ряд других признаков
активной реакции на стресс. А вот симптоматика ишемической болезни сердца
выявлена у людей с поведением типа "В" - с противоположным набором признаков
заторможенно пассивной реаакции на стресс.
Часто ли в Западной психологии встречаются подобные исследования прогностической
валидности, которые потребовали от авторов многотысячных выборок и десятилетий в
сборе данных прежде, чем анонсировать результаты? - Увы, и на Западе не часто.
Часто ли такие исследования проводолись в СССР и России? - Увы, совсем почти не
проводились. Почему? - А на них как на эталон никто и не ориентинруется вовсе!
Теперь самокритично о наших достижениях. Далеко не все методики, которые мы
разработали в нашей лаборатории "Гуманитарные технологии", проверены на
прогностическую валидность. Масса организационных факторов мешают этому. В том
числе ПОЛНОЕ НЕПОНИМАНИЕ наших пользователей в том, зачем нам надо оказывать в
этой работе содействие. Выход найден в основном в тех случаях, когда мы сами
(наша лаборатория) оказываемся главными пользователями определенной методики. В
упоминаемом в этом году чаще других "Ежегоднике рецензий" Вы найдете нашу
методику "Профориентатор" (ее использует и развивает Центр тестирования
"Гуманитарные технологии" - организация, входящая в нашу группу компаний). По
этой методике обследуется каждый год тысячи старшеклассников. Мы организовали
обзвон и провели телефонное интервьюирование полтысячи респондентов спусти 3-4
года, собрав данные о том, где и как они получают высшее профессиональное
образование. Так появились данные о прогностической валидности методики
"Профориентатор" - невысокой, но значимой и обнадеживающей. Подробнее об этом
можно найти в статьях, написанных моими соавторами, - Кононовой, Серебряковым,
Ивановой в журналах "Вопросы психологии" и "Вестник МГУ" в 2010 году.
Что касается качественных методов, то ничего, кроме НЕПОНИМАНИЯ процедурных
деталей и ... нежелания, не мешает их сторонникам организовать подобную проверку
прогностической валидности, ипользуя в качестве меры корреляции коэффициенты
типа фи-коэффициента для матрицы сопряженности качественных признаков. Но... я
НЕ знаю, где и кто это сделал? Вы знаете? Я уже четверть века обучаю сотни
психологов строить матрицы сопряженности фактически для качественных признаков!
Где исследования?
С ув,
АШ

№ 31 из 59. 28.11.2010 : 08:03. Чупров Л.Ф.
------------------------------------------------------------------
Уважаемый Александр Георгиевич. Я что-то не понял в этом примере. Насколько мне известно, инфаркт миокарда является частным случаем (острая форма) ишемической болезни сердца. Так в чем же различия в группах А и Б?
Я бы мог понять, иди речь в одной группе об ИБС, а в другой об угрозе гипертонической болезни или патологии желудочно-кишечного тракта, но речь-то идет об одном и том же заболевании.


ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Речь
идет про тест-опросник, который разработали в области кардиологической медицины
Розенман и Фридман еще в 50-е годы. Без особого изыска в терминологии была
сформулирована классификация типологии поведения из двух букв - А и В. Через
10-15 лет среди тысяч обследованных здоровых людей выявилиь около сотни
заболевших инфарктном миакарда. Оказалось, что среди них значимо чаще
встречаются люди типа "А", для которых в поведении характерна спешка на фоне
постоянного дефицита времени, сверхвключенность в работу и ряд других признаков
активной реакции на стресс. А вот симптоматика ишемической болезни сердца
выявлена у людей с поведением типа "В" - с противоположным набором признаков
заторможенно пассивной реаакции на стресс.


------------------------------------------------------------------
 

№ 32 из 59. 28.11.2010 : 09:35. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
спасибо, что Вы находите время для дискуссии хотя бы ночью.
 
1. Я - не тот специалист, который может Вам предоставить обширный перечень работ по проверке прогностической валидности. Для этого надо больше интересоваться работами других авторов, а у разработчика методик для этого не хватает времени. Надеюсь, однако, что в наших рядах есть знатоки обзорной западной литературы, например, такой автор, как Леонид Бурлачук.
 
2. Но по моим представлениям, у сторонников качественных методов вообще не возникает идея ИЗМЕРЕНИЯ прогностической валидности, поэтому таких работ совсем мало. Скорее психометристы берут и проверяют некоторые популярные качественные методики, чем сами разработчики качественных методик.
 
3. Не чувствительность обыденного сознания к статистике, но чувствительность к ярким единичным случаям - это источник хорошо известных манипуляций в современных СМИ. Кто сейчас из журналистов говорит и пишет о сотнях милиционеров, отдавших жизнь в честной борьбе с бандитами - за нашу с Вами жизнь? Журналисты, выхватывающие скандалы и аномалии (подобные случаю с Евсюковым), конечно же, искажают общую картину. Вот недавно в Новосибирске недовезли до больницы живым 8-месячного ребенка Максима. А сколько спасли в том же Новосибирске? - Это кого-нибудь интересует? Мы склонны помнить те случаи, когда бутерброд падает маслом вниз, поэтому возникает "закон бутерброда". На нас не производят никакого впечатления и не сохраняются в памяти случаи, которые не порождают эмоций, - вот в чем проблема "некачественной" субъективной обработки данных об эффективности качественных методов. Как раз в отношении ТАТ были выполнены совершенно обескураживающие исследования, направленные на выявление реального уровня согласованности экспертов-интерпретаторов.
 
С ув,
АШ

ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Александр Георгиевич!
Вы подтверждаете мое грустное предположение, что ни количественные, ни
качественные методы не обладают в массе своей доказанной прогностической
валидностью. И это значит, что по большому счету проблема их сравнительной
эффективности для практики пока не может быть решена.
Я не только психолог, но и человек, и подвержена действию известной
социально-психологической закономерности о том, что единичный яркий пример может
казаться более важным, чем статистические доказательства. Не претендуя на
обобщения, расскажу пару таких примеров.
В последнем потоке выполненных студентами практических заданий была
впечатлившая меня история девочки, которая пройдя профориентационное
тестирование (где - не помню) поступила в колледж по одной из рекомендованныз
специальностей. На втором курсе поняла, что это категорически "не ее" и вскоре
ушла. Сейчас учится в институте по другой специальности, довольна.
А когда я сама была студенткой, то делала практическое задание по ТАТу на
знакомом, и этот протокол храню до сих пор. Опыта не было, задание выполнено не
вполне верно, но... протокол очень интересный. Несколько раз я проделывала некий
опыт: читала несколько рассказов своим студентам, которые почти ничего не знали
про тест (я его даю только обзорно) и прошу угадать профессию и семейное
положение испытуемого (на момент обследования и то и другое еще было туманным).
Профессию угадывают с легкостью, с семейным положением сложнее, но пару раз были
на удивление точные догадки. Поэтому для меня совершенно неудивительны данные
(кажется из монографии Д.А.Леонтьева) о точности прогнозов на десятилетия о
жизненном пути на основе рассказов ТАТ.
Хотя ТАТ все-таки тест, но сколько знаю, его репутация у тестологов (скажем так)
неоднозначная.
Вот наверное все, что могу ответить в неурочное для научных дискуссий время
(увы, другого сейчас нет).


------------------------------------------------------------------


 

№ 33 из 59. 28.11.2010 : 09:40. Коняева А.П.
------------------------------------------------------------------
[Здесь место для Вашего ответа]

ЦИТАТА (Пишет Барлас Т. В.):
.
 
А когда я сама была студенткой, то делала практическое задание по ТАТу на
знакомом, и этот протокол храню до сих пор. Опыта не было, задание выполнено не
вполне верно, но... протокол очень интересный. Несколько раз я проделывала некий
опыт: читала несколько рассказов своим студентам, которые почти ничего не знали
про тест (я его даю только обзорно) и прошу угадать профессию и семейное
положение испытуемого (на момент обследования и то и другое еще было туманным).
Профессию угадывают с легкостью, с семейным положением сложнее, но пару раз были
на удивление точные догадки. Поэтому для меня совершенно неудивительны данные
(кажется из монографии Д.А.Леонтьева) о точности прогнозов на десятилетия о
жизненном пути на основе рассказов ТАТ.
Хотя ТАТ все-таки тест, но сколько знаю, его репутация у тестологов (скажем так)
неоднозначная.


Очередной раз выступаю в качестве приятжной к  мнению Татьяны. Видимо сказывается совпадение в обучении - учились вместе у одних и тех же замечательных преподавателей (может мне назваться на данном блоге твоим "Альтер-Эго" ?).
Но, тем не менее, несмотря на шутливый зачин, добавлю пару слов в копилку признания  прогностической валидности ТАТа. Видимо и в том числе благодаря ей, ТАТ стал одним из "трех источников" и составных частей «Метода интервью по компетенциям» в компании с "Методом критических случаев" и вариантом "Клинического интервью", ориентированного на работу с памятью, а не рационализациями и фокусом внимания на систему мотивов внутри описываемых обследуемым событий (Например, в  «Акцентуированных личностях Леонгарда описание метода можно читать... как  пошаговое руководство к методу интервьюирования по компетенциям).
Я хочу добавить, что хотя тестологи и не особенно часто применяют ТАТ, ввиду величины временных и интеллектуальных затрат в расчете на одного обследуемого, он обрел вторую жизнь в соседней индустрии, Мне кажется причина отказа не в методе, а в экономике труда.  Если глянуть на ситуацию глазами специалиста по компенсациям, который планирует подкреплять вознаграждением  глубину понимания человека и длительность прогноза его будущего поведения, то и систему оплаты он делает  чувствительной к этим показателям. В этом случае ТАТ, уверенна,  стал бы одним из наиболее популярных инструментов, обеспечивающих результативность труда психодиагноста. Это как с мишенью  вознаграждения стоматологов. Если бы платили за здоровые зубы, а не дырявые, то ситуация потихоньку бы менялась - ведь ресурсы направлялись бы не на поиск материалов и технологий залатывания, а на способы оставить целыми зубы как можно дольше в течение жизни человека. ТАТ правилен по своей методологии для анализа в котором важно понимание причинно-следственных связей, а не называние результирующей. Именно поэтому он уже более 35 лет популярен и живет в модификации  "интервью по компетенциям" Я, например, стала страстным пользователем этого метода буквально с первого же тренинга в 95-м году и применяю регулярно  для блага  клиентов и нашего бизнеса). Да, он замедляет поток обследуемых (компьютерное тестирование быстрее), но там, где интервюер оплачивается за правильный выбор в долговременной перспективе, несет длительные гарантийные обязательства и наказывается за  неправильный  прогноз – это нормальный выбор. Ведь в инструкции то же прошлое, настоящее и будущее, вынимаешь мысли, чувства, ощущения, анализируешь несколько вариантов выборов через аналогичные ситуации и исследуешь будущее в виде уроков и находок.

№ 34 из 59. 28.11.2010 : 13:13. Булгаков А.В.
------------------------------------------------------------------
              Уважаемые коллеги, прогностическая валидность диагностического комплекса, включающего тестовые методики: опросники Леонгарда-Шмишека, Прогноз (оценка уровня нервно-психической устойчивости) и проективные методики: Незавершенные предложения, МЦВ Л.Н.Собчик, Несуществующее животное – определялась нами в целях сохранения психического здоровья военных моряков в 1992-1997 годах на выборке более 1500 чел.
             Процедура обследования молодого пополнения (2-3 месяца после призыва) предполагала тогда выявление лиц с нарушением адаптации к военной службе и соответственно прогноз у них различного спектра дезадаптационных проявлений.  Здесь происходило некоторое смешение целей диагностики, по сути многослойность дальнейшего использования полученных результатов, обычное дело в работе практического психолога. Обычное и наверное не требовавшее особой фиксации, если бы не главная взаимосвязанная причина создания психологических служб в вооруженных силах того времени – профилактика суицидального поведения (чаще демонстративно-шантажного) и самовольного оставления корабля.
         Смерть и преступление – были жесткими критериями прогностической валидности.
            Я искренне благодарен за встречу с Людмилой Николаевной Собчик в те годы, когда она в короткой личной встрече и длительно опосредованно через свои книги приобщила меня к проблеме прогноза поведения здоровых людей в ситуации срыва адаптации. Здесь нами были подтверждена прогностичность МЦВ на суицидальный риск.    
            Следует признать, что авторитет военных психологов в 90-е годы был мягко сказать низким, это были в массе своей офицеры, прошедшие 3-6 месячную переподготовку (схожая ситуация тогда была и в системе школьного образования). В Севастополе мы нашли деньги в разных фондах, включая помощь г. Москвы и «отучили» более 20 чел. в Симферопольском ГУ на факультете у проф. В.К. Калина по второму высшему образованию. Образование – хорошо, но именно возможности прогноза деструктивного поведения во многом сняли недоверие к психологам.
           Особое место здесь заняли проективные методики. Специальным образом разработанный контект-анализ Незавершенных предложений в сочетании с другими диагностическими инструментами позволил выйти на прогноз самовольного оставления корабля на уровне 0,70. Показателем внешнего критерия был факт самовольного оставления корабля, зафиксированный в служебных документах. Количественно 3-5% от обследованного молодого пополнения (12-15 чел. за призыв). Здесь нам «помогали» несильно грамотные отдельные командиры того времени, игнорирующие наши прогнозы. «Спасибо» им, ведь они ничего не предпринимали по поводу рекомендаций психологов.
            Суровая жизнь суровых 90-х провела реальный эксперимент с контрольными и экспериментальными группами. По причинам закрытости такой информации  публикаций не было, остались справки-доклады с резолюциями руководителя, отвечающего за ситуацию и понимающего возможности психолога: «Рекомендации психолога – считать  моим приказанием». В течении года нашей интенсивной работы ситуация решительным образом изменилась. Тоже касается и суицидов. В соединениях, где работали психологи, завершенные суициды не были зафиксированы. Материалы о нашей психодиагностической работе использовались при подготовке психологов в Военном университете. 
         Ваш А.В. или демократично А.В. по латинице  

№ 35 из 59. 28.11.2010 : 13:29. Коняева А.П.
------------------------------------------------------------------
[Здесь место для Вашего ответа]
Александр Владимирович (я верно идентифицировала,, надеюсь - нет авторизации), спасибо за супер-убедительность. Буду иметь эти примеры в уме постоянно. Можгно ли ссылаться в тренингах и семинарах на Ваш опыт?
ЦИТАТА:

------------------------------------------------------------------
Уважаемые коллеги, прогностическая валидность диагностического комплекса,
включающего тестовые методики: опросники Леонгарда-Шмишека, Прогноз (оценка
уровня нервно-психической устойчивости) и проективные методики: Незавершенные
предложения, МЦВ Л.Н.Собчик, Несуществующее животное - определялась нами в целях
сохранения психического здоровья военных моряков в 1992-1997 годах на выборке
более 1500 чел.
Процедура обследования молодого пополнения (2-3 месяца после призыва)
предполагала тогда выявление лиц с нарушением адаптации к военной службе и
соответственно прогноз у них различного спектра дезадаптационных проявлений.
Здесь происходило некоторое смешение целей диагностики, по сути многослойность
дальнейшего использования полученных результатов, обычное дело в работе
практического психолога. Обычное и наверное не требовавшее особой фиксации, если
бы не главная взаимосвязанная причина создания психологических служб в
вооруженных силах того времени - профилактика суицидального поведения (чаще
демонстративно-шантажного) и самовольного оставления корабля.
Смерть и преступление - были жесткими критериями прогностической валидности.
Я искренне благодарен за встречу с Людмилой Николаевной Собчик в те годы, когда
она в короткой личной встрече и длительно опосредованно через свои книги
приобщила меня к проблеме прогноза поведения здоровых людей в ситуации срыва
адаптации. Здесь нами были подтверждена прогностичность МЦВ на суицидальный
риск.
Следует признать, что авторитет военных психологов в 90-е годы был мягко сказать
низким, это были в массе своей офицеры, прошедшие 3-6 месячную переподготовку
(схожая ситуация тогда была и в системе школьного образования). В Севастополе мы
нашли деньги в разных фондах, включая помощь г. Москвы и «отучили» более 20 чел.
в Симферопольском ГУ на факультете у проф. В.К. Калина по второму высшему
образованию. Образование - хорошо, но именно возможности прогноза деструктивного
поведения во многом сняли недоверие к психологам.
Особое место здесь заняли проективные методики. Специальным образом
разработанный контект-анализ Незавершенных предложений в сочетании с другими
диагностическими инструментами позволил выйти на прогноз самовольного оставления
корабля на уровне 0,70. Показателем внешнего критерия был факт самовольного
оставления корабля, зафиксированный в служебных документах. Количественно 3-5%
от обследованного молодого пополнения (12-15 чел. за призыв). Здесь нам
«помогали» несильно грамотные отдельные командиры того времени, игнорирующие
наши прогнозы. «Спасибо» им, ведь они ничего не предпринимали по поводу
рекомендаций психологов.
Суровая жизнь суровых 90-х провела реальный эксперимент с контрольными и
экспериментальными группами. По причинам закрытости такой информации публикаций
не было, остались справки-доклады с резолюциями руководителя, отвечающего за
ситуацию и понимающего возможности психолога: «Рекомендации психолога - считать
моим приказанием». В течении года нашей интенсивной работы ситуация решительным
образом изменилась. Тоже касается и суицидов. В соединениях, где работали
психологи, завершенные суициды не были зафиксированы. Материалы о нашей
психодиагностической работе использовались при подготовке психологов в Военном
университете.
Ваш А.В. или демократично А.В. по латинице


------------------------------------------------------------------
 

№ 36 из 59. 28.11.2010 : 13:39. Булгаков А.В.
------------------------------------------------------------------
                   Алла (по латинице), хорошо быть единственным моряком на блоге (отчетливое конкурентное преимущество контекста при индентификации авторства). Конечно, пример можно использовать. Он жесткий, но жизненный.
         Ваш А.В.

№ 37 из 59. 28.11.2010 : 13:46. Чупров Л.Ф.
------------------------------------------------------------------
Что касается Анкеты "Прогноз" (Леонгарда-Шмишека я тоже использовал, но о нем как-нибудь в другой раз) - это действительно очень надёжный инструмент. (Была у меня в свое время возможность доступа к пособиям с грифом "ДСП"). Я часто использую этот инструмент при проведении судебно-психологических экспертиз.

ЦИТАТА (Пишет Коняева А. П.):

------------------------------------------------------------------
[Здесь место для Вашего ответа]
Александр Владимирович (я верно идентифицировала,, надеюсь - нет авторизации),
спасибо за супер-убедительность. Буду иметь эти примеры в уме постоянно. Можгно
ли ссылаться в тренингах и семинарах на Ваш опыт?
ЦИТАТА:
Уважаемые коллеги, прогностическая валидность диагностического комплекса,
включающего тестовые методики: опросники Леонгарда-Шмишека, Прогноз (оценка
уровня нервно-психической устойчивости) и проективные методики: Незавершенные
предложения, МЦВ Л.Н.Собчик, Несуществующее животное - определялась нами в
целях
сохранения психического здоровья военных моряков в 1992-1997 годах на выборке
более 1500 чел.

Ваш А.В. или демократично А.В. по латинице


------------------------------------------------------------------
 

№ 38 из 59. 28.11.2010 : 13:58. Коняева А.П.
------------------------------------------------------------------
[Здесь место для Вашего ответа]

ЦИТАТА (Пишет Булгаков А. В.):

------------------------------------------------------------------
Алла (по латинице), хорошо быть единственным моряком на блоге (отчетливое
конкурентное преимущество контекста при индентификации авторства). Конечно,
пример можно использовать. Он жесткий, но жизненный.
Ваш А.В.


------------------------------------------------------------------
Вы забыли об упомянутых ранее  "возможностях выходного дня". Они оказались более запомнившимися, чем моряк (запомнила более широкую категорию "военный"). Это о тропках ассоциативных связей - их пути просто очаровательно непредсказуемы.
За разрешение - спасибо.

№ 39 из 59. 02.12.2010 : 00:52. Орел Е.А.
------------------------------------------------------------------
Татьяна Владимировна, у меня пока небольшой опыт преподавания, но уже некоторые выводы по тому, как качественные и количественные методы диагностики видятся студентами, я уже начинаю делать. У нас в ГУ-ВШЭ к третьему курсу студенты приходят измученные математикой и в ожидании некоего волшебства, которое позволит им вот так просто проникнуть в глубины индивидуальности. И в этом смысле, естественно, все жаждут качественных методов. Но мое мнение - обратное. Мне кажется, для качественных методов нужны опыт и интуиция, которых нет и не может быть у вчерашних школьников. Работая с качественными методами, они, в лучшем случае, буду наивны и бесполезны, а в худшем - навредят тому, кого будут обследовать.
 
Поэтому мне кажется, по крайней мере, в процессе обучения, начинать надо с количественных методов. И с их помощью набирать опыт, который потом применять в качественных методах. Возможно, и изучать их надо позже, в магистратурах или в системе дополнительного образования. А молодым специалистам нужен тот инструмент, которым они не смогут слишком уж дров наломать.

№ 40 из 59. 02.12.2010 : 00:59. 
------------------------------------------------------------------
Ой, у меня слетела авторизация. Последнее сообщение - от Екатерины Орел

№ 41 из 59. 02.12.2010 : 01:08. Барлас Т.В.
------------------------------------------------------------------
Уважаемый Гость, во-первых, жаль, что Вы не подписались, во-вторых, не сочтите мои ночные мысли за возражения, скорее - за попытку совместных размыщлений.
Студенты приходят, измученные математикой? М мы их дальше "мучаем" с призывом: "без математики - никуда, потому что опыта нет". И чем кончится? Я могу дать пару пессимистических пронозов, (а есть  ли оптимистические?):
- К концу обучения студенты разучатся использовать даже житейские интуитивные знания и будутбездумно применять формализованные процедуры, не задумываясь над их смыслом.
- Студенты окончательно разочаруются в психологии и никогда не будут ей заниматься.
К тому же не очень понятно, откуда возьмется опыт в предлагаемых Вами обстоятельствах: если студент до пятого года обучения привык видеть человека только через призму цифр, то появятся ли опыт и интуиция за два оставшихся года?
Мне представляется, что качественному подходу нужно учить на первых этапах получения образования, хотя бы в рамках учебных заданий, при этом уделяя особое внимение осознанию границ компетентности. Потому что потом будет поздно.
 
 
ЦИТАТА:

------------------------------------------------------------------
Татьяна Владимировна, у меня пока небольшой опыт преподавания, но уже некоторые
выводы по тому, как качественные и количественные методы диагностики видятся
студентами, я уже начинаю делать. У нас в ГУ-ВШЭ к третьему курсу студенты
приходят измученные математикой и в ожидании некоего волшебства, которое
позволит им вот так просто проникнуть в глубины индивидуальности. И в этом
смысле, естественно, все жаждут качественных методов. Но мое мнение - обратное.
Мне кажется, для качественных методов нужны опыт и интуиция, которых нет и не
может быть у вчерашних школьников. Работая с качественными методами, они, в
лучшем случае, буду наивны и бесполезны, а в худшем - навредят тому, кого будут
обследовать.
Поэтому мне кажется, по крайней мере, в процессе обучения, начинать надо с
количественных методов. И с их помощью набирать опыт, который потом применять в
качественных методах. Возможно, и изучать их надо позже, в магистратурах или в
системе дополнительного образования. А молодым специалистам нужен тот
инструмент, которым они не смогут слишком уж дров наломать.


------------------------------------------------------------------
 

№ 42 из 59. 02.12.2010 : 01:15. Барлас Т.В.
------------------------------------------------------------------
Реплика Гостя по ассоциации актуализировала вопрос, над которым я ломаю голову уже не первый день. А именно: как научить за 4 года, к примеру:
прогнозированию изменений и динамики уровня развития и функционирования познавательной и мотивационно-волевой сферы, самосознания, психомоторики, способностей характера, темперамента, функциональных состояний, личностных черт и акцентуаций в норме и при психических отклонениях"
или
психологической диагностике с целью гармонизации психического функционирования человека
или
использованию дидактических приёмов при реализации стандартных коррекционных, реабилитационных и обучающих программ по оптимизации психической деятельности человека
 
Многие ли эксперты могут честно сказать, что ониспособны решать все эти задачи?
Я - увы, нет.

№ 43 из 59. 02.12.2010 : 11:21. Попов А.Ю.
------------------------------------------------------------------
 Прочитал дискуссию «о количественном и качественном подходе в психодиагностике», и у меня остался ряд вопросов, которые «вываливаю» здесь, не надеясь найти ответ, но в попытке поделиться личной дилеммой.
 1. Многие согласны с тем, что синтез количественных и качественных методов перспективен. Но вопрос не в этом. Вопрос в том, как это сделать? Это же методологическая дихотомия. И в практическом воплощении этого синтеза мы сегодня находимся примерно там же, где Декарт, заявлявший, что душа и тело, мол, объединяются в гипофизе.
2. Снимется ли проблема качественных (индивидуальный опыт) и количественных (номотетические и обезличенные закономерности) методов, если отказаться вообще от понятия эксперимента в психологии и во главу угла поставить опыт? И постараться его количественно моделировать? Я намекаю на инженерию знаний (напр., К.Р.Червинская).
3. Стандартизованный тест по определению не может применяться к отдельно взятому человеку, ибо он психометрически хорош для Среднестатистического индивида (какового в реальности нет). Но если разработать хороший тест для одного человека, он вряд ли подойдет к другим. Таким образом, количественный подход в психодиагностике выигрывает с сугубо экономической точки зрения – это лучшее, что можно изобрести для тестирования групп. Если бы психодиагностика была только качественной, мы могли бы диагностировать только избранных – например, президента. Так ли это?
4. У Гегеля синтезом количества и качества является МЕРА. А для психодиагностики (как науки) мера – это что?
 
С уважением,
Алексей.

№ 44 из 59. 02.12.2010 : 12:30. Орел Е.А.
------------------------------------------------------------------
Татьяна Владимировна, я подписалась в следующем своем комментарии, после того, как увидела, что слетела авторизация. Реплика Гостя - это, повторюсь, от Екатерины Орел.
 
Конечно, есть риск возникновения пессимистического сценария, который Вы описали. Но мы и в количественных методах не только получаем цифры, но и учим их интерпретировать. Видеть за ними человека. В этом смысле для меня образцом стала Людмила Николаевна Собчик, у которой я проходила повышение квалификации. Она за каждым профилем описывала реального, живого человека. Мне кажется, задача научить студентов интерпретировать результаты количественных методов диагностики - не менее важная, чем задача научить получать нужные цифры. Тогда и с обдуманностью применения, мне кажется, проблем не будет.

№ 45 из 59. 02.12.2010 : 15:49. Шмелев А.Г.
------------------------------------------------------------------
Екатерина, здравствуйте!
(сам борюсь со своей привычкой обращаться здесь ко всем по ИО)
 
Мне приятно, что наблюдается положительный эффект нашего с Вами многолетнего сотрудничества. То есть, мне кажутся вполне естественными, понятными и разумными Ваши соображения.
 
Что добавить к сказанному Вами по существу? - К сожалению, качественные методы опаснее, чем психометрические, еще и тем, что сеют о исполнителя больше иллюзий в отношении риска возможных ошибок - риск недооценивается. Этот риск не только в этом случае не измеряется и не выражается числом, но еще и не рефлексируется. Вы, конечно, помните, как преподаватель практикума по психодиагностики в МГУ, что мы уже много лет предлагаем в этом практикуме пройти в режиме самотестирования Фототест. Но... при обсуждении отчетов выясняется (я выяснял это в огромном большинстве случаев), что студенты фактически никак не рефлексируют для себя уроки этой методики. А ведь дидактический смысл методики в том, что визуальная диагностика, если к ней применять определенные эталоны для оценки ее точности, чревата большим количеством ошибок, субъективных искажений. Но... наивность начинающих психологов-студентов в том и состоит, что они еще не умеют дифференцировать собственное впечатление о человеке (о многозначном проективном ответе на многозначный проективный стимул или ситуацию) и ИСТИННЫЕ свойства этого человека.
 
С ув, 
АШ

 
ЦИТАТА (Пишет Орел Е. А.):

------------------------------------------------------------------
Татьяна Владимировна, у меня пока небольшой опыт преподавания, но уже некоторые
выводы по тому, как качественные и количественные методы диагностики видятся
студентами, я уже начинаю делать. У нас в ГУ-ВШЭ к третьему курсу студенты
приходят измученные математикой и в ожидании некоего волшебства, которое
позволит им вот так просто проникнуть в глубины индивидуальности. И в этом
смысле, естественно, все жаждут качественных методов. Но мое мнение - обратное.
Мне кажется, для качественных методов нужны опыт и интуиция, которых нет и не
может быть у вчерашних школьников. Работая с качественными методами, они, в
лучшем случае, буду наивны и бесполезны, а в худшем - навредят тому, кого будут
обследовать.
Поэтому мне кажется, по крайней мере, в процессе обучения, начинать надо с
количественных методов. И с их помощью набирать опыт, который потом применять в
качественных методах. Возможно, и изучать их надо позже, в магистратурах или в
системе дополнительного образования. А молодым специалистам нужен тот
инструмент, которым они не смогут слишком уж дров наломать.


------------------------------------------------------------------


 

№ 46 из 59. 02.12.2010 : 16:04. Шмелев А.Г.
------------------------------------------------------------------
Алексей, здравствуйте!
 
Очень хорошо, что Вы подключились к этой дискуссии. См. некоторые мои реплики ниже - по ходу Ваших пронумерованных тезисов.
 


 
ЦИТАТА (Пишет Попов А. Ю.):

------------------------------------------------------------------
1. Многие согласны с тем, что синтез количественных и качественных методов
перспективен. Но вопрос не в этом. Вопрос в том, как это сделать? Это же
методологическая дихотомия. И в практическом воплощении этого синтеза мы
сегодня находимся примерно там же, где Декарт, заявлявший, что душа и
тело, мол, объединяются в гипофизе.

 
 
Это не так. Мы значительно продвинулись со времен Декарта. Есть 2 процедуры, которые просто психологи не знают и не изучают: можно количественные данные отобразить в качественном формате (огрубить шкалы отношений до номинальных шкал), либо качественные данные отобразить в количественном формате (назначить для каждого пункта на номинальной шкале определенное число на соответствующей количественной шкале). И тот, и другой метод имеет свои недостатки и свои неочевидные допущения. Но я не хочу в это углубляться. Я хочу подчеркнуть другое: психологи (90 процентов психологов) не умеют выполнить ни первую, ни вторую процедуру НИКАК. Для них существует просто пропасть между одними и другими данными. 
 
2. Снимется ли проблема качественных (индивидуальный опыт) и количественных
(номотетические и обезличенные закономерности) методов, если отказаться
вообще от понятия эксперимента в психологии и во главу угла поставить
опыт? И постараться его количественно моделировать? Я намекаю на инженерию
знаний (напр., К.Р.Червинская).
 
 
 
Вы правильно намекаете на то, что хотелось бы вовлечь в обсуждение этой темы Ксению Ральфовну. Но я выражу свою позицию. Когда появились мощные компьютерные алгоритмы анализа тестовых данных, то появилась такая соблазнительная иллюзия, что вообще нет необходимости переходить с уровня ответов на отдельные задания теста (с уровня эмпирических индикаторов, который есть фактически набор множества номинальных шкал) на уровень факторных шкал (теоретических конструктов) - на уровень количественных показателей. Но... я не буду взывать тут к принципу диалектики "перехода количество в качества" (хотя подобная аргументация, наверное, Вам близка), я хочу подчеркнуть такой парадокс: экспертам гораздо труднее оперировать качественными эмпирическими индикаторами (прежде всего в силу их многочисленности). чем менее обширной комбинаторикой из ограниченного числа высокоагреггированных конструктов. То есть, даже в тех случаях, когда компьютерный дискриминантный анализ (или алгоритмы типа data mining) достигает с опорой на эмпирические индикаторы формально более высокую дискриминативность в отношении каких-то известных групп (разделенных по внешнему критерию), эксперты не в восторге от такой автоматизации, так как они не могут объяснить, почему это происходит. А на уровне количественных конструктов (факторов) они это делают гораздо легче и охотнее.  Только экспертам очень важно, что количественные градации на количественной шкале отображались на ограниченное множество "качественных областей". Подобно тому, как температуры воды ниже 0 градусов (по Цельсию) приводит к состоянию "льда", а выше 100 градусов - к состоянию пара. "Тяжелая акцентуация" черты - это фактически кристаллизованное состояние "психического вещества" в характере, это жестко-ригидная кросс-ситуационная установка на определенный тип поведения. Это "обледенение".
 
 
При этом я бы хотел попросить Вас более точно разводить понятия "эксперимент" и "измерение". Это разные эмпирические процедуры. 

3. Стандартизованный тест по определению не может применяться к отдельно
взятому человеку, ибо он психометрически хорош для Среднестатистического
индивида (какового в реальности нет). Но если разработать хороший тест для
одного человека, он вряд ли подойдет к другим. Таким образом,
количественный подход в психодиагностике выигрывает с сугубо экономической
точки зрения - это лучшее, что можно изобрести для тестирования групп. Если
бы психодиагностика была только качественной, мы могли бы диагностировать
только избранных - например, президента. Так ли это?

 
 
 
Вы правы в том, что количественные методы гораздо эффективнее работают на группе, чем в индивидуальных случаях   Но это не единственное разграничение областей, в которых соотношение эффективности этих подходов различно. Количественные методы лучше и при обследовании отдельного человека, но... лишь в том случае, если сам измеряемый диагностический конструкт хорошо операционализирован (формализован, эксплицирован). Если мы не очень хорошо понимаем, как измерять нечто описанное в очень размытых и туманных словах и выражениях, то количественный метод (эффективный) создать не удастся, тогда приходится довольствоваться качественным. Это проходили все науки. Посмотрите на историю физики, которая прошла на многие столетия раньше те этапы, на которые сейчас только вышла психология и идут в ней дискуссии. Возьмем такой конструкт как "аналитичность и синтетичность когнитивного стиля" (в духе Уиткина), то в этом случае количественные стандартизированные методы (тесты) будут, я уверен, более эффективными, чем качественные. А вот в случае конструкта "эвристичность мышления" или "синтонность в общении" скорее будут лучше работать качественные методы.
 
4. У Гегеля синтезом количества и качества является МЕРА. А для
психодиагностики (как науки) мера - это что?
 
 
"Мера" - слово, которое в русском языке (в том чиле в философском) не имеет четко-очерченного семантического поля. Это, между прочим, еще и омоним. Так как ... "не все меры приняты для искорененеия коррупции в современной России..." (привожу контекстуальный пример другого значения для этого слова). Если "меру" мы сводим к более операционализированному понятию "эталон", или к некой единице измерения, которая при кратном повторении указывает на количество какого-то признака в каком-то предмете, то тогда аналогом "меры" в психометрике является "сигма" на нормализованных шкалах (стандартное отклонение) или "дециль" (на порядковых шкалах). Не согласны?
 
С ув,
АШ

С уважением,
Алексей.



------------------------------------------------------------------


№ 47 из 59. 02.12.2010 : 17:47. 
------------------------------------------------------------------
Екатерина, спасибо за Ваши соображения.
(ко мне думаю можно обращаться без отчества, тем более, что мы коллеги по учебному заведению, где отчества преподавателей не очень приняты).
Задам крамольный вопрос.
А является ли интерпретация количественного теста более надежным и менее субъективным (интуитивным) инструментом, нежели результаты работы с качественным тестом?
И можно ли научиться видеть за каждым профилем реального человека без того самого пресловутого опыта?
Для меня ответ неочевиден, поэтому вопрос не риторический.
 
Мне представляется, что и для интерпретации количественных, и для качественных методов очень важна технология обучения. То есть, умение формализовать субъективный опыт интерпретатора и преподнести его студентам в понятном и доступном для них виде.
Возможно это не менее важно, чем качество самих методов.
Впрочем, сколько знаю, это  смыкается с обсуждениями на других блогах.
 
ЦИТАТА (Пишет Орел Е. А.):

------------------------------------------------------------------
Татьяна Владимировна, я подписалась в следующем своем комментарии, после того,
как увидела, что слетела авторизация. Реплика Гостя - это, повторюсь, от
Екатерины Орел.
Конечно, есть риск возникновения пессимистического сценария, который Вы описали.
Но мы и в количественных методах не только получаем цифры, но и учим их
интерпретировать. Видеть за ними человека. В этом смысле для меня образцом стала
Людмила Николаевна Собчик, у которой я проходила повышение квалификации. Она за
каждым профилем описывала реального, живого человека. Мне кажется, задача
научить студентов интерпретировать результаты количественных методов диагностики
- не менее важная, чем задача научить получать нужные цифры. Тогда и с
обдуманностью применения, мне кажется, проблем не будет.


------------------------------------------------------------------
 

№ 48 из 59. 03.12.2010 : 12:10. Кононова В.Н.
------------------------------------------------------------------
Уважаемая Татьяна Владимировна, коллеги! Хочу поделиться своим опытом и мнением про научно обоснованное прогнозирование будущей профессии. Я призываю если уж использовать примеры, то с конкретикой: по какой именно методике (ее версии) получены результаты, с какими точными показателями по шкалам.
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Я не только психолог, но и человек, и подвержена действию известной
социально-психологической закономерности о том, что единичный яркий пример может
казаться более важным, чем статистические доказательства. Не претендуя на
обобщения, расскажу пару таких примеров.
В последнем потоке выполненных студентами практических заданий была
впечатлившая меня история девочки, которая пройдя профориентационное
тестирование (где - не помню) поступила в колледж по одной из рекомендованныз
специальностей. На втором курсе поняла, что это категорически "не ее" и вскоре
ушла. Сейчас учится в институте по другой специальности, довольна.


------------------------------------------------------------------
Александр Георгиевич уже упоминал о том, что мы недавно изучали прогностическую валидность методики «Профориентатор» на материале свыше 500 человек. В основном, как и положено, мы использовали количественные методы анализа. Вместе с тем, мы также уделили внимание анализу отдельных ярких случаев и проверили, есть ли совпадения между рекомендованным и выбранным профильным обучением у тех студентов, кто категорически не доволен своим выбором профессии.
Среди 540 проинтервьюированных нами бывших тестируемых выявлено всего 16 случаев безусловно неудачного выбора профессии. Согласно статистике по этим случаям, чаще всего (68,9%)  рекомендованное по результатам тестирования направление и реально выбранный профиль обучения не пересекаются даже частично. Еще 18 %  составляют случаи, когда основное рекомендованное направление обучения выбрано в качестве вспомогательного, а ведущее направление обучения в вузе не было выраженным или даже было представлено МИНИМАЛЬНО (на уровне 1 – 2 стен). И ЛИШЬ ДВОЕ ЧЕЛОВЕК ИЗ ПЯТИСОТ (что составляет ВСЕГО 0,4 ПРОЦЕНТА) категорически недовольны своим выбором, действительно сделанным на основании тестирования.
Итак, случаи крайнего недовольства выбранной профессией в 7 из 10 случаев бывают, когда бывший школьник выбирает не рекомендованное (или даже противопоказанное ему по результатам тестирования!) направление профессионального обучения.
Отдельные яркие случаи действительно впечатляют. Приведу здесь в качестве аргументов всего три случая из жизни (статья о проведенном исследовании для заинтересовавшихся данным материалом читателей находится в прикрепленном файле).
У одного юноши по результатам тестирования оказалась ведущая гуманитарная шкала. Вопреки результатам тестирования, он решил получить специальность «автоматика, телемеханика и связь» и поступил в МИИТ, Институт систем управления, телекомуникаций и электрификации. Учится уже 3 года. Ему категорически не нравится, что не удивительно: ведь выбранной специальности соответствуют ведущие технологическое и физико-математическое направление, а именно эти шкалы по результатам тестирования у данного юноши представлены МИНИМАЛЬНО. Совпадений шкал нет.
Первая девушка (в профиле доминируют физико-математическое и социально-экономическое направления) за три года после окончания школы успела поучиться в двух вузах: на детского психолога (гуманитарное направление – получен низкий балл, не рекомендуется) и в горной академии (естественнонаучное направление – получен низкий балл, не рекомендуется). Не понравилось, оба вуза бросила. Совпадений шкал нет.
Вторая девушка совсем запуталась (в профиле доминировала шкала технологического направления). По ее воспоминаниям, ей рекомендовали общение с людьми. По результатам тестирования, в ее профиле, в блоке «интересы» шкала «общение» выражена ниже среднего уровня! Равно как и шкала «активность», минимальный показатель в блоке «личность», — на уровне 2,9 стен (!). В письменной словесной интерпретации этой клиентке было указано следующее: «Вы не очень общительны, предпочитаете уединение активному взаимодействию с людьми… способны работать в условиях отсутствия общения вообще». Тем не менее, девушка буквально через силу учится на четвертом курсе в РМА туризма, на факультете менеджмента и туризма, как сама захотела (это лингвистическая и социально-экономическая шкалы). Она признается, что в настоящий период ей категорически не нравится выбранная профессия, «поскольку требуется много общения». Совпадений шкал нет.
Вот такие метаморфозы человеческой памяти! Если бы протоколы тестирования не хранились годами в электронном виде, этот случай также можно было бы смело трактовать как приведенный вами, Татьяна Владимировна, типа «нам рекомендовали то, что нам совершенно не подходит»

С уважением,
 
Виктория Николаевна Кононова

№ 49 из 59. 03.12.2010 : 14:08. Шмелев А.Г.
------------------------------------------------------------------
Виктория Николаевна,
 
спасибо Вам за очень важные подробности из проведенного исследования прогностической валидности. Конечно, публику больше убеждает, когда мы пишем не "одна девушка", а более определенно, например, Тереза (а в скобках добавляем - имя изменено). Чуть-чуть не ясно описано, что недовольные иногда склонны забывать ту рекомендацию, которую им дали. А самое главное мое предложение вот какое: почему бы Вам не опубликовать pdf-копию этой статьи на своем собственном блоге и дать явный заголовок в тематической ветке.  Ведь в этом комментарии статью вряд ли найдут.
 
С ув,
АШ
 

№ 50 из 59. 03.12.2010 : 19:23. Барлас Т.В.
------------------------------------------------------------------
Виктория Николаевна, большое спасибо за очень интересное сообщение, но пока воздерживаюсь от содержательного ответа: скачанная статья открылась у меня ориентированная "поперек" экрана. Я не знаток pdf и не знаю, можно ли ее как-то перевернуть на 90 градусов, чтобы она обрела нормальную ориентацию? Хочется прочитать, но... очень тяжело. Есть ли выход?
ЦИТАТА (Пишет Кононова В. Н.):

------------------------------------------------------------------
Уважаемая Татьяна Владимировна, коллеги! Хочу поделиться своим опытом и мнением
про научно обоснованное прогнозирование будущей профессии. Я призываю если уж
использовать примеры, то с конкретикой: по какой именно методике (ее версии)
получены результаты, с какими точными показателями по шкалам.
ЦИТАТА (Пишет Барлас Т. В.):
Я не только психолог, но и человек, и подвержена действию известной
социально-психологической закономерности о том, что единичный яркий пример
может
казаться более важным, чем статистические доказательства. Не претендуя на
обобщения, расскажу пару таких примеров.
В последнем потоке выполненных студентами практических заданий была
впечатлившая меня история девочки, которая пройдя профориентационное
тестирование (где - не помню) поступила в колледж по одной из рекомендованныз
специальностей. На втором курсе поняла, что это категорически "не ее" и вскоре
ушла. Сейчас учится в институте по другой специальности, довольна.
Александр Георгиевич уже упоминал о том, что мы недавно изучали прогностическую
валидность методики «Профориентатор» на материале свыше 500 человек. В основном,
как и положено, мы использовали количественные методы анализа. Вместе с тем, мы
также уделили внимание анализу отдельных ярких случаев и проверили, есть ли
совпадения между рекомендованным и выбранным профильным обучением у тех
студентов, кто категорически не доволен своим выбором профессии.
Среди 540 проинтервьюированных нами бывших тестируемых выявлено всего 16 случаев
безусловно неудачного выбора профессии. Согласно статистике по этим случаям,
чаще всего (68,9%) рекомендованное по результатам тестирования направление и
реально выбранный профиль обучения не пересекаются даже частично. Еще 18 %
составляют случаи, когда основное рекомендованное направление обучения выбрано в
качестве вспомогательного, а ведущее направление обучения в вузе не было
выраженным или даже было представлено МИНИМАЛЬНО (на уровне 1 - 2 стен). И ЛИШЬ
ДВОЕ ЧЕЛОВЕК ИЗ ПЯТИСОТ (что составляет ВСЕГО 0,4 ПРОЦЕНТА) категорически
недовольны своим выбором, действительно сделанным на основании тестирования.
Итак, случаи крайнего недовольства выбранной профессией в 7 из 10 случаев
бывают, когда бывший школьник выбирает не рекомендованное (или даже
противопоказанное ему по результатам тестирования!) направление
профессионального обучения.
Отдельные яркие случаи действительно впечатляют. Приведу здесь в качестве
аргументов всего три случая из жизни (статья о проведенном исследовании для
заинтересовавшихся данным материалом читателей находится в прикрепленном
файле).
У одного юноши по результатам тестирования оказалась ведущая гуманитарная шкала.
Вопреки результатам тестирования, он решил получить специальность «автоматика,
телемеханика и связь» и поступил в МИИТ, Институт систем управления,
телекомуникаций и электрификации. Учится уже 3 года. Ему категорически не
нравится, что не удивительно: ведь выбранной специальности соответствуют ведущие
технологическое и физико-математическое направление, а именно эти шкалы по
результатам тестирования у данного юноши представлены МИНИМАЛЬНО. Совпадений
шкал нет.
Первая девушка (в профиле доминируют физико-математическое и
социально-экономическое направления) за три года после окончания школы успела
поучиться в двух вузах: на детского психолога (гуманитарное направление -
получен низкий балл, не рекомендуется) и в горной академии (естественнонаучное
направление - получен низкий балл, не рекомендуется). Не понравилось, оба вуза
бросила. Совпадений шкал нет.
Вторая девушка совсем запуталась (в профиле доминировала шкала технологического
направления). По ее воспоминаниям, ей рекомендовали общение с людьми. По
результатам тестирования, в ее профиле, в блоке «интересы» шкала «общение»
выражена ниже среднего уровня! Равно как и шкала «активность», минимальный
показатель в блоке «личность», — на уровне 2,9 стен (!). В письменной словесной
интерпретации этой клиентке было указано следующее: «Вы не очень общительны,
предпочитаете уединение активному взаимодействию с людьми… способны работать в
условиях отсутствия общения вообще». Тем не менее, девушка буквально через силу
учится на четвертом курсе в РМА туризма, на факультете менеджмента и туризма,
как сама захотела (это лингвистическая и социально-экономическая шкалы). Она
признается, что в настоящий период ей категорически не нравится выбранная
профессия, «поскольку требуется много общения». Совпадений шкал нет.
Вот такие метаморфозы человеческой памяти! Если бы протоколы тестирования не
хранились годами в электронном виде, этот случай также можно было бы смело
трактовать как приведенный вами, Татьяна Владимировна, типа «нам рекомендовали
то, что нам совершенно не подходит»
С уважением,
Виктория Николаевна Кононова


------------------------------------------------------------------
 

№ 51 из 59. 03.12.2010 : 19:36. Шмелев А.Г.
------------------------------------------------------------------
Татьяна Владимировна,
 
надо в субменю View (в А-reader) выбрать опцию Rotate и нажать clockwise. 
 
Но должен сказать, что я сам такое вижу впервые, так что пришлось сообразить.
 
С ув,
АШ



ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Виктория Николаевна, большое спасибо за очень интересное сообщение, но пока
воздерживаюсь от содержательного ответа: скачанная статья открылась у меня
ориентированная "поперек" экрана. Я не знаток pdf и не знаю, можно ли ее как-то
перевернуть на 90 градусов, чтобы она обрела нормальную ориентацию? Хочется
прочитать, но... очень тяжело. Есть ли выход?


------------------------------------------------------------------


 

№ 52 из 59. 03.12.2010 : 21:44. Кононова В.Н.
------------------------------------------------------------------
Уважаемая Татьяна Владимировна, готова рассказать про алгоритм поворота текста на 90 градусов простым языком.
Статья открывается в программе Adobe Reader. Чтобы развернуть текст в удобном направлении, действуем следующим образом.На верхней панели выбираем опцию "просмотр" - появится перечень возможных действий, из них нужно выбрать вариант "повернуть вид" -  и  "по часовой стрелке".
 
У Вас обязательно получится
 
С уважением,
Виктория Николаевна Кононова
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Виктория Николаевна, большое спасибо за очень интересное сообщение, но пока
воздерживаюсь от содержательного ответа: скачанная статья открылась у меня
ориентированная "поперек" экрана. Я не знаток pdf и не знаю, можно ли ее как-то
перевернуть на 90 градусов, чтобы она обрела нормальную ориентацию? Хочется
прочитать, но... очень тяжело. Есть ли выход?


------------------------------------------------------------------


 

№ 53 из 59. 04.12.2010 : 00:14. Барлас Т.В.
------------------------------------------------------------------
Спасибо, Александр Георгиевич и Виктория Николаевна, и извините, что отняла время этим вопросом.
У меня по-видимому старая версия Adobe, там этой опции нет.
Благодаря вашим ответам, я поняла, что такая опция в принципе существует и статью перевернула.
Содержательно отвечу на свежую голову.
ЦИТАТА (Пишет Кононова В. Н.):

------------------------------------------------------------------
Уважаемая Татьяна Владимировна, готова рассказать про алгоритм поворота текста
на 90 градусов простым языком.
Статья открывается в программе Adobe Reader. Чтобы развернуть текст в удобном
направлении, действуем следующим образом.На верхней панели выбираем опцию
"просмотр" - появится перечень возможных действий, из них нужно выбрать вариант
"повернуть вид" - и "по часовой стрелке".
У Вас обязательно получится
С уважением,
Виктория Николаевна Кононова
ЦИТАТА (Пишет Барлас Т. В.):
Виктория Николаевна, большое спасибо за очень интересное сообщение, но пока
воздерживаюсь от содержательного ответа: скачанная статья открылась у меня
ориентированная "поперек" экрана. Я не знаток pdf и не знаю, можно ли ее как-то
перевернуть на 90 градусов, чтобы она обрела нормальную ориентацию? Хочется
прочитать, но... очень тяжело. Есть ли выход?


------------------------------------------------------------------


№ 54 из 59. 04.12.2010 : 13:03. Попов А.Ю.
------------------------------------------------------------------
Александр Георгиевич, спасибо за столь развернутый ответ!
Да, есть ощущение, что я высказываюсь «не по теме», поэтому в скором времени постараюсь создать свою ветку. С Вашими комментариями согласен, но они наводят меня на дополнительные «мысли вслух».
Вряд ли у психологов получится снять проблему количественных и качественных методов. Максимум, что можно сделать – это навести мосты. Как вариант – согласен, огрубить шкалы отношений до номинальных шкал. Но мне все же кажется, что измерение психических феноменов и температуры (свойства объективного мира) – несколько разные вещи. Я могу огрубить шкалу Цельсия до трех состояний (лед, вода, пар) именно потому, что эти состояния существуют в реальности, и вода в этих состояниях имеет разные свойства. Т.е. различие существует онтологически. И 0 градусов по Цельсию – это точка перехода, которая тоже существует онтологически. Вероятно, в психологии различия между свойствами / состояниями представлены в большей степени гносеологически. Поэтому как обнаружить ту самую точку в 0 градусов между «низкой тревожностью» и «высокой тревожностью» или между экстраверсией и интроверсией? Эта точка будет скорее свойством самого теста, а не свойством реальности.
Я абсолютно согласен, что нужно учиться наводить эти мосты. Это будет продуктивнее, чем спорить на философские темы. В конце концов, психология (говорят) – эмпирическая наука.
Ваши рассуждения о негативных последствиях мощных компьютерных алгоритмов анализа тестовых данных меня «зацепили». Глубоко задумался )))
Получается – как и всегда – что количественные методы больше подходят к измерению и моделированию низших психических процессов, качественные методы – к измерению «высших» психических процессов. Для меня вопрос заключается в том, насколько (футурологически говоря) далеко смогут количественные методы зайти на территорию высших психических процессов.
Согласен, что аналогом меры может являться сигма. Но тогда это «мера точности среднего арифметического». Мне кажется, аналогом меры может являться еще и «статистическая значимость» - пресловутая «р». Но тут хочу подчеркнуть УСЛОВНОСТЬ этой меры в психологии. Я студентам всегда говорю, что статистика (в своей основе) – гуманитарная наука. Потому что базируется на сугубо условных допущениях. Не помню где, но читал, что автором границы статистической значимости (p<0.05) является Фишер, и придумал он ее на спор, когда одна из его сотрудниц заявила, что может безошибочно определять по кофе, когда туда были налиты сливки (до сахара или после). У Фишера нашлось 20 чашек, поэтому он предоставил ей выбор из 20-ти. При этом вероятность случайного угадывания нужной чашки составляет 5 процентов. Если это действительно так, то у меня есть повод ненавидеть Фишера, т.к. некоторые из наиболее «красивых» результатов у меня в исследованиях не дотягивали до этой границы 2-3 процентов. В связи в этим мне кажется также, что «огрубление» количества до качества имеет массу негативных последствий. Когда психологи начинают размышлять о результатах статобработки в терминах «корреляция есть» или «корреляция нет» - разве это не огрубление реальности? Корреляция есть почти всегда, другое дело – вероятность допущения ошибки 1 рода. Таким образом, в психологии даже мера наличия / отсутствия результата является условной.
И еще одна «мысль вслух». У меня всегда складывалось впечатление, что психология (стремясь доказать, что это – наука) пыталась походить в своих методах на физику (эталон всех наук). Но в свете размышлений, приведенных выше, это невозможно! Физика гордилась строгим детерминизмом, делавшим возможными точные измерения, предсказания и строгие меры, психология всегда базировалась на вероятности. Но ведь потом стала появляться статистическая физика, и современные открытия (я не знаток этого дела, но на уровне популярной литературы) показывают, что в квантовом мире в основе поведения частиц лежит не строгий детерминизм, а именно случайность. И что это не несовершенные приборы, а именно свойство мира. С усовершенствованием прибора точность предсказания поведения частицы не возрастает. И между двумя точками, мол, элементарные частицы вовсе не всегда летают по наикратчайшему пути – просто в статистически подавляющем большинстве случаев. Если это так, то не получится ли однажды, что в своих методологических основаниях психология и физика сойдутся воедино?
 
С уважением,
Алексей. 
 
ЦИТАТА (Пишет Шмелев А. Г.):

------------------------------------------------------------------
Алексей, здравствуйте!
Очень хорошо, что Вы подключились к этой дискуссии. См. некоторые мои реплики
ниже - по ходу Ваших пронумерованных тезисов.


 

№ 55 из 59. 18.12.2010 : 21:33. Барлас Т.В.
------------------------------------------------------------------
Уважаемая Виктория Николаевна!
Приношу свои искренние извинения за то, что обещав прокомментировать по существу Вашу статью, я так этого и не сделала по причине большой занятости. Сейчас уже "запал прошел", и я только еще раз выражу благодарность за представление интересного материала, а также отмечу тот момент, который показался мне самым любопытным, потому что перекликается  с собственными размышлениями.
В статье приводится случай девушки, которая выбрала специальность, очевидно противоречившую результатм тестирования и рекомендациям, однако уверена, что ей было рекомендовано.... строго обратное тому, что ей было рекомендовано на самом деле (общение с людьми). Комментируя эти данные, Вы ссылаетесь на "метаморфозы человеческой памяти", однако мне представляется, что это (если так можно выразиться) неслучайные метаморфозы.
По даннм моих спорадтических наблюдений (пока к сожалению, сугубо качественных) информация по результатам психодиагностического обследования усваивается весьма избирательно - то, что соотвествует Я-концепции, воспринимается сравнительно просто и хорошо запоминается, то, что противоречит, остается недопонятым, на это не обращают внимание, забывают или искажают в памяти (как это имело место в приведенном примере).  Этот на самом деле понятный (хотя и неприятный) феномен (если он подтвердится) порождает другие вопросы.
Может ли психодиагност считать свою задачу успешно выполненной, если он предоставил клиенту полную и достоверную информацию на доступном для него уровне, а эта информация была проигнорирована или искажена? Нужно ли считать задачей психодиагноста не только  донесение информации, но и оценку того, насколько адекватно оно было понято и воспринято? Или это является "сферой ответственности" клиента?
И другие, возможно еще более острые вопросы возникли у меня после прочтения этого небольшого примера.
Может быть, они интересны не только мне?
ЦИТАТА (Пишет Кононова В. Н.):

------------------------------------------------------------------
Уважаемая Татьяна Владимировна, коллеги! Хочу поделиться своим опытом и мнением
про научно обоснованное прогнозирование будущей профессии. Я призываю если уж
использовать примеры, то с конкретикой: по какой именно методике (ее версии)
получены результаты, с какими точными показателями по шкалам.
Александр Георгиевич уже упоминал о том, что мы недавно изучали прогностическую
валидность методики «Профориентатор» на материале свыше 500 человек. В основном,
как и положено, мы использовали количественные методы анализа. Вместе с тем, мы
также уделили внимание анализу отдельных ярких случаев и проверили, есть ли
совпадения между рекомендованным и выбранным профильным обучением у тех
студентов, кто категорически не доволен своим выбором профессии.
Среди 540 проинтервьюированных нами бывших тестируемых выявлено всего 16 случаев
безусловно неудачного выбора профессии. Согласно статистике по этим случаям,
чаще всего (68,9%) рекомендованное по результатам тестирования направление и
реально выбранный профиль обучения не пересекаются даже частично. Еще 18 %
составляют случаи, когда основное рекомендованное направление обучения выбрано в
качестве вспомогательного, а ведущее направление обучения в вузе не было
выраженным или даже было представлено МИНИМАЛЬНО (на уровне 1 - 2 стен). И ЛИШЬ
ДВОЕ ЧЕЛОВЕК ИЗ ПЯТИСОТ (что составляет ВСЕГО 0,4 ПРОЦЕНТА) категорически
недовольны своим выбором, действительно сделанным на основании тестирования.
Итак, случаи крайнего недовольства выбранной профессией в 7 из 10 случаев
бывают, когда бывший школьник выбирает не рекомендованное (или даже
противопоказанное ему по результатам тестирования!) направление
профессионального обучения.
Отдельные яркие случаи действительно впечатляют. Приведу здесь в качестве
аргументов всего три случая из жизни (статья о проведенном исследовании для
заинтересовавшихся данным материалом читателей находится в прикрепленном
файле).
У одного юноши по результатам тестирования оказалась ведущая гуманитарная шкала.
Вопреки результатам тестирования, он решил получить специальность «автоматика,
телемеханика и связь» и поступил в МИИТ, Институт систем управления,
телекомуникаций и электрификации. Учится уже 3 года. Ему категорически не
нравится, что не удивительно: ведь выбранной специальности соответствуют ведущие
технологическое и физико-математическое направление, а именно эти шкалы по
результатам тестирования у данного юноши представлены МИНИМАЛЬНО. Совпадений
шкал нет.
Первая девушка (в профиле доминируют физико-математическое и
социально-экономическое направления) за три года после окончания школы успела
поучиться в двух вузах: на детского психолога (гуманитарное направление -
получен низкий балл, не рекомендуется) и в горной академии (естественнонаучное
направление - получен низкий балл, не рекомендуется). Не понравилось, оба вуза
бросила. Совпадений шкал нет.
Вторая девушка совсем запуталась (в профиле доминировала шкала технологического
направления). По ее воспоминаниям, ей рекомендовали общение с людьми. По
результатам тестирования, в ее профиле, в блоке «интересы» шкала «общение»
выражена ниже среднего уровня! Равно как и шкала «активность», минимальный
показатель в блоке «личность», — на уровне 2,9 стен (!). В письменной словесной
интерпретации этой клиентке было указано следующее: «Вы не очень общительны,
предпочитаете уединение активному взаимодействию с людьми… способны работать в
условиях отсутствия общения вообще». Тем не менее, девушка буквально через силу
учится на четвертом курсе в РМА туризма, на факультете менеджмента и туризма,
как сама захотела (это лингвистическая и социально-экономическая шкалы). Она
признается, что в настоящий период ей категорически не нравится выбранная
профессия, «поскольку требуется много общения». Совпадений шкал нет.
Вот такие метаморфозы человеческой памяти! Если бы протоколы тестирования не
хранились годами в электронном виде, этот случай также можно было бы смело
трактовать как приведенный вами, Татьяна Владимировна, типа «нам рекомендовали
то, что нам совершенно не подходит»
С уважением,
Виктория Николаевна Кононова


------------------------------------------------------------------
 

№ 56 из 59. 19.12.2010 : 11:50. Кононова В.Н.
------------------------------------------------------------------
Уважаемая Татьяна Владимировна! Вы подняли важный вопрос: выполнил ли психодиагност свою задачу, если после диагностики клиент услышал не то, что ему сообщил специалист, а что он сам хотел услышать?

Думаю, полезно различать "идеальный образ достижимого результата" в ситуации психотерапевтических сессий и в ситуации однократной беседы. В первом случае специалист, которому картина может быть ясна сразу же, помогает клиенту постепенно совершать мелкие сдвиги (shifts), чтобы самому увидеть себя и других людей, ситуации с новой позиции. Концепция "Я" - довольно устойчивое образование . Во втором случае важно сообщить результаты на понятном клиенту языке и убедиться, что тестируемый вас услышал и понял верно. А дальше наступает та грань, которую не следует преступать: "понять" не всегда значит "принять". В конце концов, любой человек вправе сам делать любой, даже очевидно ошибочный выбор. На ошибках учимся!
Психологам порой свойственно принимать решения за других и взваливать на себя чужую ответственность... Прежде всего, это бесполезно (и даже вредно) для клиента. Кроме того, у специалиста появляется чувство вины - самое разрушительное и деструктивное чувство для собственной личности психодиагноста.
А вот что действительно должен, на мой взгляд, уметь делать психодиагност, так это уметь оценивать адекватность (степень психического здоровья) тестируемого, чтобы не сообщать человеку лишнего. Этический принцип "не навреди" никто не отменял.

С уважением,
Виктория Н.Кононова
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Уважаемая Виктория Николаевна!
Приношу свои искренние извинения за то, что обещав прокомментировать по существу
Вашу статью, я так этого и не сделала по причине большой занятости. Сейчас уже
"запал прошел", и я только еще раз выражу благодарность за представление
интересного материала, а также отмечу тот момент, который показался мне самым
любопытным, потому что перекликается с собственными размышлениями.
В статье приводится случай девушки, которая выбрала специальность, очевидно
противоречившую результатм тестирования и рекомендациям, однако уверена, что ей
было рекомендовано.... строго обратное тому, что ей было рекомендовано на самом
деле (общение с людьми). Комментируя эти данные, Вы ссылаетесь на "метаморфозы
человеческой памяти", однако мне представляется, что это (если так можно
выразиться) неслучайные метаморфозы.
По даннм моих спорадтических наблюдений (пока к сожалению, сугубо качественных)
информация по результатам психодиагностического обследования усваивается весьма
избирательно - то, что соотвествует Я-концепции, воспринимается сравнительно
просто и хорошо запоминается, то, что противоречит, остается недопонятым, на это
не обращают внимание, забывают или искажают в памяти (как это имело место в
приведенном примере). Этот на самом деле понятный (хотя и неприятный) феномен
(если он подтвердится) порождает другие вопросы.
Может ли психодиагност считать свою задачу успешно выполненной, если он
предоставил клиенту полную и достоверную информацию на доступном для него
уровне, а эта информация была проигнорирована или искажена? Нужно ли считать
задачей психодиагноста не только донесение информации, но и оценку того,
насколько адекватно оно было понято и воспринято? Или это является "сферой
ответственности" клиента?
И другие, возможно еще более острые вопросы возникли у меня после прочтения
этого небольшого примера.
Может быть, они интересны не только мне?



------------------------------------------------------------------
 

№ 57 из 59. 19.12.2010 : 12:25. Барлас Т.В.
------------------------------------------------------------------
Уважаемая Виктория Николаевна!
Думаю, что Вы правы.
И психодиагностам следует четко осознавать границы возможных изменений на основе данных психодиагностического обследования. Эти возможности меньше, чем нам возможно хотелось бы.

№ 58 из 59. 19.12.2010 : 13:40. Кононова В.Н.
------------------------------------------------------------------
Уважаемая Татьяна Владимировна, но и недооценивать роль работы психодиагноста, точнее говоря, влияние обратной связи от специалиста на судьбу тестируемых тоже не стоит!
Так, в моей практике имели место отдельные случаи, когда знакомство человека со своим психологическим портретом служило отправной точкой для серьезного самосовершенствования. Приведу один пример из статьи, опубликованной еще в 1999 году (для желающих прикрепляю полный текст статьи).
Случай руководителя Владислава* [имя вымышленное] (мужчина 35 лет, таможенный стаж 9 лет, из них 8 лет на руководящей работе) иллюстрирует факт кардинального изменения структуры личности. При тестировании в 1999 году  Владислав оказался трудолюбивым, общительным, даже многословным, требовательным, уверенным в себе руководителем, который хорошо разбирается в людях. Ведущая психическая функция – интуиция. Коммуникативные и организаторские качества развиты максимально. В работе у него доминирует направленность на задачу в сочетании с направленностью на взаимные действия. В конфликтных ситуациях он предпочитает или сотрудничать, или избегать контакта с подконтрольными лицами вовсе. После ознакомления со своим психологическим портретом Владислав произнес следующую фразу: «Значит,  недаром я работал над собой почти 10 лет».  Оказалось, что 10 лет тому назад он проходил психодиагностическое тестирование у военного психолога в Генеральном штабе N-ского военного округа и тогда по результатам стандартных опросников Владислав был «малообщительный, неуверенный в себе, ориентирован на личные достижения, у него были проблемные взаимоотношения с другими людьми…».    
С уважением, Виктория Н.Кононова
 
ЦИТАТА (Пишет Барлас Т. В.):

------------------------------------------------------------------
Уважаемая Виктория Николаевна!
Думаю, что Вы правы.
И психодиагностам следует четко осознавать границы возможных изменений на основе
данных психодиагностического обследования. Эти возможности меньше, чем нам
возможно хотелось бы.


------------------------------------------------------------------
 

№ 59 из 59. 20.12.2010 : 00:25. Червинская К.Р.
------------------------------------------------------------------
 Уважаемые коллеги!
Позвольте мне, может быть с некоторым запозданием, подключиться к обсуждению «о количественном и качественном подходе в психодиагностике», ну и косвенно ответить на вопрос Алексея Попова
Цитата:
Снимется ли проблема качественных (индивидуальный опыт) и количественных (номотетические и обезличенные закономерности) методов, если отказаться вообще от понятия эксперимента в психологии и во главу угла поставить опыт? И постараться его количественно моделировать? Я намекаю на инженерию знаний (напр., К.Р.Червинская).
 
С самого начала я не очень поняла, в чем смысл этой дискуссии. Создалось такое ощущение, что многие высказывания на этой ветке нацелены на поддержку либо количественных, либо качественных методов в психологии, т.е. почему-то эти подходы стали противопоставляться. И даже возникло обсуждение, как их можно интегрировать.
Мне кажется, что проблема лежит несколько в другой плоскости: как качественному подходу придать статус научного исследования.
Ведь если мы говорим о психологическом исследовании, т.е. сугубо научном подходе, то естественно, что должны быть, во-первых, методологический подход, а во-вторых, – инструменты. Я сознательно выношу за скобки психологическое консультирование.
Когда мы говорим о количественном подходе, то здесь все понятно, существует психометрика, теория измерений, в частности, теория психологических измерений, в рамках этих представлений инструменты должны быть надежны, валидны, стандартизированы и пр. Еще один методологический подход – эксперимент, здесь должна быть воспроизводимость эффекта, т.е. должна быть эмпирическая процедура, строго следуя которой мы получим такие же результаты, как и в предыдущий раз.
А вот когда речь заходит о качественном подходе, ну или об интерпретации результатов тестирования, то создается впечатление, что у психологов есть набор приемов, которые просто «работают». Как? Почему? Эти вопросы почти никогда не возникают, да и надо ли на них отвечать тоже непонятно (может только когда обучаешь использованию методики студентов). Например, собрали протоколы «мыслей вслух», сделали контент-анализ, выделили категории, произвели частотный анализ. А если тот же контент-анализ сделает другой человек, и у него получатся другие категории, что тогда?
В этом мне и видится большая проблема, а именно, как можно валидизировать процедуры качественного исследования.
Приведу свои попытки работы в этом направлении. Когда много лет назад мы начали исследования в лаборатории клинической психологии им.В.М.Бехтерева по созданию экспертных психодиагностических систем, я (в роли когитолога) обнаружила, что опытные психологи никогда не интерпретируют результаты сложных многомерных тестов пошкально, всегда есть паттерны, т.е. сочетания шкал, имеющие диагностическое значение. Они видны визуально, если нарисовать графическое изображение (профили, циркограммы). Ну а дальше чудеса, действительно, «портреты» испытуемых получались невероятно точными. Это качественный подход? Да, конечно, более того, основанный на опыте, интуиции, знаниях, умениях и навыке.
Однако ж поскольку у меня была задача создать некоторую формальную модель интерпретации тестовых данных (все-таки компьютерное моделирование вещь строгая), мне и пришлось задать психологам те самые вопросы: Как? и Почему? все это «работает». Мы стали строить модели, реализовывать их в виде базы знаний и получать конкретный результат, который уже можно оценивать на валидность, например, с помощью экспертных оценок. По сути, в какой-то степени произошла формализация качественного подхода. Насколько создаваемые компьютером заключения действительно оказались валидными? Мы провели такие исследования на некоторых методиках клинической психодиагностики, в результате, например, было обнаружено, что методику выявления невротических черт личности нет смысла использовать на контингенте больных наркоманией, ну а на других контингентах (здоровые испытуемые, невротики) она «работает» хорошо.
Конечно, проведенные нами исследования потребовали больших временных ресурсов, однако попытка формализации качественного подхода и валидизации методов исследования все-таки осуществилась.
Я была бы признательна коллегам, если бы кто-то привел примеры своих или чужих работ по формализации и валидизации исследований, выполненных в русле качественного подхода.