1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Надежность аппаратных психофизиологических методик.

Тема в разделе 'Сугоняев К.В.', создана пользователем Клюкина Т.Б., 12 май 2015.

  1. Клюкина Т.Б.

    Клюкина Т.Б. Участник

    Константин Владимирович, если можно, пришлите мне тоже документацию комплексу.
    Сначала почитаю, вспомню, чтобы вопросы Вам потом по существу задавать.
    Моя почта: kljukina@yandex.ru
  2. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Когда я писал Александру Георгиевичу о "фишках", я имел в виду творческий вклад в разработку компьютерного психодиагностического комплекса (у меня, кстати, именно этому была посвящена диссертация) и, естественно, исключил из этого числа воспроизведение (пусть даже с определенными коррективами) заимствованных методик.
    Последнее редактирование: 12 янв 2019
  3. Левин С.В.

    Левин С.В. Участник

    Добрый вечер, Константин Владимирович! Я уже 11 лет занимаюсь психодиагностикой. Недавно был задействован в проекте, который, к сожалению, не состоялся. Наша фирма должна была запустить психодиагностический полигон для адаптации компьютерных версий тестов с возможностью тестирования коммерческих фирм. Из оборудования остановились на Вашем детище - Мультипсихометр. Я видел много программ и комплексов, но этот меня восхитил (снимаю перед Вами шляпу, как перед разработчиком!!!). Очень много интересных идей заложено в комплекс (поиск клонов, основа тестовых батарей, дополнительные шкалы достоверности результатов (АТ), возможность бланкового тестирования и многое другое). Интересный и тестовый инструментарий. Знаю еще про несколько интересных вещей (конструктор тестов, пунктовый анализ), но фирма-продавец доступ к этому функционалу закрыла (первый барьер на пути использования). Вторым минусом стало - отсутствие грамотного методического руководства (без Вас все сведено к простому краткому описанию методик без информации о их психометрических данных). И как всегда, сказалась экономическая ситуация. Посещая данный форум увидел Ваш пост касательно Мультипсихометра. Очень огорчился, что загубили такую программу. Хотел у Вас уточнить: 1 - ведете ли Вы сейчас какие-то доработки комплекса? 2- нет ли у Вас полноценного методического руководства с показателями надежности, валидности методик и описанием выборки, на которой они апробировались?
    Шмелев А.Г. и Никитина И.А. нравится это.
  4. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Уважаемый коллега
    Большое спасибо за высокую оценку моего труда, который теперь оказался отчужден от автора. Поэтому моя работа с 2011 г. сосредоточена исключительно на разработке нового и совершенствовании уже имеющегося методического обеспечения. На мой взгляд, это направление работы тоже дало неплохие результаты.
    Я предпочитаю сейчас использовать словосочетание "программно-методическое обеспечение" - как некий сплав программной оболочки и ее методического наполнения. И совершенствовать наполнение мне никто не может помешать.
    Я продолжаю это делать в интересах трех силовых ведомств, лишь в одном из которых получаю некоторую поддержку (или получал... все так быстро меняется).
    О психометрике компьютеризированных тестов (а их сотни) в разных средах имею столько информации, что основной проблемой становятся физические и временные ограничения на возможность их изложить. Поэтому делаю это поэтапно, в рамках отдельных статей или в рамках конкретного ведомства (в нынешнем году запланирована публикация одного УМП, где будут представлены соответствующие ведомственные данные).

    На всякий случай хотел бы уточнить, что не существует "психометрических характеристик теста", но есть ПМХ тестовых оценок в данных условиях применения на данном контингенте. В других условиях и на другом контингенте они могут оказаться иными (хотя мой опыт показывает, что различия, связанные с контингентом, как раз не столь велики). Поэтому любые сведения о ПМХ, рассчитанных где-то, могут иметь лишь ограниченную полезность для Ваших собственных данных.
    Если у Вас есть конкретные вопросы по конкретным тестам или нюансам использования программы - буду рад предоставить имеющуюся информацию. Утилита для проведения пунктового анализа - действительно очень полезный инструмент для вдумчивого пользователя и разработчика. Без проблем могу Вам выслать ее на Ваш e-mail.
    С уважением, К.Сугоняев
    Последнее редактирование: 12 янв 2019
    Никитина И.А. и Шмелев А.Г. нравится это.
  5. Левин С.В.

    Левин С.В. Участник

    Добрый вечер, Константин Владимирович!
    Буду очень признателен, если Вы вышлите утилиту на почту levin_sergej84@mail.ru. По использованию она проста, насколько я помню. Но, если есть какие-то моменты по ее использованию, буду рад Вашим комментариям.
    Сейчас работаю над тестом "Цикл управленческих умений". Судя по отсутствию норм, я так подразумеваю, его в МПМ мало кто использовал. Как Вам этот тест на оценку менеджерского потенциала? Большое спасибо за методику ЛОР (раньше использовали CPI). Сейчас же более правдивая и углубленная информация на "выходе".
    Еще будет интересно Ваше мнение и информация по методикам (используем в работе с рук.составом):
    1. Методика диагностики социально-психологических установок личности в мотивационно-потребностной сфере О.Потемкиной
    2. Оценка готовности к риску по Г.Шуберту
    3. Локус контроля (модификация Е.Ксенофонтовой)
    4. Опросник эмоционального интеллекта Н.Холла
    5. Мак-шкала по В.Знакову
    6. Опросник для определения базовых типов мышления и измерения уровня креативности (В.А.Ганзен и др.)
    7. Оценка стиля управления ("управленческая решетка" Р.Блейка - Дж.Моутона)
    8. Опросник черт характера для взрослых (ОЧХ-В) В.Русалова и О.Маноловой
    9. Опросник "Склонность к отклоняющемуся поведению" А.Орла
    10. Методика "Модели преодолевающего поведения" (опросник SACS С.Хобфолла в адаптации Н.Водопьяновой)
    11. Домино "Домино" D-48 с ограничением времени
    Константин Владимирович, есть вопросы по тестовым батареям (ТБ). В их основе заложен механизм регрессионного анализа. Но, судя по наличию оптимальных показателей, оценки обследуемого еще и сопоставляются с "идеальным" портретом по ТБ. Я правильно понимаю? И влияет ли показатель среза на итоговую оценку, кроме как, при выходе за его пределы выдает 4 категорию ПП? Планировали ли Вы сделать ТБ на основе нейронных сетей? И каково Ваше отношение к такому решению?
    Последнее редактирование: 22 янв 2016
  6. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Добрый вечер!
    Из перечисленных Вами методик лишь одна тянет на 4-4,5 звезды из 5 возможных (D-48); все прочие могли бы претендовать лишь на позиции от "единицы" (т.н. управленческая решетка Блейка-Моутона) до "троечки" (СОП). Поскольку список большой и проблемы у разных методик тоже весьма различны, то и комментарии требуются довольно пространные; постараюсь их дать, но не одномоментно.
    Для того, чтобы мои комментарии были актуальны, уточните, пожалуйста (хотя бы примерно), для какого контингента Вы планируете все это применять?
    По составу методик я этого не понял (в перечень попали от подростковых до бизнес-ориентированных).

    О "Цикле управленческих умений" отвечу сразу: действительно, долгое время у меня не было никаких сведений о ее применении пользователями "Мультика", но в недавнем прошлом по крайней мере двое знакомых психологов экспериментировали с этой методикой, так что при желании можно отыскать данные для какой-то предварительной стандартизации. Я с ней не работал, но даже поверхностное знакомство дает основание предположить, что 1) не может быть и речи о возможности психометрического подтверждения структуры этой методики; 2) она совершенно прозрачна для респондента и, стало быть, беззащитна перед любыми попытками намеренного искажения информации. Думаю, кроме исследовательского, никакого иного применения у нее быть не может.
    Также сразу могу сообщить, что среди известных мне пользователей никто, к сожалению, так и не воспользовался МАК-шкалой (посему никакой психометрической информацией о ней не располагаю). Сейчас, может быть, более актуально было бы воспользоваться не монометрическим опросником, а одной из методик, предназначенных для оценки "Черной триады" (Паулюса или Джонса) либо 6-факторным личностным опросником, который включает аспект "манипулятивность".

    О тестовых батареях: в механизм вынесения интегральной оценки (ИО) действительно заложена множественная регрессия, только в качестве переменных используются не абсолютные значения предикторов, а дистанции до оптимального значения (в нормализованных стэнах). Таким образом, можно учесть, в том числе, и нелинейные связи. Введение отсекающих оценок позволило объединить компенсаторную и некомпенсаторную модели соответствия. Сам по себе "срез" на ИО практически не влияет, если только предиктору, на который установлен "срез", не присвоен существенный вес.

    Утилиту высылаю на указанный Вами адрес.

    С уважением, К.Сугоняев
    Никитина И.А. нравится это.
  7. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Добрый день, Сергей
    Мне приятнее всего начать описание ПМХ методик из Вашего перечня с "Домино", поскольку это очевидный лидер.
    Достоинства:
    1) методика, кажется, не изгажена многочисленными перепечатками в разного рода "тестовых справочниках", "энциклопедиях", "компендиумах" и иже с ними. В российских реалиях - это одно из важнейших преимуществ. Хотя мои данные в этом пункте могут уже устареть (я перестал следить за психологической поп-литературой, надоело).
    2) замечательная надежность: на выборке кандидатов на службу в силовую структуру (N=11251) KR-20 = 0,89. Ни одного недискриминативного пункта! Картинка с результатами пунктового анализа после преобразования матрицы ответов в дихотомическую форму прилагается.
    3) фактически открытый характер ответов (хотя конечность числа вариантов позволила автоматизировать обработку результатов даже при бланковом варианте проведения) обеспечивает прекрасную защиту от попыток "обмануть тест": никакой халтурщик не имеет ни малейших шансов получить результат, выходящий за рамки первого стэна (этим могут похвастаться далеко не все когнитивные тесты, применяемые в России, к сожалению);
    4) высокая нагруженность тестовых оценок на фактор g
    5) широкий диапазон уровней общей когнитивной способности, охватываемый тестом (от весьма низких до выдающихся)
    6) прогрессия в возрастании трудности заданий, позволяющая даже лицам с низким уровнем способностей все же набрать некоторый балл (хотя и не 100%-ная и не настолько идеально-спиральная структура, как в случае СПМ или ППМ Равена, но все же).
    7) распределение тестовых баллов (левосторонняя асимметрия) идеально для решения задачи отсева меньшинства менее способных;
    И все же я поставил 4-4,5, а не 5. Почему? Есть некоторые моменты, снижающие удовольствие от применения теста:
    1) Количество заданий представляется избыточным (можно достичь приемлемых уровней измерительной точности и при меньшем их количестве).
    2) Соответственно, время на его выполнение слишком велико (25 минут) и не все могут его себе позволить (время - это издержки).
    3) Эффект Флинна делает свое дело: сегодня многие из заданий теста стали уже слишком простыми для многих популяций (в еще большей степени это относится к СПМ Равена), т.о. имеется перекос в сторону простых заданий (на представленной картинке можно видеть, что 12 из 44 заданий успешно решает более 90% выборки).
    4) В тесте присутствуют как слишком простые, так и слишком сложные (38, 42-44) задания. С точки зрения оптимизации под конкретную популяцию либо те, либо другие являются избыточными.
    Дальше идут некоторые технологические нюансы, которые, конечно, не могут быть отнесены к психометрическим недостаткам теста, но влияют на экономику его компьютерной реализации:
    - Двухфазный ответ несколько затрудняет компьютеризацию теста и пришлось поломать голову, чтобы реализовать тест в форме, пригодной для бланкового обследования и автоматической обработки.
    - Поскольку тест создавался в 40-х годах, понятно, что автор (Энстей) не имел в виду его компьютерную реализацию. Для того, чтобы ее осуществить, пришлось несколько модифицировать размещение элементов задания для придания им большей эргономичности, причем, в диалоговой версии поворот был выполнен в одном направлении, а в бланковой - в другом.
    И последнее. То, что было упомянуто в качестве достоинства №1, наводит на подозрение, что тест, возможно, имеет коммерческий статус. Не знаю этого наверняка, но есть сомнения...

    Продолжение следует

    Вложения:

  8. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Сергей, считаю необходимым кое-что добавить в отношении "Домино"
    Никакие групповые психометрические количественные индексы не заменят гистограмм распределения первичных оценок; они гораздо больше могут рассказать опытному психодиагносту о возможных сферах применения методики, чем голая "цифирь".
    То, что я не представил графических материалов сразу - моя промашка; исправляю.
    К сожалению, пока не овладел искусством вставлять картинки в пост, поэтому подгружаю файл с гистограммами.

    Вложения:

    Никитина И.А. и Левин С.В. нравится это.
  9. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Следующая на очереди методика, которую хотелось бы прокомментировать, - ОЧХ-В.
    Тут как раз на одной из смежных веток на короткое время вспыхнула (и сразу была подавлена) небольшая дискуссия по поводу первой русскоязычной методики, попытавшейся операционализировать взгляда Леонгарда - опросника Шмишека. Поэтому предлагаемый материал с достаточно подробным анализом психометрики ОЧХ-В можно считать попыткой довести несостоявшееся обсуждение до некоторого логического многоточия.
    Вообще, данных по этой методике у меня предостаточно (тысяч 50 протоколов или что-то в этом районе), но в анализ, отраженный в подгруженном файле, включено лишь около 27 тысяч.
    В файл включены извлечения из одного из моих отчетов, подготовленных в 2013 году.
    Для тех, кому некогда читать фрагменты отчетов, поясню кратко:
    - структурная валидность опросника неадекватна (в принципе, на этом можно было бы поставить точку...)
    - надежность многих шкал не отвечает даже весьма либеральным требованиям стандарта РПО;
    - некоторые из шкал существуют лишь благодаря тавтологичным формулировкам;
    - теоретический фундамент, на который опирается опросник, сомнителен.
    Особого внимания заслуживает тот факт, что средние оценки по шкалам варьируют в разы (могут различаться почти в 4 раза). Из этого (косвенно) следует полная абсурдность системы интерпретации результатов Шмишека, основанная на тупом делении теоретического размаха баллов пополам и отнесения всех, кто превысил выдуманный порог в 50%, к акцентуантам. В принципе, интерпретация, предложенная авторами ОЧХ-В, не очень далеко отошла от этой идеи...
    Однако, по сравнению с опросником Шмишека, ОЧХ-В, несомненно, шедевр.
    Или, если отбросить политкорректность, опросник Шмишека - абсолютный мусор. К сожалению, не единственный в "арсенале" наших практических психологов.

    Вложения:

    • ОЧХ-В.rar
      Размер файла:
      559,3 КБ
      Просмотров:
      39
  10. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Теперь об опроснике "Стиль мышления"
    Основной вопрос, конечно, состоит в том, действительно ли методика оценивает нечто такое, что отличает ее от других классов опросников (личностных, мотивационных и пр.)? И если да, то насколько хорошо она это делает с точки зрения психометрических характеристик?
    Увы – полученные нами результаты анализа протоколов обследования целевой популяции (1625 чел.) не слишком вдохновляют.
    - одномоментная надежность шкал (0,481–0,688) находится вблизи нижней границы приемлемости, установленной стандартом РПО, причем две шкалы (из пяти) не смогли до нее дотянуть (особенно шкала «креативность»). Для 15-пунктовых шкал – даже с учетом дихотомического формата – такой уровень не может быть назван респектабельным. Разумеется, при таких параметрах применение этой методики в аттестационном контексте выглядит очевидным нонсенсом (не говоря уже о загадочном смысле включения такого рода методики в программу обязательного обследования десятков тысяч весьма занятых людей);
    - в составе методики имеется ряд пунктов, которые не коррелируют в должной мере (хотя бы на 0,2) ни с одной из шкал. Наиболее «рыхлой» оказалась шкала креативность: исключение каждого второго пункта приводило к тому, что его корреляция со «своей» шкалой скатывалась к уровню 0,1 и ниже;
    - в составе методики имеются явно тавтологичные / антонимичные пары (например, пункты 42 и 52; 12 и 49), что не может быть отнесено к числу достоинств конструирования;
    - попытки подтвердить структурную валидность методики оказались неудачными: ни в одном из факторных решений (рассматривались варианты, включающие от 3 до 8 факторов) не удалось получить латентных факторов, которые хотя бы отчасти подтвердили правомерность выделения предложенных авторами пяти шкал;
    - наиболее логичным нам показалось трехфакторное решение, в котором первый (самый мощный) фактор можно интерпретировать как «интерес к искусствам», второй – как «интерес к интеллектуальным формам деятельности», а третий отразил интересы, характерные для «реалистического» типа личности по Холланду.
    - дальнейшее дробление приводит к выделению факторов, представляющих собой смесь пунктов из разных шкал. На седьмом шаге от 1-го фактора отпочковался субфактор, который можно отождествить с воображением, включивший 6 из 15 пунктов шкалы «образное мышление». В этом же решении выделилась группа пунктов, которые можно отождествить с социабельностью (их связь со «стилем мышления» представляется наиболее загадочной).
    - о внешней валидности: большая часть содержания опросника проецируется на фактор «открытость опыту» 5ФМ, но лишь на часть аспектов (см. прилагаемый файл). Инкрементная валидность методики сверх 5ФМ представляется неочевидной.
    Некоторые подробности можно увидеть в прилагаемом doc-файле.

    Таким образом, наши ответы на вопросы, поставленные в начале поста, скорее отрицательные.
    Психометрическое качество методики низкое, а те оценки, которые с ее помощью получаются, едва ли могут быть надежной основой для вынесения суждений об индивидуальных особенностях «стиля мышления».

    Вложения:

    Последнее редактирование: 12 янв 2019
    Левин С.В. и Никитина И.А. нравится это.
  11. Левин С.В.

    Левин С.В. Участник

    Благодарю за информацию. Полагаю она будет полезна не только пользователям МПМ, зарегистрированным на данном форуме, но и многим нашим коллегам!
  12. Бурученко Е.Э.

    Бурученко Е.Э. Участник

    Константин Владимирович, доброго дня!
    Я бы тоже хотела получить документацию по комплексу centr9_ek@inbox.ru, а еще утилита про которую Вы с Сергеем Валерьевичем общались может работать самостоятельно, если да, что для этого нужно? Я как раз таки и представляю тех товарищей что трудятся на продукции ЗАО "Нейроком", я бы очень хотела найти даже не альтернативу, а ПДК умный и корректный.
  13. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Екатерина Эдуардовна, к сожалению утилита для пунктового анализа заточена только под работу с базой "Мультипсихометра" и родственных комплексов (см. мой ответ Н.А.Хохлову в начале этой ветки).
    Уточните, документацию по какому из комплексов Вы хотели бы получить?
    Некоторые из них я продолжаю развивать в методическом плане, некоторые умерли в 2010 году (соответственно, документация на них также находится с этого времени в замороженном виде).

    С уважением, К.Сугоняев
    Никитина И.А. и Тукачев Ю.А. нравится это.
  14. Бурученко Е.Э.

    Бурученко Е.Э. Участник

    Константин Владимирович, тогда пойдем следующим путем - есть ли в Вашем арсенале ПДК, наполненные диагностикой монотоноустойчивости, готовности к экстренным действиям, стрессоустойсивость, сложные и простые двигательные реакции и др. и блок личностных тестов и опросников, позволяющих сделать заключение об успешности человека в данной профессии(о возможности человека справляться с многозадачностью, с многочисленным техническими средствами, устойчивости к длительным нагрузкам и без четкого графика работы).
  15. Казионов Е.И.

    Казионов Е.И. Наблюдатель

    Добрый вечер Константин Владимирович! пришлите мне тоже документацию комплексу.
    Моя почта: ikator@mail.ru
  16. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Евгений Иванович, а Вы психолог?
    Никитина И.А. нравится это.
  17. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    1) Присоединяюсь к вопросу Юрия Александровича
    2) И опять: о каком комплексе речь?
    3) Если у Вас уже есть некий комплекс, то должна быть и документация к нему. Если нет, то что Вам даст обладание этой документацией без самого комплекса?
    Последнее редактирование: 12 янв 2019
    Никитина И.А. и Тукачев Ю.А. нравится это.
  18. Казионов Е.И.

    Казионов Е.И. Наблюдатель

    Да. с 2003 года.
  19. Казионов Е.И.

    Казионов Е.И. Наблюдатель

    Прохожу службу в органах внутренних дел. Имеем АППДК в версии для МВД. Документация частично утеряна. У кого она есть в курсе что как типографский продукт сделана она мягко говоря не важненько, и после недолгого пользования странички отваливаются и выпадают.