1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Результаты пробного эксперимента по проверке прогностической валидности типологической модели

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 17 авг 2021.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Уважаемый участники форума ЭСПП!

    В мае 2021 года мы провели силами группы активистов нашего сообщества достаточно уникальный ПРОБНЫЙ эксперимент. Мы поставили целью этого эксперимента РАЗРАБОТКУ МЕТОДИКИ, позволяющей сравнивать прогностическую валидность соционической (основанной на соционических типах) и факторно-аналитической моделей личности.

    В качестве соорганизаторов и одновременно НЕЗАВИСИМЫХ ЭКСПЕРТОВ в этом исследовании приняли участие следующие 8 членов форума ЭСПП: Алтухов Виталий, Власова Оксана, Звонарева Наталья, Коваленко Роман, Круглов Андрей , Парфенов Андрей, Степанов Руслан, Шмелев Александр. Техническую помощь этой группе оказал менеджер проекта КИТТ Антон Тимофеев.

    Эксперимент был проведен на базе софтверной системы (платформы) HT-LINE в сообществе КИТТ - "Клуб Испытателей Тестовых Технологий". Ранее (в 2019 году еще ) более 2 тысяч участников КИТТ прошли "Тренинг семантической памяти". И показатель продолжительности тренинга (количество обучающих циклов) был взять в качестве критерия для проверки "прогностической валидности" (берем в кавычки это понятие, так как экспертам пришлось "прогнозировать-угадывать" уже совершившиеся событие, которое просто им оставалось неизвестным). Эксперты указали, какие соционические типы и какие полюса по 4 факторам (близким по содержанию к MBTI), скорее всего ассоциируются (связаны) с продолжительным добровольным тренингом.

    Участники-испытуемые в количестве 68 человек выполнили свободную методику "ДИАФОРЫ", а также свободный рассказ по картинке. Позднее в связи с бедными полученными статистическими связями было принято решение провести еще одну методику - тест-опросник из 20 вопросов Горенко-Толстиковой (на определение соционических типов). В этом опроснике приняли участие 107 испытуемых.

    Первый позитивный результат исследования состоял в том, что между экспертами возникла высокая (значимая) согласованность в теоретическом прогнозировании. Прошу Андрея Парфенова уточнить, какая именно (сейчас не оказалось под рукой цифровых данных). Несколько выше согласованность проявлялась в рамках факторно-аналитической модели (по полюсам факторов), чем по отдельным типам. Но ряд наших экспертов, которые участвовали и в том, и в другом виде прогнозирования, оказались вполне успешными и там, и там. Если 16 типов спроецировать на 4 факторные оси, то противоречий в прогнозах между сторонниками разных моделей НЕ было. Но.. хуже пошло дело по прогнозированию поведения реальных испытуемых.

    Организаторы не без труда добились согласия в том, чтобы опубликовать три основных наших результата пробного эксперимента в отношении поведения испытуемых:

    1) Методика типирования по свободным описаниям объектов (в варианте ДИАФОРЫ прежде всего) не сработала на прогнозирование продолжительности онлайн-тренинга семантической памяти, а также показала низкую согласованность в работе независимых экспертов-диагностов (одним и тем же испытуемым эксперты приписывали разную продолжительность тренинга).


    2) С помощью опросника и экспертного прогноза выявлена невысокая, но значимая связь продолжительности тренинга с комбинацией только двух факторов, описывающими 16 типов Юнга-Аугистинавичюте. Это факторы "логика" и "рациональность". Данный положительный результат проще интерпретировать в терминах факторно-параметрической модели, хотя некоторые эксперты предлагают его интерпретировать в терминах "типологической соционической модели".

    Таким образом, значимая связь наблюдается именно с факторами, что скорее подтверждает факторный параметрический подход, чем дискретный типологический. Но... при этом следует признать, что для выявления значимых связей для дискретных типов в пробном эксперименте не хватило статистических данных: выборка по каждому из типов оказалась очень малочисленной, поэтому ни по одном отдельному типу связей НЕТ.

    3) Выявлена ЗНАЧИМАЯ связь продолжительности тренинга с "плоским факторно-типологическим профилем" индивида по опроснику: более продолжительный тренинг показывают люди, которые не относятся ни к одному типу и не попадают на полюс ни одного из факторов. Эта связь оказалась статистически более значимой, чем связь номер 2. Можно по-разному интерпретировать такую статистическую связь, но сама по себе эта связь является одним из немногих твердых результатов нашего исследования.

    Участники исследовательской группы договорились далее о следующем:

    1) Ну публиковать результаты данного пробного эксперимента в виде научной статьи.
    2) Тщательно продумать и согласовать уточненную схему ОСНОВНОГО эксперимента.
    3) Если удастся провести ОСНОВНОЙ эксперимент, но уже на таком условии, что
    его результаты ОБЯЗАТЕЛЬНО будут опубликованы.
    4) Координировать подготовку основного эксперимента вызвался Роман Ковалев.
    Шмелев будет содействовать Роману в плане предоставления ресурсов.
    5) Исследовательская группа открыта для подключения к основному эксперименту
    других участников форума.


    А.Г.Шмелев
    Последнее редактирование: 17 авг 2021
  2. Алтухов В.В.

    Алтухов В.В. Модератор Команда форума

    Всем привет! Еще раз спасибо за этот пробный эксперимент, который на мой взгляд значим не столько результатами, сколько самим фактом его проведения и возможностью участников от разных школ поработать совместно в одном поле.
    Интересно, если планировать продолжение - что окажется важнее - значимо увеличивать выборку (особенно чтобы улавливать связи с разными типами) или все таки совсем изменить предмет и тематику исследования (взять другие критерии, другие методики).
  3. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Александр Георгиевич, спасибо за информацию.
    На сколько я понял, ПРОБНЫЙ эксперимент в том числе показал, что на реальное поведение людей влияет комплекс самых разных факторов.
    Поэтому, на мой взгляд, как в рамках факторно-аналитической модели, так и в типологическом подходе прогнозирование необходимо основывать не просто на теоретических представлениях влияния личностных характеристик вообще (в том числе типологических), а только соответствующих конкретной ситуации.
    На мой взгляд наиболее продуктивным оказалось само обсуждение проекта взаимодействия разных школ на вашей интернет площадке. Нам было бы интересно продолжение сотрудничества.
  4. Букалов А.В.

    Букалов А.В. Участник

    Добрый день! Спасибо за проведенный эксперимент и за информацию о результатах. Некоторые комментарии:
    1) "Первый позитивный результат исследования состоял в том, что между экспертами возникла высокая (значимая) согласованность в теоретическом прогнозировании. Прошу Андрея Парфенова уточнить, какая именно (сейчас не оказалось под рукой цифровых данных). Несколько выше согласованность проявлялась в рамках факторно-аналитической модели (по полюсам факторов), чем по отдельным типам. Но ряд наших экспертов, которые участвовали и в том, и в другом виде прогнозирования, оказались вполне успешными и там, и там. Если 16 типов спроецировать на 4 факторные оси, то противоречий в прогнозах между сторонниками разных моделей НЕ было".

    Собственно, отсутствие противоречий указывает на то, что изучались реальные объекты со стабильными прогнозируемыми объективными, а не выдуманными характеристиками. Это автоматически подразумевает наличие внутренней и закономерно проявляющейся структуры этих изучаемых объектов. В соционике такая структура обычно описывается психоинформационной моделью психики - моделью А или ее модификациями. Но ничто не мешает нам расширить такую модель, сделать ее комплексной/синтетической для охвата и факторно-параметрической модели, Big Five, и др. Об этом я уже делал доклады на последних конференциях по соционике.

    2) "1) Методика типирования по свободным описаниям объектов (в варианте ДИАФОРЫ прежде всего) не сработала на прогнозирование продолжительности онлайн-тренинга семантической памяти, а также показала низкую согласованность в работе независимых экспертов-диагностов (одним и тем же испытуемым эксперты приписывали разную продолжительность тренинга)."

    Это естественно, поскольку для прогнозирования поведения человека в столь специфическом виде деятельности эксперту нужны какие-либо опытные данные или хотя бы некие основательные теоретические соображения. Я об этом писал перед началом эксперимента. Поэтому неудивительно, что в условиях полной неопределенности эксперты просто исходили из из собственных априорных предположений. При том, что в соционике накоплена богатая статистика по связи типов и шкал с различными видами деятельности, профессиями, и т. д.

    3) "2) С помощью опросника и экспертного прогноза выявлена невысокая, но значимая связь продолжительности тренинга с комбинацией только двух факторов, описывающими 16 типов Юнга-Аугистинавичюте. Это факторы "логика" и "рациональность". Данный положительный результат проще интерпретировать в терминах факторно-параметрической модели, хотя некоторые эксперты предлагают его интерпретировать в терминах "типологической соционической модели".
    Уточним: факторы, а точнее шкалы Юнга не описывают типы информационного метаболизма, а являются частным наблюдаемым проявлением свойств только первых двух функций их структуры, вообще-то состоящей не из 2-х, а из 8 психических функций информационного метаболизма. Подобно тому, как форма кузова не описывает всю машину в целом, но является индикатором ее марки ("Вольво", "МАЗ", "ЗИС", "Мерседес", "Феррари"), и др., и определенного функционала. Но как эта машина устроена внутри - салон, двигатель, его мощность, и пр. - форма кузова не показывает. Другое дело, если у нас есть технический паспорт, показывающий корреляцию формы кузова с ее внутренней конструкцией. Именно в этом смысле шкалы обычно используются для диагностики соционического типа. Хотя их функционал, семантика сам по себе позволяет уже решать ряд общих задач. Поскольку чтобы куда-то поехать, не всегда обязательно копаться в двигателе. Поэтому сочетания шкал также активно используются в соционике для определения некоторого сектора видов деятельности. Например по нашим данным, большинство главных инженеров на предприятиях - это рациональные экстраверты - поскольку такой сотрудник должен следовать производственным планам и при этом быть "человеком за все", то есть всеядным, как экстраверт. При этом внутри этой группы из 4-х типов уже прослеживается своя иерархия. См. Карпенко О. Б., Букалов А. В.СОЦИОНИЧЕСКИЕ ТИПЫ В УПРАВЛЕНИИ КОЛЛЕКТИВАМИ И В РАЗЛИЧНЫХ СФЕРАХ ДЕЯТЕЛЬНОСТИ https://www.researchgate.net/public..._management_and_in_various_fields_of_activity
    Поэтому некоторая корреляция с "логикой" и "рациональностью", полученная в эксперименте, вполне объяснима, поскольку эти факторы задают качества стабильности и пролонгированной, равномерной, последовательной работоспособности.

    4) Кстати, по связи соционических шкал и факторов Big Five совсем недавно вышла хорошая и доказательная публикация участников пробного эксперимента Романа Коваленко и Натальи Звонаревой. Вероятно всем было бы интересно с ней познакомиться:

    Коваленко Р.К., Звонарёва Н.А. — Исследование взаимосвязи между соционическим типом и моделью «большая пятерка» // Психолог. – 2021. – № 3. – С. 62 - 88. DOI: 10.25136/2409-8701.2021.3.35353 URL:
    https://nbpublish.com/library_read_article.php?id=35353

    (Хотя ссылка на переводчика Д. Лытова вызывает удивление - он так и не понял многое в соционике).


    5) "3) Выявлена ЗНАЧИМАЯ связь продолжительности тренинга с "плоским факторно-типологическим профилем" индивида по опроснику: более продолжительный тренинг показывают люди, которые не относятся ни к одному типу и не попадают на полюс ни одного из факторов. Эта связь оказалась статистически более значимой, чем связь номер 2. Можно по-разному интерпретировать такую статистическую связь, но сама по себе эта связь является одним из немногих твердых результатов нашего исследования."
    В качестве предположения: возможно эти люди демонстрируют баланс противоположных полюсов, и поэтому имеют больший внутренний ресурс и мотивацию для прохождения тренинга. С такими людьми, по нашему опыту, надо работать индивидуально.

    6) Полученные результаты и планы на будущее можно будет детально обсудить в рабочем порядке с другими специалистами по соционике на одном из круглых столов (может быть закрытом), сентябрьской 37-й Международной конференции по соционике (проходит онлайн): (18-23 сентября 2021 г., ежегодная, 37-я Международная конференция по соционике «Психоинформационные технологии, кадровый менеджмент и психология личности») https://socionic.info/ru/k/k37.htm , на которую мы приглашаем всех участников, или на онлайн-семинаре Международного института соционики.
    Последнее редактирование: 18 авг 2021
  5. Парфенов А.П.

    Парфенов А.П. Участник

    По факторам прогноз делали 6 экспертов. Результаты такие -- притом, что эксперты могли дать по каждому фактору +1 или -1 балла за прохождение тренинга:
    1) в среднем +0,67 балла за логику;
    2) +0,33 балла за сенсорику;
    3) +0,5 баллов за интроверсию;
    4) +0,67 баллов за рациональность.

    Все эти отклонения от 0 -- статистически значимые.

    По ТИМам прогноз похожий: у него корреляция +0,88 с прогнозом по факторам. Единственное заметное различие: по факторам имеется некоторый перевес в пользу сенсорики, а по ТИМам, наоборот, чуть больше экспертов считают, что преимущество есть у интуитов.
    Прокофьева Т.Н. нравится это.
  6. Степанов Р.А.

    Степанов Р.А. Активист

    Приветствую всех присутствующих!
    Во всяком случае, в следущем эксперименте нужно исправить те недочеты, что выявились по результатам предыдущего. Прокомментирую выводы критически.
    Здесь считаю важным уточнить: вовсе не обязательно, что проблема только в методике. Причин у неудачи может быть несколько, и их следует учитывать при планирововании следующего эксперимента.

    1. Прогнозирование могло не сработать потому, что дифференцирующим фактором в наших конкретных условиях мог оказаться не тип. В частности, те фильтры, которые мы невольно наложили на генеральную совокупность, получая выборку, скорее всего привели к существенной неравномерности распределения типов в выборке, вплоть до того, что в статистически значимом количестве в ней присутствует всего один тип. Нетрудно предствить типологию, в которой есть какой-нибудь такой: "Диванный испытатель технологий", "Халявщик", "Бессеребренник", "Любитель решать диафоры". Или тип, лучше других сочетающий в себе вышеперечисленные признаки.

    2. Низкая согласованность в результатах диагностики независимых экспертов может объясняться несовпадением предметов диагностики. Собственно, и наличие корреляции само по себе еще не доказывало бы совпадения предметов. Считаю, что в следующем эксперименте удобнее исходить из предположения, что у каждого эксперта - де-факто свой предмет диагностики. Ценность этого предмета может определяться, в частности, по его прогностической силе. В итоге каждому эксперту надо дать возможность доказать состоятельность своей типологии так, как это ему удобно.
    Мой прогноз был: "деловой логик". Позволяет ли факторная модель сделать такой прогноз? Ведь "Деловая логика" - это сочетание логики и динамики.
    Уточню: против прогноза "рационал логик" не имею ничего против. О рационалах я просто не взялся судить, так как не успел провести опрос по интровертам-рационалам - мало таких в окружении. Согласно результатам моего опроса, у деловых логиков "глубина проходения" обещала быть значительно выше, чем она была в среднем по нашей выборке. То есть, деловые логики попали в выборку в незначительном количестве.
    Какой подход адекватен - факторный или типологический, зависит от свойств предмета классификации. Например, если классификация включает факторы: пол, национальность, возраст, факторный подход напрашивается. Особенно, когда факторов в классификации много. Но соционический тип имеет особые свойства, такие что каждая комбинация первичных установок порождает содержательную комбинированную установку. И вся совокупность биполярных установок типа описывается абелевой группой 4-го порядка отн. оперции XOR (исключающее ИЛИ). Наличие признаков комбинированных установок позволяет значительно повысить надежность диагностики типа. Например, если мы умеем распознавать каждую из биполярных установок всего лишь в 3 случаях из 4, то в тех редких слчаях, когда все 15 установок образовали непротиворечивую комбинацию, вероятность попадания в истинный тип составляет 0,9977. Это позволяет коллекционировать эталоны для дальнейшего обучения.
    Кроме биполярных установок, есть содерджательные квадриполярные (т.н. "малые группы"), 8-полярные ("функции"), признаки отдельного комплексного типа. Модель, учитывающая все это, порядком богаче факторной, но ее применимость ограничена полносвязными комплексами.
    Таким образом, эксперимент не позволяет выявить, какой из подходов лучше. Лишь особенности предмета диагностики диктуют, какой подход подходит. Пока предмет неизвестен, следует применить типологический, но если связность предмета оказывается слабой, и он рассыпается несколько независимых подпредеметов, можно перейти на факторный подход как более простой.
    Здесь следует уточнить формулировку. Мы могли бы сказать "люди, которые не относятся ни к одному типу", только если бы измерили тип надежно. Но мы измерили его опросником, надежность которого не только неизвестна, но и не может быть определена (независимо от контретных условий) в принципе - из-за того, что тестируемые отыгрывают роли как им вздумается, и разные тестируемые в разных услвиях делают это по-разному. По моим оценкам, в нашем случае интегральный ответ дал отрицательную корреляцию с истинным интегральным типом по всем 4-м факторам.
    Применимость формулировки "люди, которые не относятся ни к одному типу" зависит также от предмета диагностики. Для моего предмата такая формулировка неприменима, так как заранее надежно установлено, что "один индивид - один тип".

    Итого, предлагаю следующую процедуру подготовки к основному эксперименту: Каждый эксперт доказывает состоятельность своей типологии так, как ему это более удобно, и представляет удобный для себя тест объективного измерения погрешности его диагностики. Эксперты, намеревающиеся принять участие в эксперимете, помогают друг другу в организации своих тестов.
  7. Парфенов А.П.

    Парфенов А.П. Участник

    Думаю, увеличивать выборку нужно -- ведь в предварительном эксперименте многие результаты оказались на грани статистической значимости.

    Ещё я думаю, что надо всё-таки взять не тест Горенко-Толстиковой, а какой-нибудь другой, более надёжный. Желательно, определяющий не только 4 юнговские дихотомии, но и другие ПР, чтобы была возможность определить их связь с поведением. Предлагаю тест Ивана Романова на 40 вопросов.

    В идеале, и диафор должно быть не 4, а больше, чтобы можно было более-менее надёжно по ним типировать. Но боюсь, что типируемые испугаются необходимости развёрнутого ответа на большое количество вопросов.
    Шмелев А.Г. нравится это.
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Руслан, здравствуйте.

    Не могу понять, а следовательно поддержать ваше предложение "Каждый
    эксперт работает по своей методике". Мне не понятно, как тогда технически
    обеспечить сопоставимость результатов? Или понять Вас надо так:
    Вы предлагаете сравнивать прогностическую эффективность экспертов
    только количественно - по корреляции с критерием, так? А какой критерий
    тогда? Напомню (и Вам, и Андрею Парфенову), что в пробном эксперименте
    мы пытались максимально использовать те данные, которые УЖЕ были
    собраны ранее: 1) продолжительность тренинга семантической памяти
    была установлена на этих испытуемых в 2019 года, 2) а опросник Горенко-Толстиковой
    большинство выполняли еще раньше - в 2017 году (!).


    С уважением.
    АШ
    Коклина С.Н. нравится это.
  9. Степанов Р.А.

    Степанов Р.А. Активист

    Александр Георгиевич, мое предложение относится не к основному эксперименту, а к подготовке к нему.
    Почему я считаю такую подговоку необходимой:

    а) Все измерительные инструменты, которыми мы пользовались в пробном эксперименте, имеют неопределенную погрешность.

    б) В предмете диагностики также нет определенности. И есть недвусмысленные признаки того, что преметы диагности у разных участников различаются, в частности:
    1. Отсутствие корреляции между экспертами в результатах диагностики.
    2. Нет согласия между участниками в вопросе, дискретно множество характеров, представленное типами, или непрерывно, полимодальна норма или мономодальна (16 или 1).

    в) Прогноз поведения не удался.

    В такой ситуации следует либо отказаться от экспертного метода и обходиться тестом Толстиковой, что бы он там ни измерял по факту, либо потребовать от экспертов показать, кто из них что умеет. Ведь в обществе эксперт - это человек, которому почему-то доверяют, причем, в случаях, когда объективные методы пасуют. А наши эксперты пока не дали повода для доверия. Поэтому надо дать им шанс показать себя с лучшей стороны. Кто будет более убедителен в своей демонстрации, к вердиктам того и будет больше доверия впредь.

    Все участники могут выступить и в роли представляющих себя, и в роли проверяющих других.

    В качестве примера процедуры такой проверки приведу ту, которую прохожу сам.
    Те информационные установки, которые я диагностирую, характеризуют индивида, то есть - целостность особи. Следовательно, установка остается постоянной в течение жизни и проявляется одна и та же в двух сигнальных системах. Эти особенности установки позволяют проконтролировать самосогласованность диагнозов эксперта, предлагая ему материалы двух видов: 1) фотографии разных лет, 2) тексты. О достаточно большом количестве идивидов, в перемешанном порядке. Так что бы эксперт не мог восстановить взаимную принадлежность материалов. От эксперта ожидается, что два его диагноза в отношении одного индивида совпадут.
    Проверяющие, зная принадлежность материалов, могут подсчитать, в какой мере частота таких совпадений превышает частоту сучайных совпадений диагнозов. (Частота случайных совпадений вычисляется для фактического распределения диагнозов. Алгоритм реализован, приведу, когда понадобится).
    Задача проверяющих - собрать необходимые материалы, "перемешать" и предоставить испытуемму в том или ином порядке.
    Возможно, со мной захочет пройти кто-нибудь еще. По опыту знаю, что соционики в массе своей уклоняются от прохождения такой проверки, ссылаясь: кто на невозможность определять типы по текстам, то на невозможность определять типы по внешности. Притом, что Аугустинавичюте определяла и так, и этак, о чем свидетельствует ее список знаменитостей с 500+ примеров, среди которых и писатели, о каких почти не сохранилось внешности, и эстрадные исполнители, чьи тексты не распространялись - только внешность в телевизоре.

    У другого эксперта может быть другой способ его проверки.