Мини-конференция TESTbyTEST "Экспертная валидизация тестовых заданий"

А вероятность, что эти три или пять или семь не выберут "согласованно" неправильный ответ? Помню задание из ЕГЭ по литературе, которое попало моему сыну и за которое срезали несколько баллов, хотя кандидаты филологических наук, деканы факультетов языковых, профессиональные филологи, лингвисты и пр. выбирали из этого задания разные варианты ответов. Что хотеть от школьника? Но что, если эксперты согласованно ошиблись?

Уважаемый Валериан, соционики еще не пытались сравнивать между собою критерии, но они понимают, что можно вполне эти стандарты выработать. Именно таким способом, как предложил Александр - отбором заданий и по сходству интерпретации. Тесты проверяют признаки, а они у всех социоников очень и очень похожие в основе. Те 10-30% расхождений можно найти и откинуть для создания единого теста.
Есть тесты, которые уже сейчас подходят на роль валидных тестов. Там все прозрачно и результаты вполне удовлетворительны. Мы ведь не ожидаем 100% сходимости результата теста с типом человека. Если расхождение в один признак, это хороший тест.

В соционике существует понятие, что эксперт всегда знает лучше и не ошибается так как тест. Но откуда это известно, никто не сравнивал показания теста с показаниями экспертов. Все может быть как раз наоборот. Человек может себя лучше оценить по тесту, чем эксперт по интервью.

Получается, что у экспертов (как и у респондентов) должна быть "тематическая" инструкция? Либо какие-то утверждения могут относиться к разным шкалам? Щас сама себя запутаю этими вопросами.

Александр,
вопрос объединения авторов для работы над тестом не простой. Но это можно сделать таким образом, как Вы описали в преамбуле. Можно взять из тестов разных авторов утверждения, которые одназначно подходят тому или иному критерию. Сформировать группу экспертов. Кто-то с удовольствием возьмется оценивать. Есть сознательные соционики, которые понимают, что для прогресса необходимо работать на валидный соционичекий тест. Чем больше соберем экспертов, тем лучше. В процесе кто-то отсеется. Либо из непрофессионализма ( несогласованности) либо по другим причинам. Я не вижу тут проблемы. Социоников пруд пруди.

Александр Георгиевич, а возможна ли такая ситуация, когда результаты экспертной валидизации теста расходятся (не соотносятся) с другими его валидизациями?

Что касается сравнения показания теста с оценками экспертов, то могу только предположить, что тест оценивал стандартные критерии, а эксперты ориентировались на многие разные факторы и в том числе на методику. Другое дело у меня. Методика переложена на тест. Тут проще сравнивать результат диагностики с результатом теста. А что у них сравнивали, я не знаю.

Александ Георгиевич, спорить я не планирую.
Не совсем поняла, о чем речь?
Похоже, что не о наших исследованиях, а о ком-то другом.

Поддерживаю.

Почему еще некоторые соционики против теста? Потому что их технологии/методики не стандаратизированы. Их можно понять. Они Вас лучше методике своей обучат, чем научат пользоваться тестами и интерпретировать их результаты. И эти авторы как раз и тянут соционику назад в кустарные методы диагностики. И к сожалению...мы говорим с Вами не о каких-то малоизвестных авторах, а о тех, кто претендует на самые авторитетные и научные организации, те, кто идут впереди....паровоза.

Вот по ходу нашла видео на постнауке по поводу псевдоэкспертности: "В каком контексте возникает фальсификация экспертности? Каким образом создается экспертное знание? И какие существуют правила экспертного интервью и методы его анализа? Об этом рассказывает кандидат социологических наук Дмитрий Рогозин." Т.е. эксперты не должны знать о том, сколько ещё экспертов анализируют тест, и кто именно эти эксперты? И, как в суде присяжных, не обсуждать между собой и с автором до "вынесения вердикта"?