Вредные Советы по разработке Теста

Уважаемые коллеги,

Недавно Александр Георгиевич (@Шмелев А.Г.) поделился статьей

Николаева Н. Как сделать хороший тест: 10 правил (Дата обращения: 20.05.21)

Она меня поразила своей… безапелляционной глупостью, не побоюсь этого слова, и сразу же захотела ее здесь выложить, потому что такое скрывать – просто преступление. Я не могу ее назвать ее иначе, как «Вредные Советы». Один из любимых советов:
«10 вопросов всегда лучше, чем 15, а 7 — лучше, чем 10. Можно пойти еще дальше и сделать тест из двух вопросов — и даже из одного! Все зависит от цели и от того, что в вашем тесте главное, — не стоит прятать это слишком далеко».

И вспомнился мне яркий пример…Как Вы знаете в КИТТ прошел конкурс Авторов тестовых заданий «История Космонавтики» Была и я там внеконкурса, просто на интерес. Вот мое задание:

Найдите правильное соответствие «достижение – космонавт»:

=* самый длительный полет – Валерий Поляков
= самый возрастной космонавт – Пегги Уитсон
= самый длительный полет – Сергей Крикалев
= самый возрастной космонавт – Джерри Росс
_________
Звездочкой отмечен верный ответ.

Как Вы думаете, коллеги, способно ли данное задание верно отсеять тех, кто знает историю космонавтики, от тех, кто ее не знает?

Коллеги, привет! Видел данную статью, не за что ее критикуют - это рекомендации по разработке развлекальных тестов для маркетинга, не более того.
Есть такой жанр, и он сильно отличается от психометрического, в западной практике есть даже такой термин - квизы, и это совсем не равно тестами.
Ну а у нас тест - это общее слово. В этом мне кажется все противоречие и раскрывается.

Тут в параллельной теме, посвящённой соционике, обсуждалось, что существенные свойства человека тестами не измерить. У сожалению, у тестов действительно есть один глобальный недостаток - они требуют сознательного речевого отчёта. А вы попробуйте оценить таким образом соотношение нейромедиаторов, генетику, электролиты в ликворе, насыщение крови кислородом и т.п. Человек об этих своих свойствах просто ничего не знает, но именно они влияют на его поведение. И получается, что весь огромный пласт бессознательных явлений измерить тестами практически невозможно.

Виталий, привет,

Ну, да она говорит о развлекательных тестах. Только:
а) не говорит об этом в заголовке;
б) вводит в заблуждение читателя о том, что все тесты такие;
в) ничто не мешает ей распространить такую практику на все тесты.

А где же я сказала, что тестом можно измерить все и у него нет недостатков? Конечно, нельзя, и конечно, есть

Нигде. Я не об этом. Вот сейчас эксперимент по проверке возможностей соционики закончится и при положительном исходе придётся вносить изменения в Российский стандарт тестирования персонала. А тестовая парадигма уйдёт в прошлое.

Никита Александрович, давайте решать проблемы по мере их поступления

Это хороший комент, но нужно сделать одну важную оговорку - далеко не все тесты требуют сознательного речевого отчета. Многие требуют просто реакции на ситуацию, или решение задач, или просто выдать какую-либо креативную конструкцию. Так что все таки их потенциал пошире, но безусловно ограничен.

Виталий Владиславович и коллеги!

Спасибо Вам за очень верное замечание насчет "квизов".
Я много думал о том, почему в РФ профессиональный язык
в области тестологии развит так слабо (как, впрочем,
и сама тестология, одно с другим связано тесно).
Одному русскому слову "оценка" в английском соответствуют
7 разных слов (!), позволяющих различать нюансы. А у нас
даже различия между терминами "опросник" и "тест"
не приживаются.

Мой вывод такой. Сами РАЗРАБОТЧИКИ в этом виноваты.
Мы "приседаем" перед клиентом и не заставляем его себя
уважать! - Не хотим напрягать его головку введением новых
терминов.

Запомните: обилие терминов, богатый глоссарий - это первый
признак для дилетанта того, что предметная дисциплина
является РАЗВИТОЙ, что ее надо специально ИЗУЧАТЬ.

Ну а если в эту область приходит большинство "специалистов"
с самосознанием "временщиков" (быстро "срубить капусту
и смотаться"), то мы имеем... то, что имеем.

Ваш АШ

Что за путаница! Объектом психологии (и психодиагностики как раздела психологической науки) являются психические свойства, состояния и процессы и т.п. При чем тут нейромедиаторы и электролиты в ликворе?! Кроме того, и "бессознательные явления" как психические феномены уже давно (со времен Фрейда, а в России - Выготского, как минимум) не путаются с физиологией мозговых процессов. У нас что, снова наступил 19-й век? Да и не все тесты требуют речевого отчета. Есть тесты действия (т.наз. "объективные методы").

Коллеги, обсуждение стандарта перенесено отсюда в http://forum.ht-line.ru/threads/standart-testirovanija-est-li-takoj-normativnyj-dokument.3222/