Почему неподдельные тесты знаний стоят дорого?

Эту статью я адресовал коллегам в сети ВК.
Кто-то из строгих участников ЭСПП может ее воспринять как...
рекламу услуг Центра "Гуманитарные технологии". Ну тогда
я ее отсюда просто удалю и "всего делов", как говорится.
Но мне показалось, что здесь кроме ценовых расчетов-обоснований
содержится описание этапов КТЗ (конструирования тестов знаний),
о которых до сих пор большинство психологов имеют весьма
смутные представления.

Ваш АШ

=========================


Коллеги,

как бы нам отметить в некотором смысле знаменательное сегодняшнее событие? - Число моих друзей-подписчиков в сети Вконтакте перевалило, наконец, за 1 тысячу человек. Немного! Но и прошло не так много времени после переезда из Фейсбука (полгода). Но все-таки 1000 - это больше, чем было за все годы в группе TESTbyTEST на ФБ... Поэтому я решил отметить это событие... нет, не глотком шампанского, а написанием здесь достаточно значимой и большой статьи, которая кому-то может показаться профессионально полезной.

==========================


Каким бы словом назвать тесты, которые прошли серию испытаний и скорректированы на основе статистики? - Для этого случая существует термин "психометрические" тесты. Но его не всегда принимают люди, которые не знают никакой психометрики, а хотят получить просто тесты профессиональных знаний в своей области (для кассиров-операционистов, водителей-дальнобойщиков, оптовых продавцов, бухгалтеров, айтишников - и других массовых профессий). Я здесь в заголовке использовал эмоциональный термин "неподдельные", но смысл он отражает плохо. РАФИНИРОВАННЫЕ (то есть очищенные)? - Это одно из возможных слов, ибо в ходе пилотных испытаний такие тесты избавляются от субъективных, не работающих заданий - таких, которые реальные респонденты-испытуемые воспринимают иначе, чем авторы и эксперты. Еще варианты можете предложить - вместо "рафинированные"?

Как правило, пользователей удивляют наши ВЫСОКИЕ цены на разработку тестов знаний. Ибо с их точки зрения, платить больше 1000 (одной тысячи) рублей за одно тестовое задание (вопрос с вариантами ответов) - это нонсенс. Таким людям, увы, как правило, не удается объяснить за 5 минут и на пальцах (как они ожидают), почему наша цена, как минимум, в три раз выше (!). А почему?

Я очень грубо обрисую сейчас "сопутствующие расходы" в случае "аффинажного производства тестов знаний" (обогащающего и очищающего сырую руду - первоначальные авторские тестовые задания). Как правило, при привлечении САМЫХ компетентных авторов-экспертов из предметной области (и потому недешевых) за одно задание надо заплатить только автору в районе 1 тысячи рублей (можно поторговаться, но тогда автор... прогнется и будет работать "спустя рукава"). Иногда удается добиться компромиссной модели оплаты: 500 рублей за сырое задание и плюс 500, если оно же пройдет отбор. Но это тоже рискованная схема удешевления проекта. Вот на этом этапе (сыром авторском) многие ЗАКАЗЧИКИ считают, что "дело сделано". И... они кардинально неправы (!) Ибо после этого НАСТОЯЩАЯ работа только начинается.

Ибо за авторским этапом следуют еще, как минимум, два не менее дорогих этапа (а если говорить серьезно, то более дорогих, ибо они требуют технологической и организационной инфраструктуры по производству и испытанию тестов - таких вещей, хотя бы, как наш Клуб Испытателей Тестовых Технологий).

2) Экспертный этап. Мы стараемся на этом этапе, чтобы каждый автор независимо друг от друга оценивал авторские задания - продукцию своих "анонимных коллег", причем в особом дистанционном компьютерной режиме, которые ГАРАНТИРУЕТ независимость таких оценок, а следовательно их объективность. На этом этапе банк заданий сокращается, как правило, процентов на 10-20%. Бывает и до 50% дело доходит, но это значит, что Вы привлекли экспертов, которые не овладели реальными, не декларативными, а работающими профстандартами в своей области, или сама область ... крайне рыхлая и фактически слабо пригодная для применения метода тестов. На этом этапе, если его организовать по-хорошему, надо потратить еще примерно не менее 500 рублей на каждое задание, так как каждому из пяти экспертов, а это минимальная необходимая группа, надо оплатить за экспертизу одного задания хотя бы 100 рублей , то есть хотя бы 10% от авторской цены за это задание. За поддержку экспертного этапа (платформы, на которой работают эксперты) надо заплатить инженерам-айтишникам, менеджерам-операторам (это разные фигуры), а также понести накладные расходы, связанные с работой бухгалтерии и всяческой инфраструктуры еще примерно 500 рублей (огрубляю расчеты, чтобы было понятно). Получается, что авторский плюс экспертный этапы у нас уже съедают примерно 2000 рублей.

3) Пилотные испытания (апробация на реальных испытуемых). Откуда-то надо найти выборку испытуемых, которая моделирует реальный контингент тестируемых (но не будет разглашать содержание тестовых заданий). Это трудная организационная задача. За то, чтобы такие испытуемые соблюдали режим конфиденциальности, им обязательно надо платить. Ну, конечно, не как экспертам, но выборка в 50 человек (ну хорошо в 30 человек, хотя это уже маловато для анализа качества заданий) "съедает" еще примерно 500 рублей в пересчете на каждое задание. Почему 500? - А потому что если у нас минимальный банк в 100 заданий, а испытуемый в сеансе реально могут качественно пройти только 50 заданий, то на одно задания в случае выборки в 50 человек попадает только половина - 25 человек (знатоки статистики знают, что это уже меньшее 30, значит меньше минимума). Далее... Если 50 "испытателям" заплатили по 1000 рублей (ну совсем минимум), то на одно из 100 заданий падают затраты как раз в размере 500 рублей. Опять сюда добавляем расходы на "инфраструктуру" (айтишную и менеджерскую поддержку), так что получается, как ни крути, не менее 1000 рублей за задание на этом этапе.

Вот и получается, что при относительно полном цикле одно задание обходится не менее 3 тысяч рублей. Это просто себестоимость. Понятная арифметика? Причем 3 тысячи НЕ включают компенсацию за длительные (и очень утомительные) переговоры, в ходе которых приходится НЕСКОЛЬКО РАЗ УСТНО излагать то, что я здесь сейчас написал. Да это еще что! - Гораздо дороже услуга оказывается, если она включает еще и проведение массового тестирования на нашей платформе (!). А ведь если на чужой, то нужно адаптация теста на чужой платформе, а эта чужая, как правило, не поддерживает необходимые нам режимы тестирования, а именно: формирование "на лету" случайных вариантов, уравновешенных по тематике и трудности, из большого банка заданий - тот самый режим, который мы используем в ходе апробации теста на пилотной выборке, чтобы сохранить в режиме "неполной прозрачности" банк заданий.

ВАЖНО: на этапе апробации банк заданий сокращается еще на 25%, но бывает и на 40% (когда авторы работают первый раз, то именно 40% - более вероятное событие). Поэтому, чтобы создать 100 пригодных заданий, надо закладывать на авторском этапе заказ на 200 сырых авторских заданий.

На картинке Вы видите скриншот-отрывок из наших цен на сайте www.ht-line.ru. Увы, такой отрывок работает на посетителей нашего сайта главным образом ... как ДЕМОТИВАТОР. Только слушатели нашей Дистанционной ПсихоМетрической Школы, к тому же прошедшие практикум КТЗ ("Конструированию тестов знаний") после двух месяцев напряженных занятий начинают... немного разбираться что к чему. - А именно, почему отфильтрованная, дистиллированная (очищенная) вода стоит дороже, чем вода "из-под крана".

А теперь вопрос, вынесенный в заголовок. А что же такое "поддельные тесты"? - Авторские сырые задания могут быть при этом НЕ совсем плохими (!), хотя обязательно содержат "странненькие", то есть субъективистские вопросы и ответы. А в чем же самый большой риск? -Тот риск, который приводит ... к провалу всей затеи по проведению отборочного (или аттестационного) тестирования? - А возникает риск преждевременной утечки всего банка заданий. Если он попадает в руки потенциальным испытуемым, то тут и возникает ПРОФАНАЦИЯ, а не реальное тестирование. Непрофессиональные разработчики, как правило, не заморачиваются, чтобы этот риск сокращать... У них нет ни наработанной ментальной культуры (понимания этих рисков), а также необходимой технологической инфраструктуры для обеспечения таких гарантий. Так что ... все стоит своих денег, если Вы немножко вникните в ситуацию.

На самом деле, дело не в процентах затрат и т.д., дело в том, что пока придумаешь эти задания (а задание заданию - рознь), пока соберешь на экспертизу - 1 месяц работы по 4-12 часов в сутки, пока ее проведешь, проанализируешь результаты, соберешь повторно уже на апробацию -еще недели 3- -4 работы. А потом будет анализ результатов - 2 недели. Итого 10 недель. Время и силы должны оплачиваться достойно

В Правилах форума (1.8.1) написано: "Организация, предоставляющая форуму ЭСПП софтверную платформу и техническую поддержку, пользуется особой привилегией - получает право рекламировать на форуме свои платные продукты и услуги. В текущий момент такой организацией является Инновационный центр "Гуманитарные технологии"". Кажется, Вы их и писали.

Никита Александрович, спасибо, что Вы процитировали этот пункт Правил.
А как Вы прокомментируете данную мою публикацию по-существу?
Она содержит полезную некоммерческую информацию, с Вашей
точки зрения?

Содержательно это очевидные вещи для тех, кто работает в этой области. Но заказчик рассуждает иначе. Ему нужно оценить, насколько оправданной является покупка хороших тестов. С помощью этого теста он должен заработать не меньше, чем было потрачено на его покупку. Теперь представьте, что даже с помощью плохого теста он что-то заработает, а с помощью хорошего - заработает лишь немного больше. Тогда ему выгоднее самому придумать плохой тест и провести своими силами.
А ещё в Стандарте тестирования персонала есть такой пункт: "При высокой массовости применение тестов с валидностью 0,15 часто оказывается оправданным (рентабельным), так как применять более глубокие методы оценки в этих условиях экономически нецелесообразно". Самодельный (бесплатный) тест, сделанный без учёта психометрических нормативов, с высокой вероятностью будет давать подобную валидность.

Никита Александрович,

ДА! Вы совершенно правы. Большинство заказчиков так и рассуждает, как Вы написали.
Вы хорошо имитируете эту логику, и это уже... полдела.

И с этой логики Заказчика крайне трудно сбить. Частенько просто невозможно. Но... прошу
Вас обратить внимание на такой нюанс. Я ведь пишу не только про "психометрические
нормативы", я ведь пишу о такой трудно-уловимой реалии как ДОСТОВЕРНОСТЬ.
Классические психометристы до сих пор недооценивают, какой вклад проблема низкой
достоверности (защищенности от фальсификаций) вносит в эффективность тестирования.
А заказчики... они вообще не знают этого термина и соответствующего понятия.
Им ближе термин "информационная безопасность". В результате не осмысляется риск,
связанный с тем, что после первой тестовой сессии ВСЕ убеждаются, что тестирование
превратилось в профанацию. Это больно бьет по репутации Заказчика, но... он этого
не понимает. Ему кажется, что можно один раз "снять урожай", а потом.. неважно.

ВАЖНЫЙ ТЕЗИС:

Что провоцирует (подталкивает) людей к тому,чтобы они начали стараться
"обманывать тест"? - В том числе зримые признаки,что в самих заданиях
имеются "плюхи", явные ошибки, что сам Заказчик относится к этому несерьезно.

Кроме того... проблема тесно связана с ожидаемой массовостью (тиражеспособностью)
разрабатываемого теста. В некоторых случаях оправдано тщательно подготовить
тестирование, когда намечается протестировать сотни людей (это значимые для
компании люди или.. для целой отрасли). В другом и тысячи не играют роли,
но сыграет тираж в десятки тысяч (!).

Ваш АШ

И еще. Я банально забыл написать то, что я много раз уже озвучивал
в разных ситуациях и в письменном виде тоже (и, в частности, в книге
"Практическая тестология"). Привлекая неопытных
авторов и пренебрегая апробацией тестов, Заказчик очень часто
рискует испытать РАЗОЧАРОВАНИЕ из-за... слишком трудных тестовых
заданий. Нередко это приводит к резкому усилению явных или скрытых
протестов от тестируемых. Неопытные авторы, как правило, создают
задания с высокой трудностью, а выясняется это уже поздно - в процессе
массового применения. Сколько раз в ВУЗах и других организациях
известны случаи "отказа от метода тестов" на почве нелепых фактов...
"больше половины неудовлетворительных оценок".

Ваш АШ