Конкурс "Будущее психометрики" (БУПС-2016)

Коллеги,

спасибо, что Вы поддержали мою "угадайку".
Мы ее в проектной группе "Телетестинг" каждый год
практиковали, чтобы научиться понимать, как происходит
фильтрация изначальной группы (сокращение численности)
при столкновении с определенными требованиями.

Могу раскрыть секрет, что за сутки (примерно за сутки)
до дедлайна конкурсные материалы подали 15 человек из 76
записавшихся. Это 20 процентов только. Но... самое интересное
всегда происходит в последний день и час. Думаю, что
завтра человек 5 еще добавиться, а может быть и больше
(сегодня добавилось, например, четверо). Пока на каждый субтест
у нас приходится по 45 заданий. Это вполне подъемный груз для экспертных
оценок. С учетом ожидаемого отсева в 30-50 процентов
останется не много, но все-таки кое что останется.

Интересно заметить, что в прошлогоднем конкурсе КТО-2015
у нас было 22 человека. Очень близкая численность участников.
Правда, в прошлом году мы не ограничивали состав по возрасту
и статусу (только в этом году впервые назвали конкурс студенческим).

Ваш АШ

Мда....Мой оптимизм, как бы сказать помягче, превзошел сам себя Еще хотела 25 написать...Интересно, что больше мешает:
1) страх неудачи, неуверенность в себе;
2) проблемы мотивации;
3) неправильная планировка (не успел);
4)...?

Лень умственная мешает, которая маскируется под большую занятость.
Я бы даже не на четвертое место лень поставил, а на первое.

Обратите внимание, как мало производителей контента в нашей психологии
и как много потребителей этого контента. Это все от чего? - От
заржавелости умственного аппарата. Любой ведь аппарат от простоя
ржавеет...

Ваш АШ

Как говорится, все до меня уже придумали. И можно спокойненько так жить дальше. Александр Георгиевич, я почему-то лень написала, а потом стерла и написала "проблемы мотивации". Пожалела что-ли их?.. Все вспоминаю себя в студенческие годы и думаю, а пошла бы я на это? Если бы зарегистрировалась, то уже бы сделала эти задания. Это точно. Однако перед тем я должна была бы поверить, что за такое платят. И в себя еще...Не поверила бы, наверное...

Ну вот. Получилось на сегодня 30 участников.
Так что, Наташа, Вы ближе к факту оказались, чем мы с Юрией.
11 человек прислали материалы заблаговременно (это треть примерно).
8 человек прислали материалы 30 октября (в предпоследний день).
9 человек - в последний день 31 декабря.
И последние двое прислали после 24.00 уже 1 ноября (в ночь, но до 3.00).
Так что все российские стилевые традиции соблюдены в полной мере

Конечно, оргкомитет еще должен проверить соблюдение
формальных требований и условий конкурса в присланных материалах,
но пока 30 участников.

СПАСИБО ВСЕМ, КТО ОКАЗАЛ СОДЕЙСТВИЕ
В РАСПРОСТРАНЕНИИ ИНФОРМАЦИИ О КОНКУРСЕ
СРЕДИ СТУДЕНТОВ.

Ваш АШ


P.S.

Интересно, что 30 участников я лично с самого начала считал
оптимальной численностью.

Мне приятно, Александр Георгиевич И за студентов тоже

Коллеги,

пока я лишь кратко освещаю результаты конкурса.

Надеюсь, что все-таки секретарь оргкомитета Егор Дорохов (@Дорохов Е.А. )
напишет здесь более подробный отчет. Точнее - даст более
подробную интерпретацию таблице результатов, которую я здесь
прикрепляю (впрочем, через 2 дня я решил этот файл удалить из-за низкой востребованности этой информации).

Еще в начале декабря эта таблица была создана и разослана
по участникам (каждый мог увидеть свой результат по своему ИД-номеру),
но здесь - на форуме - осветить во время результаты конкурса мы, честно говоря,
немного забыли (просто навалились другие проекты).

1. Итак, тройка победителей фактически превратилась в четверку.
Почему? - Занявшей по рейтингу третье место Ефремовой Н.М.
присуждено почетное "четвертое место", так как она не выполнила
норматива по числу приглашенных участников тестирования,
зафисированного в требованиях конкурса к призерам (не менее 10 человек).

1. Милюхина А. В.
2. Георгиевская М. А.
3. Костанян Д. Г.
Почетное место:
4. Ефремова Н. М.

Вся четверка приглашена для награждения 26 декабря в офис SHL,
где для награждения собираются все учредители и спонсоры конкурса.
Вручать дипломы победителей будет Председатель Федерации Оценки
Персонала Татьяна Николаевна Хватинина.

2. Сколько качественных заданий удалось создать 30 участникам
конкурса? - Из 270 представленных заданий почти половина (139
заданий) прошли экспертный отбор и получили на выборке
численностью более 200 человек значение КД (коэффициента
дискриминативности) выше 0,3. Надо сказать, что выборка
испытуемых, приглашенных участниками конкурса, в общей
сложности составила почти 300 человек (287), но не все
эти испытуемые выполнили все 3 субтеста.


3. Каков разброс среди участников по числу удачных заданий?
- От 8 до 2. Больше всех (8 заданий) предложила третий призер Костанян.
За счет чего же ее обошли другие два лауреата? - За счет более
точной экспертной оценки. Ведь все 30 участников конкурса (каждый)
оценивали 270 заданий по трем критериям: качество, трудность
и оригинальность.

4. Из содержания прилагаемой итоговой таблицы легко видеть,
что 2 критерия, по которым подводились формальные итоги
этого количественного конкурса - Авторство и Экспертность -
оказались практически никак не скоррелированными (пирсоновская
корреляция сырых баллов оказалась равной - 0,12). Этот несколько
неожиданный результат может иметь двоякое толкование:

1) Авторская Креативность и ЭКспертная точность - две
совершенно независимые компетенции в работе по конструированию
психометрических тестов.

2) У начинающих разработчиков тестов (каковыми были ВСЕ участники
конкурса, средний возраст которых составлял немногим более 20 лет!)
эти две компетенции никак не помогают одна другой.


С уважением,
А.Г.Шмелев