Конкурс авторов тестовых заданий "КТО-2015"

Коллеги, рад завершению экспертного этапа конкурса. Сил организаторам для подведения итогов. Задания были разные: есть очень оригинальные, красивые задания, в некоторых понравилось содержание. Часть заданий, на мой взгляд, были ужасно нудными, что резко сказывалось на мотивации прорешать их с большим усердием. Часть заданий мне вообще не понравились, а некоторые из них противоречивы в плане содержательной валидности. Встретились задания, содержащих два правильных ответа. Как всегда, проходил субтесты уже после работы, когда уровень работоспособности и внимания не столь высокий, как мне этого хотелось. Конечно, это могло повлиять на мой индивидуальный результат. В среднем уходило до 1,5 часов на блок. Спасибо организаторам и самим участникам. Надеюсь, что все оценивают свое участие с точки зрения полезного опыта. А призовое место это больше вознаграждение за этот опыт

Точно, Юрий Александрович! Уже очень хочется узнать результат и понять, где допустила ошибки

Кстати, тот опыт с 47%-ми заставил крайне внимательно проходить задания и сильно снизил скорость, но, надеюсь, повысил качество.

С интересом жду оглашения результатов конкурса. С особой ответственностью я отнеслась к заданиям блока "нумерический интеллект", как и обещала Александру Георгиевичу. Некоторые формулировки заданий этого блока были сформулированы не корректно с математической точки зрения (например, форма записи смешанной дроби). Все это отражено в моих комментариях.

К сожалению, я была вынуждена оценивать задания за один день. А после того, как я попробовала прервать сеанс и часть результатов с комментариями не сохранилась, мне пришлось прерываться не выходя из своего виртуального кабинета (поэтому временные показатели прохождения теста в моем случае не являются валидными).

У меня была следующая проблема. Я прервал прохождение теста в один день на одном компьютере, а возобновить хотел в другой день на другом. И пришлось проходить заново. Не знаю, какой из этих двух факторов (новый день, другой компьютер) сыграл решающую роль.

Никита, у меня была схожая проблема и также результаты сбросились.
Причем не было особой разницы через сколько я возобновляла сеанс (если было больше 40-50 минут, то результаты сбрасывались).
Поэтому почти каждый субтест перерешивала заново

С Уважением,
Виктория Дихорь

Инна Николаевна, согласна с Вами, что усталость к концу субтеста дает о себе знать и чувствуется, что внимательность, сконцентрированность и замотивированность уже не те.
Я спасалась мини-зарядками и чашечкой чая: каждые 30 вопросов делала перерывчик минут на 15-20.

С Уважением,
Виктория Дихорь

Уважаемые коллеги, добрый день! Попробую пролить свет на то, что могло происходить (перерывы в тестировании, другой компьютер). Система HT-LINE для режима тестирования предусматривает рассылку индивидуальных приглашений на прохождение тестирования. Ссылка - разовая, если она активизирована на одном ПК, на другом она не сработает. Второй момент: после активации ссылки она действительна в течение 3 суток, это означает, что приступить к тестированию после активации ссылки можно в течение этого периода. (Активация - клик по ссылке, даже без прохождения тестирования). Третий момент, бывает, что сеанс тестирования прерывается, если в этот момент последние изменения не попали в систему, то они пропадают. Обмен данными происходит от 1,5 до 3 минут. Восстановление сеанса возможно (кроме тестов с ограничением по времени) , и для восстановления потребуется специальное действие администратора на отправку письма с ссылкой на восстановление. Поэтому всегда рекомендуется проходит тестирование от начала до конца. В случает экспертизы тестовых заданий - вероятно в будущем потребуется еще более дробно делить на порции, однако надо спросить у А.Г.Шмелева и у Т.А.Пресновой , насколько это методически корректно.

Ирина Анатольевна, я пробовал всегда с одного компьютера. Один блок мне пришлось проходить сначала, вне зависимости, что еще 3 суток не прошло после прерывания тестирования.

Хочу обратить внимание, что экспертизу можно проводить в два этапа: 1) само тестирование (участник в роли испытуемого) 2) пошаговый просмотр заданий и написание комментариев (экспертная роль). Не знаю, насколько корректно, но до 2 этапа следует "допустить" только задания, которые лучше работают.

Ирина,

спасибо за Ваши разъяснения. Но хотелось бы заметить, что в нем проявилась определенная инерция того понимания онлайн-тестирования (и онлайн-экспертизы), которое формировалось много-много лет - без личной страницы участника. В этом году эксперты имели доступ к своим четырем заданиям (тестам) со своей личной веб-страницы. Таким образом, они не имели дела с одноразовой ссылкой. Поэтому и механизм восстановления (продолжения) сеанса должен был бы стать иным, более гибким и учитывать этот факт и поддерживать возможность восстановления сеанса с другого компьютера (просто по ИД-номеру пользователя-эксперта), но этого усовершенствования самого модуля тестирования мы еще не добились. БОлее того, кажется, что конкурс и объемные банки заданий позволили впервые осознать эту проблему отчетливо. Пока же при смене пользователем IP-адреса продолжение начатого сеанса оказывается технически невозможным... Если только не "колдовство" над незавершенными протоколами со стороны нашего админа. ОБ этом Вы написали как раз, за это спасибо.

Ваш АШ

Пройти тестирование без прерывания сеанса было бы для меня тяжело (около 90 заданий в блоке "нумерический интеллект"). Согласна с тем, что хорошо бы разделить задачи для экспертов.
1. Прохождение тестирование само по себе. (Может быть я не права, но со своей стороны предложила бы вот что: воссоздать для экспертов те временные ограничения по времени, которые планируются для респондентов. Коллеги уже писали о том, что часть заданий были слишком легкие, но ведь в ситуации лимита времени все меняется!)
2. Экспертиза заданий теста.

Дорогие коллеги - Юрий и Анастасия!

Ваше предложение разделить работу эксперта на "два прохода" заслуживает внимания.
Существующий "однопроходный вариант" родился довольно-таки давно - еще в 90-е годы
в контексте "Олимпиады ТЕЛЕТЕСТИНГ". Он казался тогда правильным, ибо
требовал от эксперта лишь однажды вникнуть в смысл задания... Собирать
данные от реальных испытуемых тогда было делом не простым (к тому же
требовалась секретность новых заданий до проведения самой олимпиады),
поэтому для выравнивания вариантов по трудности не было другой альтернативы
кроме экспертных оценок трудности. Но не этого главное: эксперты замечали
"со стороны" некоторые смысловые дефекты, которые ускользали от авторов.
Нередко это оказывались поправимые дефекты (хотя чаще встречаются непоправимые
и задание приходится просто "отбраковывать" - еще до эмпирической его
апробации на испытуемых).

Интересно, что в 90-е годы экспертам приходилось для выполнения экспертизы
за компьютером ... приезжать в наш центр физически (еще не было возможности
это предложить "на дому в режиме онлайн"). Эксперты, как правило, одолевали
до 200 заданий за один раз(!), сознательно выделяя на это полдня (но им,
разумеется, устраивали чаевые перерывы или перекуры не раз).

Дома в режиме онлайн в наше время сосродоточиться на такой
продолжительной единственной задаче О-ОЧЕНЬ трудно, почти невозможно

Ваш АШ

Полностью согласна!..

Александр Георгиевич,
я исходила из того, что сервис сбора данных - М-тесты (с функцией экспертизы тест.заданий) - это база, а ЛС эксперта в Интеграторе - удобно интегрирует 4 ссылки "("Выполнить") для 4 тестов. Если эти "выполнить" - были одноразовыми, то все, что я описала - имело место быть.

Но, похоже, было несколько сочетанных факторов. Поэтому согласна, что нужно доработать возможность продолжения прерванного сеанса экспертиза с того места, на котором было прервано, если это еще не реализовано.

Дорогие коллеги, мы публикуем результаты конкурса!

Как мы и обещали, имена призеров мы публикуем в открытом доступе, здесь, на форуме. И количество призовых мест было расширено оргкомитетом конкурса до семи.

Итак, вот они, наши победители:

1/2 место: Щекутьева Ирина Сергеевна (г. Москва)
1/2 место: Тукачев Юрий Александрович (г. Екатеринбург)
3 место: Колосов Алексей Васильевич (г. Москва)
4 место: Гаврилова Анастасия Геннадьевна (г. Москва)
5 место: Мезенцева Алена Сергеевна (г. Москва)
6 место: Новгородова Ксения Андреевна (г. Москва)
7 место: Свириденко Инна Николаевна (г. Екатеринбург)

Поздравляем!

Первое и второе место разделили Юрий Тукачев и Ирина Щекутьева, набрав по 29 баллов. Поэтому призовой фонд первого и второго места мы делим ровно пополам (Юрий и Ирина получат по 20 000 руб.). Для призеров, занявших третье место и далее, все суммы остаются прежними. Дорогие победители, в ближайшем времени мы свяжемся с Вами и обсудим детали получения призов.

К этому сообщению я прикладываю файл, в котором приведены баллы всех участников. Имена участников, не занявших призовых мест, заменены шифрокодами. Свой шифрокод Вы можете узнать на Вашей личной странице автора: он указан в правом верхнем углу страницы, под Вашим ФИО, "Личный №...".

Помимо этого для каждого автора создан индивидуальный файл с информацией обо всех созданных им заданиях (какие ответы выбирали эксперты, как они оценили качество, трудность и оригинальность каждого задания). Так что каждый участник сможет не только проверить правильность подсчета его конкурсного балла, но получить для себя полезную содержательную информацию. Ждите сегодняшнюю рассылку!

Благодарим всех участников конкурса за творческую работу и старание! Было тяжело, но интересно!

Коллеги, поздравляю искренне с оглашением результатов!

Победители молодцы!
Со своей стороны отмечу, что счастлива в такой замечательной команде занять почетное 10 место!

Подскажите а будут ли издаваться как-то задания, которые отобраны? Хотела бы заказать несколько экземпляров

С Уважением,
Дихорь Виктория

Уважаемые коллеги!

Спасибо всем участникам конкурса! Поздравляю призеров! Выражаю слова благодарности оргкомитету конкурса!
Для меня это уже 2 участие. 1е место было у меня в конкурсе авторов тестовых заданий по теме "Оценка персонала" в ноябре 2008 года.

Приятно видеть Екатеринбург среди призовых мест.

Поздравляю победителей!
Отдельно поздравляю с удачным проведением конкурса команду организаторов - знаю, что им было нелегко, и то, что конкурс состоялся - их большая заслуга.
Очень рада почеиному третьему месту студенту вуза, где я преподаю