Экспертный назидательный онлайн-опрос про ЗНР (задания на ранжирование)

ПО МОТИВАМ ОПРОСА-ГОЛОСОВАНИЯ

В первом конкурсе "Лидеры России" все задания по Истории и Географии в тесте ТОЗ были построены на ранжировании. Надо было проранжировать 10 исторических событий на хронологической шкале. Или проранжировать города по численности населения, субъекты РФ по площади и т.п. Это было сделано, в частности, с такой целью, чтобы сократить возможности для читинга (ведь дистанционный этап фактически не предусматривает эффективного контроля за участниками), а также выявить лиц, которые подозрительно безошибочно ранжируют все 10 объектов.

НО... замысел не всеми (мягко говоря) был понят. В соцсетях прозвучали многочисленные протесты: Вы заставляете нас - ЛИДЕРОВ - учить какие-то малозначимые города, реки, горы, годы жизни каких-то малозначимых князей, путешественников и т.п.

Людям просто-напросто не хватало времени, чтобы почитать разъяснения о том, как считаются результаты ранжирования. Со школьных лет каждое тестовое задание привыкли трактовать как бинарное (по вкладу в тестовый балл): есть совпадение с ключом, значит 1, нет совпадение - значит 0. Поэтому-то было невдомек, что малозначимые реки и горы НЕ влияют серьезно на результат, что малозначимая ошибка в одно ранговое место (перестановка соседних объектов) тоже НЕ влияет серьезно, что значимый вклад в результат дают только всем известные объекты, которые просто надо уметь ВЫЧЛЕНИТЬ из списка, не проворонить и правильно разместить на экране... А ведь задание в таком виде моделировало на самом деле "реальную жизнь", которая требует все время работать по вычленению значимой информации на фоне преобладающей малозначимой.

Увы, отсутствие в стране тестологической культуры заставило нас в конце концов просто отказаться от заданий на ранжирование. До сих пор важней бывает от чего-то остроумного просто отказаться, так чтобы...просто было поменьше разных скандалов.

Александр Георгиевич, Вы потом правильный ответ скажите? Правда, Вы уже почти его прямым текстом сказали

Выбрал вариант "другой ответ" (хотя второй вариант тоже ведет к математически корректному, но, на мой взгляд, хуже воспринимаемому результату)

Я обычно использую такой алгоритм
Из числа ранжируемых элементов вычитается единица; обозначим результат k.
А потом уже суммируются (k - |Ri-Rкл|), где Ri = ранг респондента, Rкл - ключевой.
В случае совпадения ранга респондента с ключевым начисляется максимальный балл (k).
В случае, если ранг респондента окажется противоположен ключевому - ноль баллов.
В итоге результат выглядит более привычно для восприятия (чем ближе к ключу, тем выше суммарный балл).
На противоположном полюсе - ноль.

Вообще, всегда считаю все шкалы без исключения от нуля (что бы там авторы не предлагали...)
У такого варианта есть масса преимуществ

Констатин,

к сожалению, такую поправку,которая трансформирует расстояние в близость (сходство), которую Вы описали,
было трудно втиснуть в само голосование (ограничения на длину формулировок мы не можем снять в чужом движке этого форума).

Но на самом деле "сумма модулей разностей" - это как раз о том же самом, о чем Вы написали. Немного раскрываю карты, но ведь это не страшно, так как ... до этого пункта нашего обсуждения дочитают только самые любознательные и профессионально-мотивированные.

Ваш АШ

Коллеги,

я рад, что эта тема вызвала определенный интерес у коллег!

Переношу сюда отдельные реплики из группы TESTbyTEST на Фейсбуке.

АШ


Максим Леви А как насчёт ПДО глубокоуважаемого товарища Личко? Выбрать от 1 до 3 подходящих из более чем полутора десятков утверждений, каждое из которых - целая большая жизненная проблема - это как? И всё это для подростков. Автор в своей столь же глубоко уважаемой книге сообщает, что результаты по тесту подтверждены клиническим опытом. Мы весьма охотно применяли бы эту методику (контент представляет значительный интерес), но способ предъявления стимулов ставит нас в тупик. Проблема вполне родственна той, что возникает с заданиями на ранжирование, только, кажется, ещё серьёзнее.
А вообще-то почему бы не вспомнить про объём кратковременной памяти, и для ранжирования не предъявлять более 7 пунктов?

• 
  Александр Шмелев Максим, Вы все-таки смешиваете в одну несколько разные проблемы и ситуации:
  
  1) Решение задания в "устной форме" - при предъявлении его на слух (вот тут включаются ограничения по объему памяти вовсю).
  
  2) Решение задания с большим количество информации на бланке (тут тоже ограничения по памяти еще работают сильно, ибо статистический текст на бумаге не помогает увидеть, а что же получается в итоге).
  
  3) Интерактивное задание на экране компьютера, когда респондент перемешает и тасует краткие формулировки и все время ВИДИТ, что у него получается на промежуточном этапе (вот здесь ограничения по объему оперативной-рабочей памяти не сильно влияют).
  
  Предложение: давайте переносить такие более углубленные обсуждения на ЭСПП, ибо здесь на ФБ... люди просто не читают слова и буквы, а смотрят картинки с котиками и другие карикатурки.
  
  Я повторил на ЭСПП эту тему и этот опрос.