1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Экспертный и ... назидательный онлайн-опрос про ЗНР (задания на ранжирование)

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 3 ноя 2019.

?

КАК ВЫ ДУМАЕТЕ, КАК ИМЕННО ПО ЗАДАНИЯМ НА РАНЖИРОВАНИЕ ПОДСЧИТЫВАЕТСЯ ВКЛАД В ТЕСТОВЫЙ БАЛЛ?

  1. Только при полном совпадении ответов респондента с правильными ответами засчитывается балл 1

    (войдите для просмотра числа голосов)
  2. Рассчитывается сумма модулей разности рангов респондента и ключевых рангов

    (войдите для просмотра числа голосов)
  3. Рассчитывается ранговая корреляция между ответами респондента и ключевыми ответами (рангами)

    (войдите для просмотра числа голосов)
  4. Не знаю

    (войдите для просмотра числа голосов)
  5. Другой ответ или комментарий (тогда напишите его в этой ветке)

    (войдите для просмотра числа голосов)
Можно выбрать сразу несколько вариантов.
  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    ПО МОТИВАМ ОПРОСА-ГОЛОСОВАНИЯ

    В первом конкурсе "Лидеры России" все задания по Истории и Географии в тесте ТОЗ были построены на ранжировании. Надо было проранжировать 10 исторических событий на хронологической шкале. Или проранжировать города по численности населения, субъекты РФ по площади и т.п. Это было сделано, в частности, с такой целью, чтобы сократить возможности для читинга (ведь дистанционный этап фактически не предусматривает эффективного контроля за участниками), а также выявить лиц, которые подозрительно безошибочно ранжируют все 10 объектов.

    НО... замысел не всеми (мягко говоря) был понят. В соцсетях прозвучали многочисленные протесты: Вы заставляете нас - ЛИДЕРОВ - учить какие-то малозначимые города, реки, горы, годы жизни каких-то малозначимых князей, путешественников и т.п.

    Людям просто-напросто не хватало времени, чтобы почитать разъяснения о том, как считаются результаты ранжирования. Со школьных лет каждое тестовое задание привыкли трактовать как бинарное (по вкладу в тестовый балл): есть совпадение с ключом, значит 1, нет совпадение - значит 0. Поэтому-то было невдомек, что малозначимые реки и горы НЕ влияют серьезно на результат, что малозначимая ошибка в одно ранговое место (перестановка соседних объектов) тоже НЕ влияет серьезно, что значимый вклад в результат дают только всем известные объекты, которые просто надо уметь ВЫЧЛЕНИТЬ из списка, не проворонить и правильно разместить на экране... А ведь задание в таком виде моделировало на самом деле "реальную жизнь", которая требует все время работать по вычленению значимой информации на фоне преобладающей малозначимой.

    Увы, отсутствие в стране тестологической культуры заставило нас в конце концов просто отказаться от заданий на ранжирование. До сих пор важней бывает от чего-то остроумного просто отказаться, так чтобы...просто было поменьше разных скандалов.
    Последнее редактирование: 4 ноя 2019
  2. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Александр Георгиевич, Вы потом правильный ответ скажите? :) Правда, Вы уже почти его прямым текстом сказали
    Шмелев А.Г. нравится это.
  3. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Выбрал вариант "другой ответ" (хотя второй вариант тоже ведет к математически корректному, но, на мой взгляд, хуже воспринимаемому результату)

    Я обычно использую такой алгоритм
    Из числа ранжируемых элементов вычитается единица; обозначим результат k.
    А потом уже суммируются (k - |Ri-Rкл|), где Ri = ранг респондента, Rкл - ключевой.
    В случае совпадения ранга респондента с ключевым начисляется максимальный балл (k).
    В случае, если ранг респондента окажется противоположен ключевому - ноль баллов.
    В итоге результат выглядит более привычно для восприятия (чем ближе к ключу, тем выше суммарный балл).
    На противоположном полюсе - ноль.

    Вообще, всегда считаю все шкалы без исключения от нуля (что бы там авторы не предлагали...)
    У такого варианта есть масса преимуществ
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Констатин,

    к сожалению, такую поправку,которая трансформирует расстояние в близость (сходство), которую Вы описали,
    было трудно втиснуть в само голосование (ограничения на длину формулировок мы не можем снять в чужом движке этого форума).


    Но на самом деле "сумма модулей разностей" - это как раз о том же самом, о чем Вы написали. Немного раскрываю карты, но ведь это не страшно, так как ... до этого пункта нашего обсуждения дочитают только самые любознательные и профессионально-мотивированные.

    Ваш АШ


  5. Беребин М.А.

    Беребин М.А. Активист

    Коллеги!
    Думается, что вариант "Только при полном совпадении ответов респондента с правильными ответами засчитывается балл 1" может быть использован в случае принятия всей иерархии рангов оценок объектов в качестве единственного ответа (т.е. буквальное совпадение ранжирования объектов с "идеальной раскладкой" оценивается в 1 балл, в любом ином случае - оценка "0" ). Наверное, такой прием можно использовать с целью " также выявить лиц, которые подозрительно безошибочно ранжируют все 10 объектов" за счет внесения дополнительной опции - расчет корреляций иерархий рангов, мерой (критерием сравнения) в которой может быть либо значение такого коэффициента в рандомизированной выборке, либо аналог процедуры кросспроверки, применяемый в дискриминантном анализе.
    МА
    Тукачев Ю.А. нравится это.
  6. Беребин М.А.

    Беребин М.А. Активист

    И потом, иногда идеальное ранжирование вовсе не пример читинга. Возможно, в обработчик можно заводить алгоритмы начисления дополнительных баллов в пользу вероятных "гениев", например, в каждом случае "ошибок" ранжирования i-х объектов в пределах 1 места (например, Ni=7 ; Ni+1=8 вместо "ключевого" Ni=8 ; Ni+1=7) классическое ∑|Rисп-Rкл| по всей выборке оценок близится к "0" (см. реплику "малозначимая ошибка в одно ранговое место (перестановка соседних объектов) тоже НЕ влияет серьезно" ) , но сам факт появления таких несущественных рассогласований ("ошибок" позиций в иерархиях при оценке двух смежных (по ключу) объектов, особенно в отношении объектов второй половины/третьей трети контрольного списка) может свидетельствовать в пользу отсутствия умысла в действиях испытуемого. И. наоборот, такую же интерпретацию можно распространить в случае любого числа совпадения иерархий по первой трети/половине контрольного списка.
    Это, конечно, если нет ограничений в формировании базы знаний (логике вывода) на движке форума
    М.
    Последнее редактирование: 4 ноя 2019
    Тукачев Ю.А. нравится это.
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги,

    я рад, что эта тема вызвала определенный интерес у коллег!

    Переношу сюда отдельные реплики из группы TESTbyTEST на Фейсбуке.

    АШ


    Максим Леви А как насчёт ПДО глубокоуважаемого товарища Личко? Выбрать от 1 до 3 подходящих из более чем полутора десятков утверждений, каждое из которых - целая большая жизненная проблема - это как? И всё это для подростков. Автор в своей столь же глубоко уважаемой книге сообщает, что результаты по тесту подтверждены клиническим опытом. Мы весьма охотно применяли бы эту методику (контент представляет значительный интерес), но способ предъявления стимулов ставит нас в тупик. Проблема вполне родственна той, что возникает с заданиями на ранжирование, только, кажется, ещё серьёзнее.
    А вообще-то почему бы не вспомнить про объём кратковременной памяти, и для ранжирования не предъявлять более 7 пунктов?

    • Александр Шмелев[​IMG] Максим, Вы все-таки смешиваете в одну несколько разные проблемы и ситуации:

      1) Решение задания в "устной форме" - при предъявлении его на слух (вот тут включаются ограничения по объему памяти вовсю).

      2) Решение задания с большим количество информации на бланке (тут тоже ограничения по памяти еще работают сильно, ибо статистический текст на бумаге не помогает увидеть, а что же получается в итоге).

      3) Интерактивное задание на экране компьютера, когда респондент перемешает и тасует краткие формулировки и все время ВИДИТ, что у него получается на промежуточном этапе (вот здесь ограничения по объему оперативной-рабочей памяти не сильно влияют).

      Предложение: давайте переносить такие более углубленные обсуждения на ЭСПП, ибо здесь на ФБ... люди просто не читают слова и буквы, а смотрят картинки с котиками и другие карикатурки.

      Я повторил на ЭСПП эту тему и этот опрос.
    Тукачев Ю.А. нравится это.
  8. Беребин М.А.

    Беребин М.А. Активист

    Александр Георгиевич!
    К упомянутому Вами
    "А как насчёт ПДО глубокоуважаемого товарища Личко? Выбрать от 1 до 3 подходящих из более чем полутора десятков утверждений, каждое из которых - целая большая жизненная проблема - это как?" ..."
    и
    " Автор в своей столь же глубоко уважаемой книге сообщает, что результаты по тесту подтверждены клиническим опытом." есть ответ "заявителю " М.Леви в книге Л.И.Вассермана, О.Ю.Щелковой - "Медицинская психодиагностика", подтвержденный многочисленными разговорами с Э.Б. Карповой (она вместе с Б.В.Иовлевым и А.Е.Личко и др "бехтеревскими" коллегами создавали ПДО, ЛОБИ-ТОБОЛ и еще пару-тройка менее известных методик):
    Во-первых, такой вариант методик представляет собой специфический вариант ипсативных методик , реализуемых на основании оценки совпадения с "эталонными" модельными представлениями (фактически - особый вариант применения внешнего экспертного (в буквальном смысле - клинического) критерия валидизации.
    Во-вторых, они построены исключительно на определенных авторских классификациях-типологиях (т.е. часто на хорошей проработке конструктной и на относительно проблемной теоретической валидности) и фактически представляют собой достаточно специфический вариант реализации методик (в т.ч. компьютерных) в рамках т.н. "типологического подхода", в т.ч. в парадигме определение "точечного свойства". При этом в любых случаях оценки экспертами комбинаций подтипов (например, "мозаичность" подтипов акцентуации в рамках "допустимых " их комбинаций) вызывала большие трудности у экспертов (преимущественно - сотрудников Института Бехтерева ) в конце 90-х и начале 2000-х мы в рамках сотрудничества проверяли это EXPANом-2, с трудом добивались удовлетворительной согласованности почти только через экспертные совещания и "повторное прочтение ими трудов классиков"
    В третьих, поскольку там (в ПДО) как таковой нет процедуры ранжирования, а есть процедура фактически множественного выбора предпочтений из их лимитированного набора , то метрически такая процедура скорее всего относится к другим типам измерений (скорее - многомерному шкалированию, вероятно, на основе шкалы разностей) , что требует иной "математики".
    PS. С извинениями за "длинноты" и "исторические экскурсы", тема для меня сейчас актуальна...
    М
    Тукачев Ю.А. и Шмелев А.Г. нравится это.