1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Сложность и трудность ТЗ: бытовая и научно-профессиональная трактовка

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 1 дек 2019.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Здравствуйте, коллеги!

    Я комментирую здесь - на форуме ЭСПП - далеко не все "назидательные опросы", которые провожу в группе TESTbyTEST на Фейсбуке. Но этот мне показался заслуживающим внимания. Сам опрос и варианты ответов с набранной статистикой голосов показаны на скриншоте ниже.

    Получили редкий случай, когда большинство вообще не выбрало тот ответ, который я изначально сформулировал как правильный ответ (?!). Большинство (хотя и не великое по численности, но ощутимое по перевесу голосов) выбрало ответ, предложенный уважаемой Ириной Павловной Шкуратовой. Фейсбук самые популярные ответы автоматически ставит первыми (см. картинку).

    ОГОВОРКА: все, конечно, сделано не корректно на Фейсбуке с точки зрения требований к "чистому голосованию" (об этом я не раз писал). Ибо новые участники не должны, конечно, видеть, как распределились голоса ДО того, как они сами проголосуют. Поэтому мы должны сделать поправку, что эффект усилился из-за этого дефекта системы голосования (популистского формата голосования). Но тем не менее, несмотря на эту оговорку, самый частотный ответ нуждается теперь в особом внимании.

    Что случалось, почему такой, казалось бы, простой объективной статистический принцип измерения трудности как ППО (процент правильных ответов) не оказался более популярным ответом, чем "субъективная оценка испытуемым тестового задания"?

    Я ожидал, что с термином "сложность" будут... сложности (извините, за тавтологию), но рассчитывал, что с термином "трудность" таких сложностей не будет. Ошибся!

    Надо ли долго объяснять, что "эмпирико-статистическая трудность" (ППО) и "субъективная трудность" - это разные вещи? - По-моему, очевидно это! ХОтя бы потому, что испытуемому, который знает правильный ответ, тестовое задание (ТЗ) почти всегда кажется более легким, а испытуемому, которые НЕ знает правильного ответа, - более трудным. Так что на "субъективном уровне" (при субъективном взгляде) вообще не очень-то понятно, каким образом "трудность задания" можно измерить как некую объективную величину...

    У меня НЕТ у самого однозначной интерпретации причины - что же послужило причиной такого расхождения в ответах (у большинства со мной и примкнувшим ко мне меньшинством). Есть 2 версии. Хотелось бы пригласить коллег к их обсуждению и уточнению,чтобы мы получили больше ясности.

    1) Версия 1. Психологи чаще имеют дело на самом деле не с тестами на знание и способности, а с личностными опросниками, где вопросы не имеют фактически "правильного ответа", а имеется в лучшем случае ключевой ответ (в пользу высокого полюса шкалы), но можно выбрать любой. В этом случае понятие ППО вообще ускользает из фокуса внимания и остается в фокусе только "субъективная трудность". На этом фоне "сложность" уже начинает казаться более объективной величиной, для которой хотя бы у автора есть какое-то обоснование. Поясню: на самом деле тысячи (даже миллионы!) измерений степени соответствия между авторской оценкой сложности и эмпирической мерой трудности (ППО) показали, что связь этих двух показателей имеет совсем не такую высокую корреляцию... как это представляют себе сами авторы. Количество заданий в тестах знаний, по которым авторы попадают "пальцем в небо" *(на один балл мажут по минимальной трехбалльной шкале - легкое, среднее, трудное), нередко достигает более 50 процентов, но обычная мера - 30 процентов.

    2) Версия 2 (менее вероятная). Коллеги, выбравшие частотный ответ, предложенный И.П.Шкуратовой, вообще не ведают, что такое ППО как мера трудности тестового задания. Они исходят не из научно-профессиональных, а из бытовых представлений о трудности, которые вообще целиком субъективные, ибо статистика находится "за пределами обыденного сознания". Я бы вообще не стал особенно долго комментировать эту версию, так как она все-таки мне кажется менее вероятной, чем версия 1. Хотя... думается мне, что есть немало наших коллег, которые фактически в своем понимании этой проблемы, находятся где-то "между" версией 1 и версией 2 :(

    Что я бы еще со своей стороны хотел добавить в пользу различения СЛОЖНОСТИ и ТРУДНОСТИ. Как видим, многие разделяют мои представления, что эти вещи лучше было бы разделять, а не отождествлять, но наполняют это различение разным смысловым содержанием. СЛОЖНОСТЬ - это теоретическая мера, подобная понятию "масса" в физике. Мы ведь в физике Массу не можем непосредственно измерить, а измеряем только Вес и через него косвенно судим про массу. Но... есть несколько умозрительных (теоретических) операций ума, которая позволяют реконструировать, какова масса тела (через так называемый "удельный вес вещества", умноженный на объем, черз сопротивление среды в виде трения качения или силы выталкивания из воды и т.п.). Вот так и в психолого-педагогическом тестировании обстоит дело. "Сложность" - это некое авторское обоснование его априорных представлений о трудности. Они существенно корректируются после получения в психометрическом эксперименте (в ходе пилотного или стандартизационного тестирования) апостериорной информации - реальной информации о том, насколько много правильных решений дает представительная выборка, какова доля этих решений (чем ниже эта доля, тем выше трудность).

    ... Тут есть еще один аспект. Он связан с трудоемкостью ТЗ (или времяемкостью). Задания "на сложность", как правило, требуют на порядок (или даже на два порядка) больше времени решения, чем задания на скорость. Но это уже немного другой разговор. Не сегодня.

    Ваш АШ





    Опрос про сложность и трудность.jpg
  2. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    К моему сожалению, Вы не все их комментируйте. И даже задачки не все размещаете. :(Пишите здесь больше, пожалуйста. Я думаю, участникам форума будет интересно. И надеюсь, поддержат меня...
    Тарасенко Н.Н. и Шмелев А.Г. нравится это.
  3. Кисленко В.В.

    Кисленко В.В. Участник

    Александр Георгиевич!
    Позвольте выразить своё, субъективное, дилетанское понимание?
    1. Касаемо трудности. Вот, в этих Ваших словах, по-моему, вся суть проблемы:
    "Надо ли долго объяснять, что "эмпирико-статистическая трудность" (ППО) и "субъективная трудность" - это разные вещи? - По-моему, очевидно это! ХОтя бы потому, что испытуемому, который знает правильный ответ, тестовое задание (ТЗ) почти всегда кажется более легким, а испытуемому, которые НЕ знает правильного ответа, - более трудным. Так что на "субъективном уровне" (при субъективном взгляде) вообще не очень-то понятно, каким образом "трудность задания" можно измерить как некую объективную величину..." При этом:
    а) да, "эмпирико-статистическая трудность" (ППО) и "субъективная трудность" - это разные вещи". Но! Они и относятся к совершенно разным вещам:
    - субъективная трудность - ОЦЕНКА испытуемым(и) самогО ТЕСТА;
    - а "эмпирико-статистическая трудность" (ППО - процент правильных ответов) - результат пост-обработки ответов протестированных. И по сути больше характеризует ПРОТЕСТИРОВАННУЮ ГРУППУ. В др. группе результаты могут быть, и наверняка будут - иными. Т.е. в большей степени это будет оценка не теста, а уровня подготовки тестовой группы.
    Но, разумеется, частично это будет и объективной оценкой теста - по асимптотическому приближению при множественной обработке результатов многих групп.
    2. Касаемо сложности. По-моему, в первую очередь речь надо вести о структурной сложности. Объективно закладываемой автором. Напр., какой тест объективно сложнее:
    - из двух-трех двоичных вопросов,
    или
    - из 500 вопросов, касаемых, многих аспектов, плюс для оценки "честности" и т.п. ??
    Разве это не относительно легко определяемая объективная оценка, причем, самого теста?
    И при чем тут умозрительность?

    И, возвращаясь, к трудности:
    и маленький тест может содержать весьма трудные для ответа вопросы,
    и многостраничный тест может состоять из простеньких вопросов...
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Валериан Владимирович,

    спасибо за Вашу развернутую реплику и активное желание сблизить представления.
    Ближе всего к тому, о чем я пишу, оказалось вот это ваше утверждение, которое я цитирую:


    "Но, разумеется, частично это будет и объективной оценкой теста - по асимптотическому приближению при множественной обработке результатов многих групп."

    Также готов с Вами согласиться, что сложность - это прежде всего структурная сложность. Некоторые сложные задания могут оказаться довольно легкими - в том смысле, что подавляющее большинство с ними справляется (дают правильные ответы), хотя приходят к ним не быстро. Но все-таки нельзя считать "структурную сложность" - более объективной мерой трудности, чем статистическую оценку на основе реальных собранных данных (!). В этом я лично убеждался сотни раз (на самом деле тысячи, но такому многие читатели меньше поверят).

    Что меня больше всего обеспокоило, когда я читал Вас? - Это такое ощущение, что Вы нечетко различаете понятия "тест " и "тестовое задание". Тестовое задание - это не самый удачный русско-язычный эквивалент более короткого и ясного английского термина item. Это минимальный и неделимый "пункт" теста. Тест состоит из этих самых айтемов, как молекула из атомов. Но... русская терминология просто очень плохо соответствуют обыденным понятиям, связанным с этими терминами. Для многих "тестовое задание" - это тест целиком (это молекула, а не атом). Потому что... доминируют обыденная трактовка, а не специальная научно-профессиональная.

    Мы находимся в тестологии (в области становления ее базисных терминов) на такой же ранней стадии, когда древние химики-алхимики использовали без разбору такие термины как "частичка вещества", "частица", "молекула", "атом", "элемент", "щепотка", "доза" и тому подобное и... никто их толком не понимал и они друг друга плохо понимали.

    Ваш АШ

    P.S.
    Забавно, но использованная мной в заголовке аббревиатура ТЗ - это тоже очень плохая находка (не моя), так как ТЗ у многих привычнее ассоциируется с "техническим заданием", а не "тестовым заданием" :( Попытки опереться на обыденный язык - это всегда рискованный путь, который сулит быстрые, но временные удачи, а в конечном счете приводит к... глобальной неудаче, так как становления самостоятельной научной дисциплины при этом НЕ происходит вовсе.
    Последнее редактирование: 1 дек 2019
    Булгаков А.В. нравится это.
  5. Шкуратова И.П.

    Шкуратова И.П. Модератор Команда форума

    Александр Георгиевич, поскольку я оказалась Вашим главным оппонентом в ФБ, считаю необходимым и здесь прояснить свою позицию.
    Главный мой тезис состоит в том, что трудность теста - это достаточно сложная категория, которая не может быть сведена к ОПП. Она в большой степени зависит от самого испытуемого или группы испытуемых. И может измеряться по-разному.
    Например, Б.Г. Ананьев ввел понятие цена интеллектуального напряжения, которое определялось на основе сопоставления физиологических показателей до и после тестирования по тесту Векслера. Как и ожидалось, у людей с высоким интеллектом эта цена была ниже, так как для них этот тест был менее трудным.
    Разумеется, ОПП простая и удобная мера трудности, но ставить между ними знак равенства ошибочно. Вообще сводить категорию к процедуре ее измерения некорректно.
    Последнее редактирование: 1 дек 2019
  6. Шкуратова И.П.

    Шкуратова И.П. Модератор Команда форума

    Вот ещё одно мнение.
    Попов Д.И., Попова Е.Д.
    Экспертиза качества тестовых заданий: Учебное пособие.
    Москва: МГУП, 2008. 84 с. 600 экз.
    "«Трудный - требующий большого умственного напряжения, усилий, затруднительный, мудреный». Это определение дает один из критериев оценки трудности тестового задания, а именно - сколько времени потребуется испытуемому, чтобы усилия, направленные на поиск правильного ответа были потрачены не зря. Понятие трудности может основываться на статистических оценках, например, чем меньше правильных ответов, тем труднее задание.
    В общем случае сложность и трудность определяются разработчиком ТЗ и указывают субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки за определенное время.
    Можно различать два вида сложности и трудности - теоретическая (априорная) и фактическая (апостериорная). Априорная сложность и трудность определяются экспертами до проведения тестовых испытаний. В процессе апробации банка тестовых заданий и расчета по определенным методикам получаются апостериорные сложность и трудность.
    Нужно учитывать, что при использовании банка тестовых заданий при тестировании трудность и сложность может адаптироваться в соответствии с аудиторией, т.е. при получении статистических данных по ответам на задания можно выявить насколько легко задание воспринимается тестируемыми, и какие заключения на него даются. В соответствии с этим устанавливаются фактическая (апостериорная) трудность и сложность тестового задания".
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Ирина Павловна,

    я очень признателен Вам за участие в этом разговоре и за его продолжение на этой площадке, которая провоцирует (как я надеюсь все еще) более развернутые тексты от авторов реплик и более вдумчивое прочтение от читателей.

    У меня пара таких встречных вопросов-замечаний:

    1) Более существенное касается вот этого вашего утверждения:

    Я не за то. чтобы сводить ВСЕ категориальные термины к их частным процедурным аналогам, но... без этого мы вообще ... имеем, увы, то, что имеем: отсутствие операциональных понятий во многих головах (!). Вот в чем беда-то главная! Надо избежать двух крайностей: а) полная редукция важных категорий к упрощенным операциональным понятиям (этого Вы пытаетесь избежать), б) отсутствие операциональных понятий вовсе (этого я пытаюсь избежать).

    В связи с этим предлагаю Вам поучаствовать в конструктивном поиске короткого и более пригодного термина, чем "трудность" (тем более, чем "апостериорная трудность" - термин, который для многих является отталкивающим). Неужели нам придется использовать кальку с английского для этого - "диффикалти"? :) А может быть, к термину трудность надо плюсовать какую-то еще буковку? Между прочим, если я напишу "с-трудность", то Вы подумаете, что это означает "субъективная трудность", а я - "статистическая трудность". Так что... и буковку-то одну добавить не просто получается :(
    Но... логика развития строгих дисциплин в истории науки известна: понятие "вес" имеет размытые границы в обыденном сознании до сих пор, но в рамках ньютоновской механики - это строгая измеримая величина (операциональное понятие). Бог с ней - с большой и необъятной нечеткой Психологией. Но... пока хотя бы узкая особая научная дисциплина "тестология" не будет вызывать у ее пользователей установку на применение операциональных понятий (а не обыденных представлений), тогда ни о какой тестологической культуре даже мечтать не приходится.


    2) Как Вы расшифровываете ОПП? Чем это отличается от ППО? - Только порядком букв или как-то по смыслу?

    С неизменным уважением и искренней симпатией,
    АШ
  8. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Ирина Павловна, подскажите, пожалуйста, где можно найти цитируемую Вами книгу?
  9. Шкуратова И.П.

    Шкуратова И.П. Модератор Команда форума

    Вот здесь.
    http://www.hi-edu.ru/e-books/xbook688/01/part-004.htm
    Тарасенко Н.Н. и Шмелев А.Г. нравится это.
  10. Шкуратова И.П.

    Шкуратова И.П. Модератор Команда форума

    Александр Георгиевич, я не сторонник введения новых терминов.
    Трудность теста хороший термин, только он требует более расширенного толкования.
    Я бы предложила такой.
    Трудность методики - характеристика включающая как субъективную, так и объективную составляющие; субъективная трудность представляет собой оценку субъектом интенсивности своего труда для достижения цели, объективный аспект трудности может быть оценен через число правильных ответов испытуемых, временные затраты, через замер физиологических характеристик испытуемых в процессе выполнения методики.
    Трудность методики для испытуемых зависит от их общего развития, степени знакомства с подобными методиками, формой подачи тестового материала, условий тестирования и прочих факторов.
    Я специально в определении использовала слово методика, потому что не только тесты могут оцениваться с точки зрения их трудности.
    Разумеется, это определение требует доработки.
    ОПП - это описка

    Тарасенко Н.Н. нравится это.