1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Мини-конференция TESTbyTEST "Экспертная валидизация тестовых заданий"

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 16 сен 2017.

?

Укажите правильный ответ в задании на вербальную аналогию "Буряты - бурят, а якуты - ...?"

  1. якутят

    (войдите для просмотра числа голосов)

  2. кутят

    (войдите для просмотра числа голосов)

  3. куют

    (войдите для просмотра числа голосов)

  4. кутают

    (войдите для просмотра числа голосов)

  5. якают

    (войдите для просмотра числа голосов)

  6. якут

    (войдите для просмотра числа голосов)

  7. добывают алмазы и пасут оленей

    (войдите для просмотра числа голосов)

  8. другой вариант (напишите его тогда в комментарии)

    (войдите для просмотра числа голосов)

  9. тоже бурят

    (войдите для просмотра числа голосов)
Страница 2 из 5
  1. Власова О.Г.

    Власова О.Г. Активист

    Идём назад в чат?
    Власова О.Г., 18 сен 2017
    #21
  2. Тангеманн О.Б.

    Тангеманн О.Б. Участник

    Я тоже здесь!
    Тангеманн О.Б., 18 сен 2017
    #22
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Цитирую вопрос и отвечаю:

    "Александр Георгиевич, хочу спросить, с какой целью эксперты "должны обязательно пройти тест". Как это учитывается?"

    Нина Аркадьевна, я попытался написать, но коротко получилось, что должна быть согласованность у экспертов между собой и с автором в том, какое задание они находят как "ключевое". Если это делает менее 66 процентов экспертов, то задание либо выкидывается, либо дорабатывается.
    Шмелев А.Г., 18 сен 2017
    #23
    Савин Е.Ю. и Низовских Н.А. нравится это.
  4. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Вспомнила, как формировали задания для КТО-2015. Я там предложила лёгкую задачку, легчайшую просто, но она не прошла: большинство "экспертов" выбрали неправильный ответ, и оставшиеся ответы как-то поровну распределились между правильным и ещё двумя неправильными. Мне-то казалось, легче задания не бывает, но вот состав экспертов (психологи, а не математики) показал, что задачка была не всем под силу.
    Свириденко И.Н., 18 сен 2017
    #24
    Власова О.Г. и Низовских Н.А. нравится это.
  5. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Ни в коем случае!

    Шмелев А.Г., 18 сен 2017
    #25
  6. Низовских Н.А.

    Низовских Н.А. Лидер

    Спасибо, Александр Георгиевич. Поняла)
    Низовских Н.А., 18 сен 2017
    #26
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Инна, спасибо за ваш пример.

    Иногда умные люди попадают во власть "категориальной установки" и не решают правильно просто задание.
    Пример с "бурятами и якутами" это показал еще раз.

    С ув,
    АШ

    Шмелев А.Г., 18 сен 2017
    #27
    Тукачев Ю.А., Власова О.Г. и Низовских Н.А. нравится это.
  8. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Это сразу ответ и на мой вопрос
    Свириденко И.Н., 18 сен 2017
    #28
    Низовских Н.А. нравится это.
  9. Савин Е.Ю.

    Савин Е.Ю. Локомотив

    Здесь!
    Савин Е.Ю., 18 сен 2017
    #29
  10. Тангеманн О.Б.

    Тангеманн О.Б. Участник

    Тогда надо выяснить, каким должно быть задание чтобы оно не вызывало разночтений?
    Тангеманн О.Б., 18 сен 2017
    #30
  11. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Ну так многое зависит от инструкции. Вспомнить хотя бы исследование Е.Т. Соколовой про влияние мотивации на восприятие.
    Хохлов Н.А., 18 сен 2017
    #31
    Власова О.Г., Низовских Н.А. и Шмелев А.Г. нравится это.
  12. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Тогда для качества теста прежде надо позаботиться о качестве экспертов? Чем обеспечивается качество экспертов? И закон перехода количества в качество - при каком количестве экспертов начинает работать?
    Свириденко И.Н., 18 сен 2017
    #32
    Орлова Е.А., Кутеева Е.Н., Низовских Н.А. и ещё 1-му нравится это.
  13. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги,

    я должен Вам рассказать в двух словах, что было главным препятствием в проекте ЕГЭ на протяжении всех нулевых! - Это отсутствие грамотно организованной экспертизы тестовых авторских заданий. Экспертов не заставляли самих решать эти задания. Эксперты "лоббировали" своих - выгораживали от критики, так как надо было "удержаться на зарплате год от года" и т.п.
    Шмелев А.Г., 18 сен 2017
    #33
    Тукачев Ю.А., Савин Е.Ю., Власова О.Г. и ещё 1-му нравится это.
  14. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Количество экспертов зависит от уровня их согласованности.
    Если согласованность низкая, то и пяти не хватает, нужно семь и больше!


    Шмелев А.Г., 18 сен 2017
    #34
  15. Кисленко В.В.

    Кисленко В.В. Участник

    Жду Вашего ответа. :)
    Кисленко В.В., 18 сен 2017
    #35
  16. Прокофьева Т.Н.

    Прокофьева Т.Н. Локомотив

    Добрый вечер, коллеги!
    Обсуждение здесь?
    Прокофьева Т.Н., 18 сен 2017
    #36
  17. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Татьяна, добрый вечер.
    Да прямо здесь идет.

    Шмелев А.Г., 18 сен 2017
    #37
  18. Прокофьева Т.Н.

    Прокофьева Т.Н. Локомотив

    Спасибо!
    Прокофьева Т.Н., 18 сен 2017
    #38
  19. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Валериан Владимирович,

    правильно ли я понял, что вопрос к Ольге Тангенман, а не ко мне, да?

    Шмелев А.Г., 18 сен 2017
    #39
  20. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Тестируемым можно сказать, что это тест на креативность, на грамотность, на интеллект, на эрудицию и т.д. И будет перекос в сторону определённого ответа, вызванный инструкцией. В работе Е.Т. Соколовой, например, одним испытуемым говорили, что это исследование воображения, а другим, что это исследование интеллекта. Там смысл был в сравнении влияния инструкции у здоровых людей и больных разных нозологических групп. У здоровых людей обнаружена детерминация перцептивной деятельности мотивацией. Уверен, что в тестах ситуациях схожая, хотя конкретных исследований на этот счёт не знаю.
    Хохлов Н.А., 18 сен 2017
    #40
    Орлова Е.А., Власова О.Г., Низовских Н.А. и 2 другим нравится это.
Страница 2 из 5