1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Проект-тренинг "Подними свой тестовый балл"

Тема в разделе 'Клуб испытателей тестовых технологий (КИТТ)', создана пользователем Шмелев А.Г., 23 дек 2017.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Начались экспериментальные испытания нового проекта в клубе КИТТ - программы-тренинга по выполнению скоростных тестов знаний. Вот здесь можно пройти саморегистрацию:

    http://services2.ht-line.ru/r.php?859Q6P

    Первые же участники (стартовали пока 33 человека) столкнулись с врЕменным "проседанием" - падением результатов после первых попыток. Чтобы после этого сразу же не "скиснуть", надо учесть, что кривая тренировочного эффекта НИКОГДА не дает монотонного стабильного роста результатов. См. как выглядит эта кривая. Надо перетерпеть временное снижение и добиться СУПЕРКОМПЕНСАЦИИ. Ну и.... по дороге научиться применять многие "маленькие хитрости".

    Training_effect.jpg


    * * *

    Итак, на 22 декабря (суббота, утро) к тренингу приступили 33 участника клуба КИТТ.

    Они выполнили первый тест "Ложки" и первую попытку "Города и страны".

    По тесту "Ложки":

    Средний результат = 86%,
    максимальный = 100% (показали 5 человек!)
    минимальный = 43%.



    По тесту "Города и страны":

    Средний результат = 48%,
    максимальный = 76%,
    минимальный = 30%.


    Так что получается, что по основному тесту "Города и страны" никто с первой попытки даже не приблизился к уровню 80%. Тест кому-то может показаться СЛИШКОМ ТРУДНЫМ. Но 48% правильный ответов указывают на то, что с точки зрения научной тестологии его трудность подобрана почти идеально (!). Как раз есть простор для роста результатов в результате тренировки.

    Что касается общего уровня активности участников тренинга, то пока мало кто продвинулся далеко.
    Впрочем, те, кто сразу выполнил больше двух попыток, в основном получили обратный эффект снижения результатов в третьей и-или более поздних попыток (сказывается утомление, о котором мы предупреждали).

    Пока две и более попыток по основному тесту "Города и страны" выполнили 17 человек, а по три и более попыток - 12 челов
    ек.

    * * *


    В настоящее время проект-тренинг PODNIMIS еще находится в стадии экспериментальной апробации. Это означает, что поиск каких-то решений не завершен. В частности, речь идет о поиске оптимальных способов организации обратной связи об уровне достигнутых результатов.

    Кроме числовой 100-балльной шкалы процентов в проекте используется шкала из 10 вербальных категорий (градаций). Это словесные обозначения определенных интервалов на 100-балльной шкале:

    00 - 10 - Бесперспективно
    11 - 20 - Очень плохо
    21 - 30 - Плохо
    31 - 40 - Слабо
    41 - 50 - Удовлетворительно
    51 - 60 - Нормально
    61 - 70 - Хорошо
    71 - 80 - Высокий результат
    81 - 90 - Отлично
    91 - 100 - Превосходно

    Как видим, для интервала 71 - 80 у нас пока не нашлось даже подходящего наречие и пришлось использовать прилагательное ВЫСОКИЙ. Возможно, что не только для этого случая, но и для других интервалов Вы сформулируете какие-то другие предлоежния. Авторы программы тренинга будут Вам за это весьма признательны.
  2. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    А вот здесь попытка разъяснить смысл проекта PODNIMIS так называемым "человеческим языком":

    http://testbytest.ru/forum/threads/...icheskoj-ustojchivosti-pri-testirovanii.2903/

    Это язык настолько "человеческий", что даже стал устным видеообращением.
    Хотелось бы узнать от коллег, насколько такая форма воспринимается и вообще...
    нужна ли она? У меня всегда на этот счет были большие сомнения? Главным
    образом на фоне низкой самооценки собственной телегеничности. Что-то хватает
    экспрессии этому несвежему человеку...
  3. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Александр Георгиевич, хорошее видеосообщение. Приятно было видеть и слышать:) А, как Вам удалось без дополнительного микрофона записать так хорошо звук?
    Мне хотя бы легкой улыбки в конце не хватило. Улыбайтесь чаще:);)
    Тарасенко Н.Н. и Шмелев А.Г. нравится это.
  4. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    А, да! Совсем забыла...Информация воспринялась легко в видееосообщении.
    Шмелев А.Г. нравится это.
  5. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Александр Георгиевич, а мне понравился такой формат -- устного видеообращения
    Шмелев А.Г. нравится это.
  6. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Юра,

    Вам спасибо за поддержку. Но... для всякого жанра нужны соответствующие
    данные. Чтобы показывать людям свою мимику, она должна быть, как минимум,
    экспрессивной, а лучше всего - еще и приятной :)


    Ваш АШ

    Тукачев Ю.А. нравится это.
  7. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Да, и у Вас это есть. :)
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Наташа, спасибо.

    Но меня долго в этом нужно убеждать и ... хором :(
    На очных лекциях я, признаться, об этом просто не думаю,
    а в отсутствии очных слушателей... только об этом и думаю :)


  9. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Ох. как я Вас понимаю, Александр Георгиевич. Сама терпеть себя не могу смотреть и слушать. Поэтому крайне редко сажусь перед камерой, когда без этого никак не обойтись. Я себя, когда это нужно, успокаиваю тем, что "сниму же несколько дублей. И выберу лучший" Правда, потом вся семья хохочет над этими дублями.

    Ася Казанцева прекрасно поднимает самооценку, кстати:)
  10. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Александр Георгиевич, как мне кажется, успех в том, насколько автору видео удается быть собой. Не надо что-то специально показывать. У Вас очень хорошо получилось. Уверен, мы еще увидим новые видеообращения :) Я всеми руками за! :)

    Завоеванная Н.С. нравится это.
  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак,

    к тренингу приступили 67 человек из клуба КИТТ.

    Пришла пора посмотреть, как выглядит не теоретическая,
    а эмпирическая кривая тренировочного эффекта.


    На этой гистограмме я объединил попытки тройками, так что
    на 15 попыток появились 5 интервалов: 1 интервал дает нам
    средний показатель точности (процента правильных ответов)
    для попыток номер 1-3, интервал 2 - для попыток 4-6 и т.п.



    График  тренировочного эффекта (n=67).png


    Казалось бы, глядя на эту мотонно-возрастающую последовательность,
    можно сделать вывод, что все хорошо.


    Но... необходимо учесть 2 возможных артефакта:

    1) Более поздние попытки совершают более сильные участники.
    Именно более сильные - с более высокими стартовыми результатами -
    оказались более мотивированными на то, чтобы добиться повышения
    своего тестового балла.


    2) Начиная с третьего интервала включается ТОС - текущая обратная связь (о том,
    был ли предыдущий ответ правильным). Как видим, это сразу приводит
    к ощутимому скачку в 6 очков.


    Против указанных артефактов действуют такие тенденции:

    а) Ряд слабомотивированных участников быстро "проскакивают" все попытки
    с низкими результатами и низким (никаким) эффектом тренинга.


    б) Даже сильные участники нарушают рекомендации - не делают
    необходимых пауз между последовательными попытками, стремятся
    выполнить по 6-7 попыток за один присест в один день, хотя рекомендуется
    выполнять в день не более 3 попыток с интервалом в 30 минут.


    Так что, вполне возможно, что тренинг все-таки дает возможность
    повысить тестовый балл до следующей "категориальной оценке"
    по децильной шкале. У нас в проекте PODMINIS интервал от 50 до 60
    назван непривычным оценочным термином "НОРМАЛЬНО", а следующий - "ХОРОШО".
    Среди других оценочных терминов - "высоко", "отлично", "превосходно",
    а в сторону более низких категорий - "удов". "посредственно", "плохо". "очень
    плохо", "бесперспективно". ...


    Но в целом надо сказать, что более тщательные аналитические исследования с
    целью объективизации эффекта еще впереди.


    Ваш АШ
    Последнее редактирование: 28 дек 2017
  12. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, коллеги, хочу развлечь Вас под праздничек такой статистикой узнавания
    месторасположения европейских столиц (n=300 попыток, участников, впрочем,
    меньше - только 75). Поясню, что задача респондента в тренинг-проекте PODNIMIS
    состояла в том, чтобы выбрать одну из пяти стран для названного города.


    С моей точки зрения, все столицы, которые показали меньше 80 процентов
    правильных ответов, находятся в зоне "умственной географической катастрофы".
    Из городов бывших советских республик в эту зону, как видим, попали Рига,
    Вильнюс и Баку.


    Вообще-то просматривается зависимость от таких факторов как "освещение
    в новостных СМИ" (например, Киев в этом плане, как мне кажется, лидирует
    в последние годы в российских СМИ и в его случае очень трудно сделать ошибку).
    Второй фактор - это сравнительные размеры и новизна появления столицы
    на карте. Особенно в этом плане трудно запомнить столицы таких маленьких
    и появившихся недавно стран как Македония, Словакия, Босния и Герцоговина.
    Также трудно запомнить столицы, являющиеся не крупнейшими городами
    в своих странах, а лишь административными центрами (Гаага, Берн).
    С этой точки зрения, все равно есть малообъяснимые вещи, или факты,
    требующие умственных усилий для своего объяснения. Например, так
    часто в СМИ упоминается город Брюссель, но... наши сограждане не связывают его
    с Бельгией (или редко связывают). Значит, упоминается этот город в связи
    с Европейским Союзом, а не в связи с Бельгией.


    Интересно, заметить, что отдельные крупные города гораздо лучше знают,
    чем столицы. Например, это Венеция (100), Милан (93), Амстердам (90),
    Краков (90), Барселона (90)
    .

    Вопрос: а Вам интересно получить подобную статистику по другим континентам?


    Напомню, что те, кто не участвуют в КИТТ, могут быстро пройти
    упрощенную саморегистрацию:


    http://services2.ht-line.ru/r.php?859Q6P


    Приложение. Процент узнавания расположения столиц.


    Киев

    100

    Минск

    100

    Берлин

    100

    Париж

    100

    Прага

    98

    София

    98

    Варшава

    97

    Таллинн

    97

    Афины

    97

    Тбилиси

    97

    Рим

    97

    Ереван

    95

    Вена

    93

    Кишинев

    89

    Хельсинки

    88

    Мадрид

    88

    Лиссабон

    88

    Осло

    87

    Дублин

    87

    Будапешт

    83

    Копенгаген

    82

    Рига

    76

    Эдинбург

    76

    Любляна

    75

    Вильнюс

    73

    Стокгольм

    70

    Белград

    69

    Баку

    67

    Брюссель

    66

    Рекьявик

    65

    Ла-Валетта

    60

    Бухарест

    58

    Братислава

    56

    Гаага

    56

    Белфаст

    52

    Кардифф

    51

    Загреб

    50

    Берн

    50

    Сараево

    46

    Никосия

    42

    Скопье

    37
    Последнее редактирование: 31 дек 2017
    Хохлов Н.А. нравится это.
  13. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Сегодня последний день новогодней бесплатной тренировочной сессии.
    К выполнению тестов "Города и страны" приступили 127 человек (это уже на
    7 меньше, чем выполнили предварительный тест на внимание - 134 человек).
    Из этих 127 только менее трети добрались до последней 15-й попытки - 38
    человек. Более подробный график можно увидеть на диаграмме:


    Зависимость участников от номера попытки (n=127).png
  14. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, конкурсно-экспериментальный новогодний период в проекте PODNIMIS завершился.
    С правилами конкурса выразили согласие 147 человек.
    До конца марафон из 17 тестов (включая ЛОЖКИ) выполнили 40 участников.
    Обладателями 10 лучших результатов стали:




       
    1Сугоняев К. В.98,0
    2Зязина Н. А.96,8
    3Сорокина В. А.92,0
    4Горлачев П. Д.88,4
    5Бычков И.86,8
    6Natalya84,8
    7Денис84,8
    8Устинова Е.84,8
    9Коклина С.78,8
    10Aditus78,0



    Следует подчеркнуть, что в призовую десятку включены только
    те участники, которые предоставили развернутый отзыв-отчет
    о своей работе в проекте-тренинге.


    Фамилии и-или ники в таблице приведены в точном
    соответствии с материалами саморегистрации участников в проекте.
    Балл в правой колонке таблицы - это средний балл последних
    пяти попыток.


    Поздравляем победителей нашего новогоднего конкурса.
    Напомним, что приз для каждого участника составляет 500 рублей
    на мобильный телефон.


    Краткий комментарий к составу призовой десятки такой.
    Радует появление в нем известных и предсказуемых фигур
    активных участников нашего форума (К.В.Сугоняев И. Бычков),
    победителей недавнего студенческого конкурса БУПС (Н.Зязина),
    активистов клуба КИТТ (П. Горлачев).


    С уважением,
    А.Г.Шмелев
    Последнее редактирование: 15 янв 2018
    Завоеванная Н.С. нравится это.
  15. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Появление более обширной группы участников, выполнивших тренинг
    до конца (n=40) позволяет построить более детальную кривую роста
    результатов по всем 15 попыткам (без группировки по три попытки).



    Эффект тренинга (n=40).png



    Интересно, что в отсутствии обратной связи о правильности ответов
    (см. результаты первых 6 попыток) происходил даже более устойчивый
    рост результатов. Напротив, в течение первых пяти попыток после
    появления обратной связи (попытки 6-10) этот рост фактически
    остановился. Это можно интерпретировать так: испытуемые переключились
    с внимания к интуитивной стратегии угадывания ответов (по данным своей
    долговременной ассоциативной памяти) на стратегию работы с кратковременной
    памятью и... не получили никакого эффекта от этого. Ибо 50 тестовых заданий
    в одном сеансе - это то, что очень непросто использовать в режиме кратковременной
    памяти при скоростному выполнении теста и слабой возможности немедленного
    "вербального повторения" (как мы помним теорию памяти).



    Эта картинка, на мой взгляд, еще более убедительно. чем предыдущая,
    доказывает положительный эффект даже более короткого тренинга -
    не из 15, а всего лишь из 5 попыток. Этот эффект хотя и небольшой (всего
    лишь 5-процентный прирост результатов). но достигается быстро и без
    больших усилий.


    Между прочим, если учитывать баллы тех, кто стартовал в проекте,
    но не завершил его (а большинство бросили работу, выполнив
    не более 5 попыток), то эффект тренинга будет выглядеть как бы еще
    более выразительно, хотя эта кривая, конечно, содержит в себе
    "артефакт низкой мотивации":



    Эффект тренинга (n=129).png
    В приведенной выше диаграмме N=129 (число всех, выполнивших хотя
    бы первую попытку).

    Итак, наш основной прагматический результат формулируется так:
    ПЯТЬ ПОПЫТОК ДАЮТ ПЯТЬ ПРОЦЕНТОВ РОСТА.



    Ваш АШ
    Последнее редактирование: 15 янв 2018
    Завоеванная Н.С. нравится это.
  16. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Поздравляю победителей! :) Средний бал 98 в последних 5 пяти попытках - это просто потрясающий результат:cool:
    Шмелев А.Г. нравится это.
  17. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Вот, да, подтверждаю - все так и было. Без обратной связи проще
    У меня предложение: в последней попытке при описании результата давать табличку городов и стран, если, конечно, города и страны - не коммерческий тест.

    Хотя, серия уже закончена. Поздно.
    Последнее редактирование: 15 янв 2018
  18. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Наташа,

    тест можно считать коммерческим, ибо планируется коммерческая услуга.

    С ув,
    АШ


    Завоеванная Н.С. нравится это.
  19. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    А ЕСТЬ ЛИ КОРРЕЛЯЦИЯ МЕЖДУ ЗНАНИЕМ ГОРОДОВ И ТЕСТОМ УСТНОГО СЧЕТА?

    Многие, кто пробовал проходить тренинг, могли удивиться, зачем между попытками
    выполнить тест "Города и страны" в программу тренинга вставлен дважды тест на
    устный счет - "СЧИТАЕМ ЛОЖКИ".


    Итак, я сам, признаюсь, не ожидал, что будет найдена хоть какая-то связь. Ведь, как правильно написали здесь коллеги, это про разное. Для короткой версии ЛОЖКИ и полной выборки она и не была найдена. Всего 0,09 - это не значимый коэффициента для n=127. Но... для тех, кто решился двинуться по программе тренинга (для более мотивированных) связь обнаружилась. Это 0,26 при n=68 для длинной версии ЛОЖКИ, которая предьявляется после 5 первых тренировочных попыток. Почему на более узкой выборке и на более поздних этапах тренинга это обнаружено? - Это вопрос. Я пока нахожу для себя вероятным следующее объяснение: сильно-мотивированные и амбициозные, демонстрируя упорство и стрессоустойчивость, наращивают результаты и именно в длинном тесте ЛОЖКИ (где на поздних субтестах резко сокращаются временные лимиты) проявляется их более высокий психоэнергетический потенциал. Слабо-мотивированные, неуверенные в себе продолжают попытки, но... все больше скисают при этом, теряя, а не обретая уверенность в себе. В пользу этого понимания говорит тот факт, что автокорреляции между соседними попытками по тесту "Города и страны" по мере прохождения тренинга НАРАСТАЮТ - от 0,62 между попытками 1 и 2 до 0,85 между попытками 4 и 5.
    Завоеванная Н.С. нравится это.