Проект-тренинг "Подними свой тестовый балл"

Начались экспериментальные испытания нового проекта в клубе КИТТ - программы-тренинга по выполнению скоростных тестов знаний. Вот здесь можно пройти саморегистрацию:

http://services2.ht-line.ru/r.php?859Q6P

Первые же участники (стартовали пока 33 человека) столкнулись с врЕменным "проседанием" - падением результатов после первых попыток. Чтобы после этого сразу же не "скиснуть", надо учесть, что кривая тренировочного эффекта НИКОГДА не дает монотонного стабильного роста результатов. См. как выглядит эта кривая. Надо перетерпеть временное снижение и добиться СУПЕРКОМПЕНСАЦИИ. Ну и.... по дороге научиться применять многие "маленькие хитрости".




* * *

Итак, на 22 декабря (суббота, утро) к тренингу приступили 33 участника клуба КИТТ.

Они выполнили первый тест "Ложки" и первую попытку "Города и страны".

По тесту "Ложки":

Средний результат = 86%,
максимальный = 100% (показали 5 человек!)
минимальный = 43%.


По тесту "Города и страны":

Средний результат = 48%,
максимальный = 76%,
минимальный = 30%.

Так что получается, что по основному тесту "Города и страны" никто с первой попытки даже не приблизился к уровню 80%. Тест кому-то может показаться СЛИШКОМ ТРУДНЫМ. Но 48% правильный ответов указывают на то, что с точки зрения научной тестологии его трудность подобрана почти идеально (!). Как раз есть простор для роста результатов в результате тренировки.

Что касается общего уровня активности участников тренинга, то пока мало кто продвинулся далеко.
Впрочем, те, кто сразу выполнил больше двух попыток, в основном получили обратный эффект снижения результатов в третьей и-или более поздних попыток (сказывается утомление, о котором мы предупреждали).

Пока две и более попыток по основному тесту "Города и страны" выполнили 17 человек, а по три и более попыток - 12 человек.

* * *


В настоящее время проект-тренинг PODNIMIS еще находится в стадии экспериментальной апробации. Это означает, что поиск каких-то решений не завершен. В частности, речь идет о поиске оптимальных способов организации обратной связи об уровне достигнутых результатов.

Кроме числовой 100-балльной шкалы процентов в проекте используется шкала из 10 вербальных категорий (градаций). Это словесные обозначения определенных интервалов на 100-балльной шкале:

00 - 10 - Бесперспективно
11 - 20 - Очень плохо
21 - 30 - Плохо
31 - 40 - Слабо
41 - 50 - Удовлетворительно
51 - 60 - Нормально
61 - 70 - Хорошо
71 - 80 - Высокий результат
81 - 90 - Отлично
91 - 100 - Превосходно

Как видим, для интервала 71 - 80 у нас пока не нашлось даже подходящего наречие и пришлось использовать прилагательное ВЫСОКИЙ. Возможно, что не только для этого случая, но и для других интервалов Вы сформулируете какие-то другие предлоежния. Авторы программы тренинга будут Вам за это весьма признательны.

А вот здесь попытка разъяснить смысл проекта PODNIMIS так называемым "человеческим языком":

http://testbytest.ru/forum/threads/...icheskoj-ustojchivosti-pri-testirovanii.2903/

Это язык настолько "человеческий", что даже стал устным видеообращением.
Хотелось бы узнать от коллег, насколько такая форма воспринимается и вообще...
нужна ли она? У меня всегда на этот счет были большие сомнения? Главным
образом на фоне низкой самооценки собственной телегеничности. Что-то хватает
экспрессии этому несвежему человеку...

Александр Георгиевич, хорошее видеосообщение. Приятно было видеть и слышать А, как Вам удалось без дополнительного микрофона записать так хорошо звук?
Мне хотя бы легкой улыбки в конце не хватило. Улыбайтесь чаще

А, да! Совсем забыла...Информация воспринялась легко в видееосообщении.

Александр Георгиевич, а мне понравился такой формат -- устного видеообращения

Юра,

Вам спасибо за поддержку. Но... для всякого жанра нужны соответствующие
данные. Чтобы показывать людям свою мимику, она должна быть, как минимум,
экспрессивной, а лучше всего - еще и приятной

Ваш АШ

Да, и у Вас это есть.

Наташа, спасибо.

Но меня долго в этом нужно убеждать и ... хором
На очных лекциях я, признаться, об этом просто не думаю,
а в отсутствии очных слушателей... только об этом и думаю

Ох. как я Вас понимаю, Александр Георгиевич. Сама терпеть себя не могу смотреть и слушать. Поэтому крайне редко сажусь перед камерой, когда без этого никак не обойтись. Я себя, когда это нужно, успокаиваю тем, что "сниму же несколько дублей. И выберу лучший" Правда, потом вся семья хохочет над этими дублями.

Ася Казанцева прекрасно поднимает самооценку, кстати

Александр Георгиевич, как мне кажется, успех в том, насколько автору видео удается быть собой. Не надо что-то специально показывать. У Вас очень хорошо получилось. Уверен, мы еще увидим новые видеообращения Я всеми руками за!

Итак,

к тренингу приступили 67 человек из клуба КИТТ.

Пришла пора посмотреть, как выглядит не теоретическая,
а эмпирическая кривая тренировочного эффекта.

На этой гистограмме я объединил попытки тройками, так что
на 15 попыток появились 5 интервалов: 1 интервал дает нам
средний показатель точности (процента правильных ответов)
для попыток номер 1-3, интервал 2 - для попыток 4-6 и т.п.





Казалось бы, глядя на эту мотонно-возрастающую последовательность,
можно сделать вывод, что все хорошо.

Но... необходимо учесть 2 возможных артефакта:

1) Более поздние попытки совершают более сильные участники.
Именно более сильные - с более высокими стартовыми результатами -
оказались более мотивированными на то, чтобы добиться повышения
своего тестового балла.

2) Начиная с третьего интервала включается ТОС - текущая обратная связь (о том,
был ли предыдущий ответ правильным). Как видим, это сразу приводит
к ощутимому скачку в 6 очков.

Против указанных артефактов действуют такие тенденции:

а) Ряд слабомотивированных участников быстро "проскакивают" все попытки
с низкими результатами и низким (никаким) эффектом тренинга.

б) Даже сильные участники нарушают рекомендации - не делают
необходимых пауз между последовательными попытками, стремятся
выполнить по 6-7 попыток за один присест в один день, хотя рекомендуется
выполнять в день не более 3 попыток с интервалом в 30 минут.

Так что, вполне возможно, что тренинг все-таки дает возможность
повысить тестовый балл до следующей "категориальной оценке"
по децильной шкале. У нас в проекте PODMINIS интервал от 50 до 60
назван непривычным оценочным термином "НОРМАЛЬНО", а следующий - "ХОРОШО".
Среди других оценочных терминов - "высоко", "отлично", "превосходно",
а в сторону более низких категорий - "удов". "посредственно", "плохо". "очень
плохо", "бесперспективно". ...

Но в целом надо сказать, что более тщательные аналитические исследования с
целью объективизации эффекта еще впереди.

Ваш АШ

Итак, коллеги, хочу развлечь Вас под праздничек такой статистикой узнавания
месторасположения европейских столиц (n=300 попыток, участников, впрочем,
меньше - только 75). Поясню, что задача респондента в тренинг-проекте PODNIMIS
состояла в том, чтобы выбрать одну из пяти стран для названного города.

С моей точки зрения, все столицы, которые показали меньше 80 процентов
правильных ответов, находятся в зоне "умственной географической катастрофы".
Из городов бывших советских республик в эту зону, как видим, попали Рига,
Вильнюс и Баку.

Вообще-то просматривается зависимость от таких факторов как "освещение
в новостных СМИ" (например, Киев в этом плане, как мне кажется, лидирует
в последние годы в российских СМИ и в его случае очень трудно сделать ошибку).
Второй фактор - это сравнительные размеры и новизна появления столицы
на карте. Особенно в этом плане трудно запомнить столицы таких маленьких
и появившихся недавно стран как Македония, Словакия, Босния и Герцоговина.
Также трудно запомнить столицы, являющиеся не крупнейшими городами
в своих странах, а лишь административными центрами (Гаага, Берн).
С этой точки зрения, все равно есть малообъяснимые вещи, или факты,
требующие умственных усилий для своего объяснения. Например, так
часто в СМИ упоминается город Брюссель, но... наши сограждане не связывают его
с Бельгией (или редко связывают). Значит, упоминается этот город в связи
с Европейским Союзом, а не в связи с Бельгией.

Интересно, заметить, что отдельные крупные города гораздо лучше знают,
чем столицы. Например, это Венеция (100), Милан (93), Амстердам (90),
Краков (90), Барселона (90).

Вопрос: а Вам интересно получить подобную статистику по другим континентам?


Напомню, что те, кто не участвуют в КИТТ, могут быстро пройти
упрощенную саморегистрацию:

http://services2.ht-line.ru/r.php?859Q6P


Приложение. Процент узнавания расположения столиц.

Киев	100
Минск	100
Берлин	100
Париж	100
Прага	98
София	98
Варшава	97
Таллинн	97
Афины	97
Тбилиси	97
Рим	97
Ереван	95
Вена	93
Кишинев	89
Хельсинки	88
Мадрид	88
Лиссабон	88
Осло	87
Дублин	87
Будапешт	83
Копенгаген	82
Рига	76
Эдинбург	76
Любляна	75
Вильнюс	73
Стокгольм	70
Белград	69
Баку	67
Брюссель	66
Рекьявик	65
Ла-Валетта	60
Бухарест	58
Братислава	56
Гаага	56
Белфаст	52
Кардифф	51
Загреб	50
Берн	50
Сараево	46
Никосия	42
Скопье	37

Сегодня последний день новогодней бесплатной тренировочной сессии.
К выполнению тестов "Города и страны" приступили 127 человек (это уже на
7 меньше, чем выполнили предварительный тест на внимание - 134 человек).
Из этих 127 только менее трети добрались до последней 15-й попытки - 38
человек. Более подробный график можно увидеть на диаграмме:

Итак, конкурсно-экспериментальный новогодний период в проекте PODNIMIS завершился.
С правилами конкурса выразили согласие 147 человек.
До конца марафон из 17 тестов (включая ЛОЖКИ) выполнили 40 участников.
Обладателями 10 лучших результатов стали:



   

1	Сугоняев К. В.	98,0
2	Зязина Н. А.	96,8
3	Сорокина В. А.	92,0
4	Горлачев П. Д.	88,4
5	Бычков И.	86,8
6	Natalya	84,8
7	Денис	84,8
8	Устинова Е.	84,8
9	Коклина С.	78,8
10	Aditus	78,0

Следует подчеркнуть, что в призовую десятку включены только
те участники, которые предоставили развернутый отзыв-отчет
о своей работе в проекте-тренинге.

Фамилии и-или ники в таблице приведены в точном
соответствии с материалами саморегистрации участников в проекте.
Балл в правой колонке таблицы - это средний балл последних
пяти попыток.

Поздравляем победителей нашего новогоднего конкурса.
Напомним, что приз для каждого участника составляет 500 рублей
на мобильный телефон.

Краткий комментарий к составу призовой десятки такой.
Радует появление в нем известных и предсказуемых фигур
активных участников нашего форума (К.В.Сугоняев И. Бычков),
победителей недавнего студенческого конкурса БУПС (Н.Зязина),
активистов клуба КИТТ (П. Горлачев).

С уважением,
А.Г.Шмелев

Появление более обширной группы участников, выполнивших тренинг
до конца (n=40) позволяет построить более детальную кривую роста
результатов по всем 15 попыткам (без группировки по три попытки).






Интересно, что в отсутствии обратной связи о правильности ответов
(см. результаты первых 6 попыток) происходил даже более устойчивый
рост результатов. Напротив, в течение первых пяти попыток после
появления обратной связи (попытки 6-10) этот рост фактически
остановился. Это можно интерпретировать так: испытуемые переключились
с внимания к интуитивной стратегии угадывания ответов (по данным своей
долговременной ассоциативной памяти) на стратегию работы с кратковременной
памятью и... не получили никакого эффекта от этого. Ибо 50 тестовых заданий
в одном сеансе - это то, что очень непросто использовать в режиме кратковременной
памяти при скоростному выполнении теста и слабой возможности немедленного
"вербального повторения" (как мы помним теорию памяти).


Эта картинка, на мой взгляд, еще более убедительно. чем предыдущая,
доказывает положительный эффект даже более короткого тренинга -
не из 15, а всего лишь из 5 попыток. Этот эффект хотя и небольшой (всего
лишь 5-процентный прирост результатов). но достигается быстро и без
больших усилий.

Между прочим, если учитывать баллы тех, кто стартовал в проекте,
но не завершил его (а большинство бросили работу, выполнив
не более 5 попыток), то эффект тренинга будет выглядеть как бы еще
более выразительно, хотя эта кривая, конечно, содержит в себе
"артефакт низкой мотивации":



В приведенной выше диаграмме N=129 (число всех, выполнивших хотя
бы первую попытку).

Итак, наш основной прагматический результат формулируется так:
ПЯТЬ ПОПЫТОК ДАЮТ ПЯТЬ ПРОЦЕНТОВ РОСТА.


Ваш АШ

Поздравляю победителей! Средний бал 98 в последних 5 пяти попытках - это просто потрясающий результат

Вот, да, подтверждаю - все так и было. Без обратной связи проще
У меня предложение: в последней попытке при описании результата давать табличку городов и стран, если, конечно, города и страны - не коммерческий тест.

Хотя, серия уже закончена. Поздно.

Наташа,

тест можно считать коммерческим, ибо планируется коммерческая услуга.

С ув,
АШ

А ЕСТЬ ЛИ КОРРЕЛЯЦИЯ МЕЖДУ ЗНАНИЕМ ГОРОДОВ И ТЕСТОМ УСТНОГО СЧЕТА?

Многие, кто пробовал проходить тренинг, могли удивиться, зачем между попытками
выполнить тест "Города и страны" в программу тренинга вставлен дважды тест на
устный счет - "СЧИТАЕМ ЛОЖКИ".

Итак, я сам, признаюсь, не ожидал, что будет найдена хоть какая-то связь. Ведь, как правильно написали здесь коллеги, это про разное. Для короткой версии ЛОЖКИ и полной выборки она и не была найдена. Всего 0,09 - это не значимый коэффициента для n=127. Но... для тех, кто решился двинуться по программе тренинга (для более мотивированных) связь обнаружилась. Это 0,26 при n=68 для длинной версии ЛОЖКИ, которая предьявляется после 5 первых тренировочных попыток. Почему на более узкой выборке и на более поздних этапах тренинга это обнаружено? - Это вопрос. Я пока нахожу для себя вероятным следующее объяснение: сильно-мотивированные и амбициозные, демонстрируя упорство и стрессоустойчивость, наращивают результаты и именно в длинном тесте ЛОЖКИ (где на поздних субтестах резко сокращаются временные лимиты) проявляется их более высокий психоэнергетический потенциал. Слабо-мотивированные, неуверенные в себе продолжают попытки, но... все больше скисают при этом, теряя, а не обретая уверенность в себе. В пользу этого понимания говорит тот факт, что автокорреляции между соседними попытками по тесту "Города и страны" по мере прохождения тренинга НАРАСТАЮТ - от 0,62 между попытками 1 и 2 до 0,85 между попытками 4 и 5.