Адаптивное обучение: ни грамма магии

Говоря об адаптивном обучении, редко уделяют внимание технологической составляющей. Именно поэтому после презентации новых сервисов часто остается послевкусие магии. На самом деле никакой магии нет. Есть наука, психометрика. О том, что она собой представляет, рассказывает Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ.

Психометрика – научная область, которая фокусируется на высокоточных измерениях в психологии и образовании, анализе данных и математическом моделировании психологических и педагогических явлений и процессов. Зарождение психометрики произошло на рубеже XIX-XX веков и связано с работами Ф. Гальтона и Д. Кеттела об измерении индивидуальных психологических различий. Несколько позднее, в 1935 году, появился первый научный журнал Psychometrika и Психометрическое научное общество, первым президентом которого стал Л. Терстоун (Louis Leon Thurstone). В России в начале XX века психометрические идеи развивались не менее динамично, но, как и идеи кибернетики, некоторое время находились под запретом. В современной психометрике можно выделить два фокуса: во-первых, конструирование инструментов (тестов, анкет, опросов) и процедур измерения; во-вторых, исследования и разработки в области математического аппарата (моделей и алгоритмов). Несмотря на то что психометрика зарождалась и развивалась как «наука о тестах», сегодня ее модели применяются далеко за пределами тестирования, например, в медицине для прогнозирования наступления осложнений у пациентов.
Большая часть сервисов (если не все) адаптивного обучения опираются на психометрические идеи, модели и алгоритмы. Разберем один из таких сервисов и психометрический алгоритм, лежащий в его основе.
Maths Garden: адаптивный сервис по математике

Maths Garden – сервис адаптивных тренировок по арифметике для начальной школы, разработанный в Университете Амстердама. Этот сервис подбирает арифметические задачи, оптимальные для ребенка в данный момент, и отслеживает прогресс в обучении (Klinkenberg, Straatemeier, Van der Maas 2011).

На первый взгляд, ничего примечательного в этом сервисе нет – существуют сотни программ, подбирающих задания для учащихся. Однако в нем используется очень любопытный алгоритм оценки трудности заданий и текущей подготовленности ребенка. Идея алгоритма заимствована из системы рейтингования игроков в шахматы, разработанной профессором физики и профессиональным шахматистом Арпадом Эло (Elo Rating System). В системе Эло расчёт рейтинга игрока по результатам турнира основан на сравнении количества набранных им очков с ожидаемым, предсказанным на основе его рейтинга, количеством очков. Если оба игрока играют в шахматы впервые и не имеют рейтинга, соответственно, оба имеют равные силы и ожидаемое количество очков для них равно. Если по итогам турнира количество набранных очков оказывается больше, чем предсказанное значение, то рейтинг данного игрока возрастает. Если меньше – рейтинг уменьшается.
Психометрики из Университета Амстердама сделали интересный ход. Во-первых, они заменили в системе Эло одного игрока на учащегося, а второго – на задание. Получилось, что ребенок соревнуется с заданием. В результате такого соревнования, как и в шахматах, изменяется рейтинг ребенка и рейтинг задания. Этот процесс происходит в режиме онлайн: рейтинги рассчитываются и уточняются непрерывно на основании результатов решения сотен заданий тысячами учеников. Во-вторых, они скомбинировали систему Эло с психометрической моделью Г. Раша. Модель Г. Раша работает с двумя параметрами - трудностью задания и подготовленностью (уровнем знаний) учащегося и позволяет спрогнозировать результат решения задания (верно/неверно). Модель Г. Раша часто используется для подбора оптимальных по трудности заданий для учеников, например, в компьютерном адаптивном тестировании. В получившейся скомбинированной модели сервиса Maths Garden в качестве трудности задания и подготовленности учащегося используются параметры, рассчитанные на основании рейтингов системы Эло. Рейтинг ребенка отражает уровень его подготовленности, а рейтинг задания – его трудность.

Достоинство такого алгоритма заключается в том, что он позволяет решить две проблемы адаптивных сервисов. Во-первых, дает возможность избавиться от необходимости предварительной калибровки задач по трудности. Калибровка является весомым сдерживающим фактором, так как предполагает сбор большого количества данных о решении учащимися задач на этапе до запуска сервиса. Во-вторых, алгоритм Maths Garden при подборе заданий работает с трудностью заданий и подготовленностью учащихся как с динамически изменяющимися параметрами. Это конкурентное преимущество такого алгоритма, так как другие алгоритмы часто не оценивают и не учитывают изменение подготовленности ребенка в процессе обучения. Алгоритм Maths Garden способен отследить такое изменение после решения каждой задачи, что может быть ценной информацией для учителей.
Ссылки:

Klinkenberg, S., Straatemeier, M., & Van der Maas, H. L. J., (2011). Computer adaptive practice of Maths ability using a new item response model for on the fly ability and difficulty estimation, Computers & Education, 57, 1813–1824.
Дмитрий Аббакумов
Источник: http://www.edutainme.ru/post/adaptive-magic/