Про интерактивные и коллоборативные задачи в оценке знаний учащихся

Александр Николаевич, здравствуйте.

Вы уж меня извините за некоторую назойливость, с которой я продолжаю
заманивать на этот форум наших известных активистов прежней блогосферы
(и Вас в том числе), но хотелось бы обсудить вот это Ваше сообщение:

http://postnauka.ru/longreads/53548

ИМЕННО ЗДЕСЬ - на форуме ЭСПП.

Мой вопрос к Вам такой (он связан с тем, что я не успеваю следить за
развитием исследований по этому относительному новому типу испытаний):
А получены ли кем-нибудь какие-то данные о том, насколько
результаты решения этих заданий переносимы на другие
по содержанию задания такого же типа. Например, кто-то
показал высокую эффективность по управлению "искусственным
MP3-плейером". Будет ли этот испытуемый также успешен в решении задач
типа "управление предприятием"? Или в понимании инструктивно-
алгоритмических текстов?

Ваш АШ

Здравствуйте, Александр Георгиевич!
Спасибо за вопрос.

Оценки тут меняются со временем. Лет 20 назад писали, что в целом успешность прохождения одного сценария (например, управления городом) не коррелирует с успешностью прохождения другого сценария. Каждая такая задача решается участником, скорее, как уникальная, и переноса на другую нет. Это считалось проблемой валидности и надежности таких сценариев как психодиагностических методов. Также не было обнаружено корреляций с тестами интеллекта. Эта область выглядела как изолированная и от других, и не сильно согласованная внутри самой себя (раз нет корреляций, переносов и т.д.). Из-за этих, а также, наверное, и каких-то других причин стало казаться, что после пика в 80-е и 90-е гг. (на мой взгляд, гениальной книги Дёрнера «Логика неудачи: стратегическое мышление в сложных ситуациях», сборников Complex problem solving: principles and mechanisms (1991), Complex problem solving: the European perspective (1995) с участием аж Стернберга) это направление стало умирать или, по крайней мере, заснуло.
Но дальше ситуация изменилась.

Дело в том, что первое поколение исследователей (Дёрнер, Дж.Функе и др.) было в большей степени наследниками немецкой школы психологии мышления, гештальт-психологии. Их направление называлось complex problem solving– решение комплексных проблем (и в сценариях Дёрнера было до нескольких тысяч взаимосвязанных переменных – это же управление городом или государством, в которых участник должен был хоть как-то разобраться). Простенькие сценарии тоже были, но они составляли лишь часть ландшафта, наряду с потрясающими сценариями управления городами и государствами.
Можно высказать обоснованное предположение, что множество современных стратегических компьютерных игр типа SimCity, Civilization и т.п. имеют одним из своих источников научные разработки Дёрнера, ведущиеся с 70-х гг. Об их сходстве пишут прямо (Riegler, 1998). Даже если эти компьютерные игры возникли позже совершенно независимо (что кажется маловероятным), эта параллель показывает неслучайность движения культуры (науки, интеллектуальных игр) в данном направлении. Начинали использоваться такие сложные сценарии и в школе О.К.Тихомирова (Лысенко, 1989).

А в 2010-е пришло новое поколение, самый представительный из них, видимо, S.Greiff. Они стали отходить от прежних методологических позиций и методических подходов. Они, как мне кажется, поняли, что надо интегрироваться в массовые, хорошо стандартизируемые подходы, глобальные проекты типа PISA. Они стали менять инструментарий в направлении более простого и стандартизируемого, использовать значительно более простые задачи (вроде задачки с плеером). Переменных здесь на порядки меньше, связи проще, в системе нет отложенных во времени эффектов. Из названия задач исчезло слово «комплексные», акцент стал делаться на том, что они интерактивные – требуют взаимодействия с объектом, наблюдения и экспериментирования. При этом в задачах Дёрнера требовалось многофакторное экспериментирование (пусть наивное), а здесь – скорее, нет. И корреляции с тестами интеллекта как-то стали проявляться.
Исследований переноса между такими, упрощенными, сценариями я не видел, но исходя из обнаруженных корреляций с интеллектом можно ожидать, что они должны быть.

Интересно, что между бывшими соавторами – представителями разных поколений возникла методологическая полемика. Дж. Функе, ученик Дёрнера, считает, что эти новые задачи, решаемые за 5-10 минут, фактически закрытые, нельзя считать хорошим средством диагностики развертывания сложной познавательной деятельности. Грейф с ним спорит. Но в одной из последних статей он соглашается, что, например, введение фактора отложенности реакции системы во времени (система реагирует на какие-то воздействия не сразу, а с задержкой) снижает корреляции с психометрическим интеллектом.

Я думаю, что здесь существенно различение (противопоставление) типового и уникального. Дёрнеровские сценарии выходят на диагностику способностей решать уникальные (уникально сложные) задачи, требующих нахождения уникальных решений. И такие задачи тоже экологически валидны. Даже крайне важны. Но кривую успешности на таких уникальных сценариях будет «бить», корреляций особо не будет. Как сейчас много пишут в книгах про инновации, если вы успешно решили одну задачу, успешно развернули один проект, это совершенно не гарантирует успешности на следующем проекте, новом и по-своему уникальном. Примерно про это пишет Холодная: чем выше уровень способностей (требующихся при решении задачи), тем более разнообразны и непредсказуемы их проявления, тем меньше связей обнаруживается между ними на уровне корреляционного анализа.

А интерактивные задачи, по факту, призваны давать массовую оценку способностям масс справляться с массово выпускаемыми гаджетами. Здесь переносы пойдут косяком. И пойдут косяки типа заранее заготовленных "стандартных списков творческих ответов" для оценки креативности участников.

С уважением,
А.П.

Александр Николаевич,

это просто замечательно, что Вы написали такой развернутый текст. Спасибо большое за ответ на мой вопрос. Сегодня уже не успеваю написать более содержательную реплику.

Ваш АШ