Чем уровень кругозора просвещенного лидера отличается от уровня интеллектуала-эрудита?

Итак, коллеги,

финал конкурса "Лидеры России" пока не завершен, но предварительный дистанционный этап завершился уже давно - еще в ноябре 2017 года, поэтому уже можно и нужно его обсуждать. Дискуссия в сетях по поводу так называемого ТОЗ (Тест Общеобразовательных Знаний), пожалуй, оказалось самой острой из тех, которые разгорелись в связи с этим конкурсом. Ниже цитирую довольно-таки мягкую, но по содержанию типичную реплику одного из участников, который не прошел по ступеням конкурса дальше первого дистанционного тура как раз из-за низкого результата по ТОЗ.

Что высвечивает, на мой взгляд, эта реплика? Кто-то из коллег может со мной не согласиться, но я уверен в следующим. Подобные реплики показывают неразвитость в массовом сознании представлений о шкале интеллектуального развития, отсутствие ясных количественных представлений об индивидуальных различиях по уровню эрудированности (кругозора). Дело в том, что эта шкала не наглядна и перед глазами ее нет. В отличие, например, от шкалы роста (длины тела) или шкалы, фиксирующей достижения в каком-нибудь физическом простом виде спорта. Возьмем прыжки в высоту. Тут у многих представления примерно такие:

0) Инвалид или престарелый не прыгнет выше 80 см.
1) Обыкновенный здоровый мужчина молодого и среднего возраста прыгнет, пожалуй, на высоту 100-130 см.
2) Человек спортивный, но не специалист по прыжкам, - это 130 - 160 см.
3) Спортсмен-разрядник, но еще любитель - это 160-200 см.
4) Примерно с 200 см начинается норматив кандидата в мастера спорта,
то есть начинается так называемый "большой спорт", но он дает лишь
изредка возможность побывать на оплачиваемых спортивных сборах, прокормиться
на таком уровне нельзя.
5) А звание Мастер спорта - это 215 см (!!). Именно уровень мастера позволяет начать кормиться на этом поприще, то есть становиться спортсменом-профессионалом, участником "спорта высших достижений". А уровень МСМК (мастера спорта международного класса) оставим вообще пока
в стороне. Хотя полезно рассмотреть цифру в 230 см (!!).

Итак, более, чем в 2 раза на этой шкале отличается уровень профессионального спортсмена от уровня обыкновенного здорового человека (сравните 215 и 100). А победы в спорте высших достижений предъявляют почти в 2 раза более высокие требования, чем требования к спортивному человеку (сравните мировой рекорд 243 и 130). Вопрос: должен ли "лидер" быть просто "умственно здоровым" (это 100) или все-таки спортивным (это где-то 130)? Для меня уровень "просвещенный лидер" означает, что человек в этой сфере "спортивен", то есть следит за своими достижениями в этой области, старается их развивать, не равнодушен к своим результатам.

Так вот... никаких таких дифференцированных представлений о шести уровнях (!) эрудированности у людей наших нет ( у нашего населения). И в этом проявляется определенная ТЕСТОЛОГИЧЕСКАЯ БЕЗГРАМОТНОСТЬ НАСЕЛЕНИЯ.

Эрудиты-профи могут ответить на уровне близком к 100 процентам на такие труднейшие вопросы, которые обычным просвещенным людям даже не снились. Если, например, обычный просвещенный человек в области исторической хронологии может назвать только даты начала двух мировых войн (да и то насчет Первой с точностью до года, а не до числа и месяца), то эрудит может по этому же вопросу указать точный порядок вступления в войну разных держав, причем с точностью до времени суток (утро, день или вечер определенного дня), может указать точное количество дивизий на том или ином театре военных действий с каждой стороны, имена командующих фронтами, даже отдельными крупными соединениями (армиями, корпусами) и т.п. Люди, которые плохо знают историю, плохо себе представляют, насколько профессионалы их превосходят. То же касается и географии, и литературы....

На конкурсе "Лидеры России" надо было на самом деле показать не высокий, а результат НЕ ХУЖЕ СРЕДНЕГО (превзойти 50-процентный квантиль, или процентиль 50%). Это значит, что можно было сделать достаточно много ошибок, но все-таки на большую часть вопросов (не слишком трудных, а средних и легких !) надо было ответить правильно. То есть, надо было прыгать примерно на 120 см, но не на 215 см и вовсе не на 230 см или 240 см. Есть известная психологическая защита по формуле "зелен виноград". Более научный термин - ОБЕСЦЕНИВАНИЕ (достижений за счет завышения планки трудностей).

Уровень профи-интеллектуала и уровень просвещенного лидера - это совершенно разные области (интервалы) на шкале эрудиции. Конкурс "Лидеры России" поставил во весь рост вопрос о популяризации тестологических шкал, которые измеряют знания и способности. Надо просвещать, как по-разному работают разные пороговые величины (точки отсечения - cut score) на разных этапах конкурсного отбора, какие разные цели эти точки обеспечивают. Нужно просвещать, что тест без трудных заданий - таких, по которым большинство обязательно ошибется, не обладает необходимой диагностической (дифференцирующей) силой. Так что ВСЕМ придется терпеть столкновения с "неберушками" - заданиями и вопросами, которые Вы видите "впервые в жизни". Ну и т.п.

Множество просвещенных людей НЕ МОЖЕТ заставить себя пойти за непросвещенным, но самоуверенным лидером (например, это я, извините за отсутствие ложной скромности). Нужно все-таки, чтобы лидер не путал Гоголя с Гегелем, Австралию и Австрию, Ирак с Ираном и т.п. Хотя ... значительную часть невежественного населения не смущает никак тот факт, что "лидер" все это путает и его самоуверенность
рождается именно на почве... упрощенной картины мира и в силу упрощения искаженной.

Хотя... в будущем должна найти признание и понимания модель адаптивного компьютерного тестирования, которая позволяет НЕ предъявлять слабым участникам слишком трудных заданий: если ты не прыгнул на 120, то зачем тебе давать задание высотой 180 см? Пока же наше население (даже более или менее просвещенное) совсем плохо понимает как работает модель "адаптивного тестирования". Представляю себе какой "вой" поднимется в сетях: "Караул, засуживают - одним легкие, а другим трудные задания дают!!". Этот самый вой заставил, между прочим, передовые тестологические фирмы отказаться пока от использования этой модели в аттестационных (квалификационных) оценочных процедурах. Но... адаптивное тестирование - это уже немного другой разговор.

Ваш АШ


Всем доброго дня!

По итогам тестирования мне не удалось пройти дальше первого отборочного тура. Однако это не оставляет желания выразить своё мнение о тестировании и смысле конкурса.

Вопросы, с которыми пришлось столкнутся, в моем понимании не имеют ничего общего с теми навыками, способностями и умениями, которые присущи лидерам. Лидеры это те, за кем готовы пойти люди. Те, в кого готовы верить безоговорочно. Далеко не каждому интеллектуалу и эрудиту это дано. Глубоко сомневаюсь, что поставленные в тестировании отборочного тура задания, смогли выявить именно лидерские качества.

Уверен, что большинство лидеров сверху до низу вертикали власти не смогли бы ответить на значительную часть вопросов в заданных временных рамках. И это нисколько не делает их слабыми или людьми не на своем месте. Нет. Просто у лидеров другие задачи. А знать тонкости про Коробочку, про фразы из литературных шедевров Гоголя или о деяниях Ивана Калиты хорошо и важно, но для этого есть профильные специалисты и команда лидера. Сомневаюсь, что профессиональные историки и литераторы обладают недюжей смелостью и способностью нести ответственность за коллектив и, если хотите, за нацию.

Тестирование отборочного тура создало впечатление, что я на конкурсе "Интеллектуалы России", куда бы я хотел попасть в последнюю очередь.

Тем не менее идея проекта и его организация отличные. Желаю каждому участнику конкурса совершить победу как минимум над самим собой, а как максимум - в конкурсе.

Спасибо большое организаторам за возможность проверить себя!

Здоровья, счастья и процветания всем нам!

Проблема тестологических измерений в их узкой области валидности. Мне постоянно приходится вступать в подобные дискуссии в связи с моим желанием поставить нейропсихологическую диагностику на количественные рельсы. Нейропсихологи, привыкшие работать исключительно качественными, а не количественными методиками, постоянно пытаются убедить меня в том, что количественный подход - это, конечно, неплохо, но в целом о состоянии человека нельзя судить только по количественным индексам. Нужно видеть, как он выполняет определённые задачи, приближенные к реальной жизни (предполагается, что ситуация нейропсихологического обследования позволяет моделировать реальную работу высших психических функций). Так вот я всё больше склонен соглашаться с тем, что результаты любого теста плохо предсказывают реальную деятельность человека. И в этом смысле участник конкурса, конечно, прав. Эрудиция, требующаяся лидеру, это далеко не та эрудиция, которую можно измерить тестом. Лидер не обязан знать, какого цвета были штаны Чичикова или какие туфли любил носить Обломов. Даже если он читал соответствующие произведения, он мог просто не обратить на это внимание. Но лидер должен уметь находить эту информацию при необходимости.

А мне жалко, что автор оценки ТОЗ оказался отчисленным. И в этом смысле я согласна с заключительным высказыванием Никиты Александровича:" Так вот я всё больше склонен соглашаться с тем, что результаты любого теста плохо предсказывают реальную деятельность человека. И в этом смысле участник конкурса, конечно, прав. Эрудиция, требующаяся лидеру, это далеко не та эрудиция, которую можно измерить тестом. Лидер не обязан знать, какого цвета были штаны Чичикова или какие туфли любил носить Обломов. Даже если он читал соответствующие произведения, он мог просто не обратить на это внимание. Но лидер должен уметь находить эту информацию при необходимости. "
Отчисленный кандидат безусловно смог быс сформировать толковую команду, в которой был бы толковый эрудит. А главное, он наверняка сможет найти информацию,необходимую ему для решения определенной задачи. В сфере знания объем информации стал беспредельным. Поэтому важно понимать какая информация нужна и уметь ее находить.
А вот как этот кандидат воспринял свою неудачу-это дорогого стоит и о многом говорит. Потеряли ценный кадр!
Никита Александрович! Я солидарна с Вами.

Нина Аркадьевна! Вы правы. Но отношение отчисленного кандидата к своей неудаче в "знаниевом" тесте,интонация его оценочного текста,вряд ли говорит о его безграмотности. Может быть, вес знаниевого теста следовало бы сделать менее весомым по сравнению с требуемыми лидеру личностными свойствами. Мне кажется, что этот кандидат больше думал бы о людях и деле,чем об удовлетворении своих личных комплексов. А это ,как мы знаем,очень весомо!

Из области фантазий: я предполагаю,что в знании ,кроме всего прочего, есть две составляющие-информационная конкретика и смысл , содержащийся в этом знании. За усвоение первого во многом отвечает память, за усвоение второго - интеллект и личность. Мне кажется,что отчисленный кандидат сформирован прежде всего смыслами .содержащимися в знаниях, которые он получал.,а "знаниевые" тесты проверяют "объем остаточного знания, сохранившегося в памяти."
У меня не было проблем с усвоением информационной конкретики в школе и первые четыре года учебы в университете (два года на филологическом факультете и два года на Отделении психологии философского факультета). А после явной информационной перегрузки на третьем крсе учебы на философском ф-те, память на информационную конкретику "подсела",а смыслы усваивались и до сих пор работают во мне.
Конечно, сочетание отличного усвоения обеих составляющих знания дает великолепные плоды и мы их знаем,но в наш информационный век это становится уже редкостью.

Никита Александрович,

отлично, что Вы заговорили про "штаны Чичикова" и "туфли Обломова".
Эти красочные, эксцентричные примеры дают мне возможность продолжить
и углубить разговор о... силе и информативности эмпирических индикаторов (отдельных вопросов в тесте на эрудицию). Как Вы сами-то считаете, на такого рода вопрос, если его трудность измерить на шкале "процент правильных ответов", какой процент испытуемых ответит правильно? Или, если продолжать метафору с прыжком в высоту, какой высоты планка? И будут ли такие вопросы обладать дискриминативностью. Не люблю разговоры "в общем виде" - без количественной конкретики. Это как раз примеры разговоров, которую усугубляют дефицит количественного тестологического мышления.

Ваш АШ

Елена Петровна,

это замечательно, что Вы принимаете активное участие в этой дискуссии.
Но... объясните мне, пожалуйста, на основании каких данных Вы решили,
что отсев производился только по баллам ТОЗ и в этом случае другие методики и другие показатели не участвовали? Вы читали правила дистанционного тестирования на конкурсе ЛР? Вы знаете, на каком уровне прошла граница - "точка отсечения"? Вы уверены, что человек, который знает меньше, чем половина его подчиненных, может эффективно поставить вопрос, где и что именно они должны искать? Чтобы грамотно ставить вопросы, нужно чтобы пространство знаний было как-то структурировано. Например, возьмем астрономию. Если у человека нет в голове таких примеров "газовых гигантов", как Юпитер, Сатурн и Уран, то существуют ли в его сознании само понятие "газовый гигант"? Или что такое "экзопланеты"? Исследования в области когитологии (исследования роли прототипов) показывают, что без опорных точек (примеров) понятие оказывается "выхолощенным", более бедным по содержанию или... отсутствует вовсе. Хотите, проверим сами? У нас есть такая онлайн-технология, она называется "Конкурс вопросов". Давайте проверим, кто умеет задавать вопросы в какой-то предметной области, а кто не умеет вовсе - те, кто попадает в высокую группу по эрудированности, или те, кто в низкую?

Вы даже не представляете, какие дикие ошибки в некоторых областях продемонстрировала добрая половина участников конкурса ЛР? Видно, что их историческое и географическое пространство искажено настолько, что они готовы задавать вопросы примерно в таком ключе: "Когда СССР напал на Германию в 1939 году?" Буквально так! И будут они настаивать на том, чтобы ответы подтверждали их такое понимание истории Второй мировой войны. Извините, что пример оказывается несколько политически ангажированным. Но... я уже писал где-то, что типичная ошибка по истории на конкурсе в ТОЗ была в том, что пакт Молотова-Риббентропа был спроецирован в конец 80-х годов.

Резюме. Мое главное утверждение: есть смыслообразующие фактологические точки в пространстве знаний, они выполняют роль "опорной конструкции", без них НЕ СУЩЕСТВУЕТ вообще никакого осмысленного пространства. А без этого пространства человек НЕ МОЖЕТ задавать осмысленные вопросы.

Ваш АШ

P.S.
Напрашивается пример из области химии, причем самой простой неорганической химии. Если человек не знает ни одной кислоты (хотя бы соляной или серной), ни одной щелочи, ни одной соли, то какое у него может быть представление о том, что такое реакция нейтрализации?

P.S2.
Грандиозное заблуждение - это упование, что можно недостающие знания добыть с помощью Интернет-справочников. Я бы назвал это заблуждение "эпидемией невежества". Также как нельзя с помощью справочников в течение нескольких секунд сформировать отсутствующие в голове понятие "реакция нейтрализации" (потребуется, как минимум, несколько минут, а то и несколько десятков минут, и этот процесс называется порождением нового знания, а не применением существующего), так нельзя визуально себя представить с помощью тригонометрического круга, как связано уравнение окружности X^2 + E^2 = R c теоремой Пифагора. Ведь человеку, у которого нет в голове ни теоремы Пифагора, ни понятия "уравнение окружности", ни понятия "тригонометрический круг", придется за каждый этим понятием лазить в Интернет-справочник, и задачка связывания этих незнакомых понятий займет точно больше десяти минут (!). А у знатока за секунды в сознании вспыхивает картинка, которая несет в себе визуальный смысл этого понятия. Поэтому компетентный человек, содержащий базовые знания в уме, решает за 1 час такие задачи, на которые невежественному человеку требуются... недели (!). Это же самое, пожалуйста, спроецируйте на задачи государственного управления, в ходе решения которых человек должен в уме представлять, где находятся какие регионы РФ и как динамически менялись между ними границы в течение последних хотя бы... пяти столетий. Без таких знаний обязательно будут происходить такие события, как роковая "новогодняя ночь 1994 года в городе Грозном", когда новобранцы сгорели в танках, а Ельцин, Грачев и Ко никак не задумывались, как связана самоотверженность чеченских гранатометчиков с историей Кавказа на глубину хотя бы в 200 лет. Министру обороны в современной динамичной обстановке решения надо принимать не в течение нескольких месяцев или лет (как на написание диссертации), а в течение... нескольких минут или нескольких секунд (!!). И это требует, чтобы базовая картина мира, достаточно качественная, присутствовала не в Интернет-справочниках и не в головах референтов, а именно в собственной голове и нигде больше. Готов настаивать на всем, что написал здесь, с цифрами и секундомером в руках. Вот отсюда и "пляшите", как говорится, то есть вникайте, в чем смысл скоростных тестов на проверку знаний с жестким посекундным контролем времени на решение.

P.S3.

Может кто-то из коллеги вспомнит "Ум полководца" - блистательную, ставшей классической работу Бориса Михайловича Теплова (бесспорного классика нашей отечественной дифферецниальной психологии). Это ум, способный развернуть карту боевых действий как бы "с высоты птичьего полета" и обязательно в очень сжатое время, ибо обстановка очень быстро меняется. И вовсе это относится не только к боевым действия, но к современным транспортным, информационным потокам это все относится не в меньшей степени.

Александр Георгиевич! "Снимаю шляпу" и сдаюсь. Если можно.пришлите ссылку,где я могу познакомиться с вопросами ТОЗ , на которые должен был отвечать отчисленный кандидат. И его результаты, из -за которых он был отчислен в первом же туре.
Я надеюсь,что Вы согласитесь,что наша страна к настоящему вемени очень нуждается в лидерах (управленцах) не только эрудированных (грамотных), умных, способных принимать нестандартные решения, работать с адекватно собранной командой и т.д., но и наравственно мотиврованных в своей упрьавленческой деятельности, не фиксированных на себе и своих личных комплексах ,способных в первую очередь думать о своей ответственности перед людьми и страной. Способность к этому я и увидела в оценочном тексте отчисленного кандидата. А может отчислять кандидатов по результатам всех этапов отбора по совокупности? Понимаю,что это-утопия,но все же,все же ,все же.

Елена Петровна,

на том этапе, когда на конкурсе ЛР проводился ТОЗ, отсев происходил вовсе не только с учетом данных ТОЗ, но с учетом СУММЫ МНОГОБОРЬЯ - учитывались одновременно данные других тестов - тестов вербальных и числовых способностей (а у них был вообще другой разработчик). Низкий балл по тесту ТОЗ участник мог КОМПЕНСИРОВАТЬ, если получал очень высокие баллы по тестам способностей. Даже попадая в третий квартиль по ТОЗ (третью четверть С, ниже которой только 25 процентов из квартиля D - самого слабого), участник мог с высокими баллами по тестам способностей перейти на следующий этап конкурса - на выполнение собственно управленческого теста. Даже комбинация С-А-А оставляла некоторых в конкурсе, но .... они отвалились, как правило, на следующей этапе - на Тест Управленческого Потенциала. Для выхода в полуфинал нужна было лучшая комбинация - хотя бы B-A-A. То есть, полуфиналистов с комбинацией B-A-A было довольно много.

Далее. Многие не понимают, не учитывают логику конкурсного отбора. Это не поиск всех способных и достойных, а поиск ЛУЧШИХ из числа способных и достойных. Конкурс ЛР - это НЕ социальный проект по трудоустройству. Считается, что в нем принимают участие УСПЕШНЫЕ, устроенные, востребованные люди, которых надо ПОВЫШАТЬ. Поэтому вопрос надо переформулировать так: Является ли субъект Х, обладающий эрудицией на уровне второго квартиля В , ЛУЧШЕ, чем субъект Y, попадающий по ТОЗ в третий квартиль С ?

По этому конкретному случаю, хотя я знаю сетевое имя автора отклика (это было группе Лидеры России на ФБ), у меня НЕТ НИКАКОЙ ТЕХНИЧЕСКОЙ ВОЗМОЖНОСТИ идентифицировать участника конкурса и его результат по тесту ТОЗ. Многие не понимают (из числа участников и коллег) эту особенность современных И-конкурсов: все участники закодированы под цифровыми номерами (шифрокодами, ИД-номерами, они по-разному называются). ВСЕ исполнители оценочных технологий не имеют доступа к персональным данным, они НЕ знают никаких имен, никаких ФИО. И напротив, все, кто имеет доступ к базе персональных данных участников И-конкурса, одновременно НЕ ИМЕЮТ доступа к оценочным технологиям (!!). Впрочем, те коллеги, которые работали в серьезных приемных комиссиях, фактически знакомы с такой технологией шифрования работ. Отличие в том, что не человек-экзаменатор проверяет конкурсные работы, а компьютер подсчитывает балл по тесту и в одну секунду выполняет тысячи и миллионы операций.

Я привел, кстати, спокойный и вежливый вариант критического отклика. Ну зачем нам здесь обсуждать несерьезные реплики скандальных персонажей? Увы, такие тоже были. Их было, слава Богу, меньше, чем корректных реплик, но они были.

Ваш АШ

Спасибо,Александр Георгиевич! Я поняла. Дай Бог,чтобы достойные кандидаты попали в систему управления Россией. Как давно их не было там!

Возможно, лучший управленец тот, кто не участвует в конкурсе, а в это время управляет.

Александр Георгиевич! А это ведь обратная связь. Ее бы интенсифицировать и усилить.

А вот с этим трудно согласиться,если иметь в виду,как обстоят дела в стране.

Инна Николаевна,

Вы принадлежите к тому многочисленному отряду участников конкурса, которые считают, что настоящему управленцу ВСЕ РАВНО ЧЕМ УПРАВЛЯТЬ? Будь-то малое предприятие, завод, отрасль, страна? А Вы знаете, сколько у нас "золотых медалистов", которые успешно забывают базовые знания про Россию? Потому что целью для них было в школе - получить медаль, и классическую русскую литературу изучали лишь ради медали, и историей интересовались лишь ради медали, а когда требования эти ушли, остались в прошлом, они все это забросили, потому что культура России им НЕ ИНТЕРЕСНА, потому что история России им НЕ ИНТЕРЕСНА, не говоря про географию. А конкурс называется, обратите внимание, не "Лидеры молокозавода", и даже не "Лидеры РЖД", а "Лидеры России". На второе слово обратите внимание. Не просто накачка мозга фактами, а ЦЕННОСТНЫЕ ОРИЕНТАЦИИ выражаются в знании о России, а это от Вас явно ускользнуло, Инна Николаевна. Как, впрочем, от многих. Помешал, видимо, подзаголовок конкурса "Конкурс управленцев", да? Поговорите тогда не со мной, а с другими членами Экспертного совета конкурса, с другими членами Наблюдательного совета конкурса, которые выбрали из множества предложенных вариантов различных тестов для дистанционного этапа именно тест ТОЗ - на знание русской литературы, российской истории, российской географии, государственного устройства России. Выразите за этот выбор свое недовольство лично Сергею Кириенко, поспорьте с Александром Аузаном. Что касается "наспех слепили по типу ЕГЭ", то я огорчен вашим поверхностным знанием ЕГЭ и безапелляционным тоном при этом. Где Вы видели задания на ранжирование 10 объектов в тестах ЕГЭ?

Неприятно бывает вдруг обнаружить, что кто-то из активных членов нашего сообщества какие-то вещи видит... ну совсем по-другому, совсем другим складом ума обладает, совсем другими ценностями руководствуется... Впрочем, ничего удивительного. Ставка на технократический подход к управлению по-прежнему В СИЛЕ. Можно наняться при таком подходе поуправлять чем-нибудь в ГОНДУРАСЕ - теплая страна, между прочим. Эффективный менеджер - это и в "Африке туз", да? В общем все равно, какой страной управлять, главное - знать принципы управления и владеть технократическими компетенциями: планирование, организация, контроль. Как хорошо, что есть в руководстве нашей страны люди, которые с этим несогласны.

Ваш АШ

Я так понимаю, вопрос сводится скорее не к тому, что управленцам не нужно знать русскую литературу, историю, географию и государственное устройство России, а к тому, что тестом очень сложно измерить эти знания. Для этого, по-видимому, нужна очень длительная экспертная работа по отбору тестовых заданий, которые не будут иметь слишком узкую область валидности.

А может быть ,тестовые методики в принципе не могут адекватно оценить эффекты усвоения этих знаний,поскольку усвоение этих знаний не сводится только к их запоминанию и способности их воспроизвести (из памяти). Есть еще усвоение смыслов,содержащихся в знании,которые формируют и соответствующую мотивацию последующей деятельности, и личностные установки,влияющие на уровень исполнения последующей деятельности.