1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Проблема Доверия в тестовых конкурсах

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 9 ноя 2019.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Уважаемые коллеги!

    Продолжаем обсуждать уроки дистанционного этапа в громко освещаемом конкурсе "Лидеры России". Поясню контекст. В этом третьем сезоне дистанционный массовый отбор-отсев участников проходил опять с помощью онлайн-тестов. Но среди всех этих тестов на способности появился первый такой тест, в котором удалось участникам заранее задать планку отсева в виде простого критерия - 75 процентов правильных ответов (точка 75% на шкале ППО). Этим тестом стал так называемый ТОЗ - "Тест Общих Знаний". Возможность возникла такая в силу нескольких обстоятельств. И ключевое среди них - тот факт, что в двух предыдущих сезонах удалось не только создать большой банк из 600 откалиброванных заданий (по шкале "Уровень трудности"), но построить прогностическую таблицу - при каком проценте ППО сколько будет отсеяно участников. Балл-процент компьютер подсчитавал в этом году сразу после ТОЗ немедленно и сообщал немедленно участнику, перешел он порог 75% или нужны еще попытки (давалось три попытке - по одной каждые три дня).

    Что из этого вышло? - Появилось немало положительных отзывов об этом нововведении, а также о том, что сразу после каждого ответа дается текущая обратная связь (ТОС) о правильности ответа, так что участник сам может на пальцах подсчитать свой сырой тестовый балл и показатель ППО.

    И вот теперь (сегодня) после ТОЗ пошел тест ТУРС (тест умственной работоспособности и стрессоустойчивости). И пошел ТУРС впервые в конкурсе "Лидеры России". По нему не собрано было еще никаких эмпрических норм на участниках, непонятно еще, как будет выглядеть распределение тестовых баллов и где ляжет "точка отсечения" (cut score).

    А вот теперь почитайте один из отзывов на сегодняшний ТУРС (в сети ВК в группе "Лидеры России") и ниже его обсудим.

    Андрей Лупанов
    Так же удивляет почему в тесте, заранее нет пороговых оценок, "Лидеры России — конкурс управленцев" опять будете, как в прошлые года "шаманить" что бы прошли и набрали оценки только "нужные" люди?
    Почему оценка не выставляется сразу по завершении теста, как на общие знания?
    Почему опять все мутно и непонятно,... что бы чиновники смогли набрать нужные баллы?
    Не понятно, почему сразу после прохождения, человек не видит свой рейтинг в некой сводной таблице рейтингов, даже если какой то этап провалил, пусть идет тестируется дальше, что бы знать какие еще ему в будущем надо прокачать скилы....
    Какой то бессистемный подход и крайне не прозрачный....
    Но в целом реализация #КакВАЗ конечно не удивляет...


    Итак, о чем пишет участник Андрей Лупанов? Отвлечемся сейчас от того, что этот участник принадлежит к узкой группе, которая по любому поводу критикует конкурс, и сосредоточимся в его критике на "рациональном зерне". А пишет он о том, что множество раз мне лично доводилось наблюдать в ЛЮБЫХ массовых тестовых проектах, в которых результат был важен не только для самопознания или для индивидуальной психологической консультации, а либо разыгрывались призы, либо происходила аттестация и т.п. Это проекты, которые принято на Западе называть High Stake Assessment (оценка с высокими ставками).

    Абсолютного доверия не может быть никогда (его и нет, если изучить все реплики до и после реплики Лупанова). Но... такие технологические приемы, как немедленный результат после тестирования, повышают Доверие. а отсутствие этого немедленного результата понижает. Еще больше повышает Доверие немедленная обратная связь после каждого ответа, а ее отсутствие снижает.

    Таким образом, о чем я говорю? - О том, что Доверие - это не совсем и не вполне рациональная вещь, а вещь психологическая - основанная на субъективном впечатлении. И мы, как психологи, должны сами это понимать. Наш долг это понимать ЛУЧШЕ, чем другие профи это способны сделать, вовлеченные в управление подобными проектами.

    Если рассуждать сугубо рационально, то немедленный результат в сырых очках (сколько процентов правильных ответов удалось показать в сеансе) ничего на самом деле НЕ гарантирует. Уже если какие-то злоумышленники-организаторы задумали "мухлевать", то они могут при наличии длинной шкалы всегда выше балла ППО=99 понатыкать искусственно в рейтинг-лист неограниченное число псевдоучастников с баллом ППО=100 (!). И в таком случае никакая немедленная ОС (обратная связь) никак не поможет. Но... субъективно наивным участникам кажется, что ОС помогает - дает участнику больше шансов для контроля над ситуацией, то есть дает, например, больше шансов для обоснованной апелляции после несправедливого решения. Нам приходится учиться управлять такими проектам с учетом именно Субъективных Факторов Доверия, не отрицать их значимость, просто пренебрегая этими факторами из-за их субъективности, а вовсю использовать эти факторы, чтобы повысить Доверие.

    ... Я раньше вообще не понимал, почему некоторые участники всеми силами борются за 100-процентный результат. Зачем формулируются какие-то мелкие придирки к каждому заданию, которые мешают показать 100-процентный результат. Я это считал результатом НЕПОНИМАНИЯ вероятностной природы тестовых измерений: мол, высокий результат - это только 100-процентный результат, а то, что ниже точки на шкале ППО=100%, то все уже не есть высокий результат. Хотя... первый признак профи в области тестологии - это считать тест, который позволяет показывать 100-процентные результаты, дефектным А ведь такой подход создает ... ПРОПАСТЬ непонимания между дилетантами и профи в области тестологии.

    Но... теперь я даже и в этом паранойяльном стремлении к 100-процентным результатам тоже склонен предполагать скорее проявление не столько НЕПОНИМАНИЯ, сколько... глобального НЕДОВЕРИЯ. Ведь в самом деле подумайте о следующем - о том, как рассуждает, или какова психологика (полубессознательная система умозаключений) участника: "Если я не покажу 100-процентный результат, то мерзавцы-организаторы смогут поставить выше меня в рейтинге столько нужных им людей, сколько захотят. НЕТ! - Только 100-процентный результат может мне гарантировать победу!".

    Что скажете, коллеги?

    Ваш АШ
    Последнее редактирование: 13 ноя 2019 в 21:16
  2. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Скажу, что 100% доверия к результатам конкурса (любого, не только этого) не будет никогда.
    Ещё скажу, что доказательства связи "результат конкурса - высокоэффективный менеджер" пока никем не представлены.
    И наконец, есть люди, которые участвуют не для победы (проблема доверия/недоверия никуда не делась, на самом деле), а по принципу новой интелллектуальной разминки (иногда всей семьёй или частью коллектива) и "а вдруг".

    Запрос на эссе и проект (!) на этапе, когда значительная часть участников будет отметена, лично мне напоминает банальный краудсорсинг. 100000 проектов - неплохо, да и работой по их рассмотрению можно занять целые ведомства и департаменты аж до следующего конкурса в 2020.
    Тарасенко Н.Н. нравится это.
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Инна Николаевна, здравствуйте.

    Понимаете, какая штука. Не хотелось бы сразу обсуждать ВСЕ проблемы, связанные с конкурсом ЛР, в одном флаконе, как говорится. Я пытался на этой ветке сфокусировать внимание на одной проблеме, довольно важной - это проблема Доверия. Она же проблема авторитетности конкурса как массового мероприятия общегосударственной значимости. При этом обратите внимание, что мой исходный тезис ничем не отличается от Вашего исходного, который я еще раз цитирую ниже. Но... при этом я утверждаю следующую мысль, к которой и прошу отнестись.

    Отсутствие 100-процентного доверия, не означает, что не имеет смысла бороться за повышение уровня Доверия.

    Речь идет о частичном повышении - с 60 процентов, допустим, до 70 (про числу доверяющих участников). Или с 30 процентов до 40 процентов. Как Вы понимаете, с моей точки зрения, неважно, какой мы уровень сейчас констатируем и с какой точностью, а важно одно - добиваться повышения хотя бы 10 процентов, хотя бы на 5 процентов. Вот к этому подходу Вы никак не отнеслись, согласитесь. По каким-то признакам Вам не нравится этот проект, как я Вас понимаю (уже не первый раз Вы выражаете именно такую свою критическую позицию), поэтому Вы не видите смысла обсуждать улучшения на 10 и тем более на 5 процентов. Так?

    С уважением,
    АШ



  4. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Если нужно кого-то сделать чиновником по блату, то это сделают без конкурса (ЛР - не единственный способ стать управленцем федерального уровня); для этого не нужно подтасовывать результаты конкурса - это слишком трудоёмко и можно попасться.
    Коклина С.Н. нравится это.
  5. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    Не так, Александр Георгиевич, не так. Мне не конкурс не нравится, а позиционирование методологии конкурса как нечто совершенное и валидное.
    Что касается проблемы доверия - согласна с Вами.
    О методиках - вижу, что меняется подход, но опять же: та ли это "воронка продаж" - пока сомнения. Они основаны на моем более чем 20-летнем опыте работы в сфере госуправления, проведения разного рода проверок от имени органов власти, работа с первыми лицами крупных предприятий и организаций.
    Что мне, действительно, не понравилось очень, начиная с ЛР-2017 - реакция некоторых лиц, участвовавших в разработке/продаже тестов для ЛР, на мои КОНСТРУКТИВНЫЕ замечания. Вспоминается сразу фраза, которую мне сказали на одной из конференций в Москве: "Что вас удивляет? Разве Вы не знаете, что психологи очень злые люди?".
    Вот когда на мое замечание, как можно улучшить методику, я получаю публичные обвинения в том, что я просто обижена, что не прошла тесты или еще что-то из области додумывания, вынуждающее или начать ОПРАВДЫВАТЬСЯ или уйти из дискуссии, вот это неприятно. А всё остальное - суть повышение квалификации в психодиагностике :)


  6. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги,

    а вот какой отзыв мы читаем на тест ТУРС (Тест Умственной Работоспособности и Стрессоустойчивости), в котором одним из субтестов стал наш геймифицированный субтест "Считаем ложки":

    Константин Левитиан
    Тест интересный, технически всё прошло хорошо, спасибо организаторам! Любопытный момент: если в прошлом году ключевым фактором на отборе первого этапа была глубокая эрудиция (например, надо было ранжировать карельские озёра по глубине), то сейчас, похоже, ключевым будет навык скоростного счёта ложек. Возможно, меняются требования к лидерам: в условиях ограниченного бюджета нужны те, кто быстро умеют сосчитать количество едоков.

    Вот как бурно работает фантазия участников! Минимальная непрозрачность условий прохождения этапов сразу порождает кучу домыслов! А ведь не был никогда на самом-то деле тест ТОЗ ключевым фактором отбора-отсева. И не были никогда ключевыми и вопросы про озера, включенные в этот тест (которые весили не больше 3 процентов от всего пула вопросов в сеансе). Отсев в 2017 году производился по сумме баллов за три теста, в которой низкий результат по ТОЗу можно было компенсировать высокими результатами по тестам способностей. Но... народная фантазия не хочет вдумываться в формулы конкурса, которые... сложны для понимания и для... "описания в двух словах".

    Похоже, что ложки в этом году стали сами по себе не просто "тест-объектом", но поводом для всех, способных к минимальному сарказму, но без тонкого ЧЮ, ибо тонкое ЧЮ мешает беспредельничать в сарказме. При этом сарказмирующие сами не чувствуют, что стремятся изобрести что-то вроде "пародии на пародию"... и при этом расписываются в отсутствие у себя не то что тонкого ЧЮ, но вообще всякого ЧЮ.

    Вопрос, таким образом, появляется к коллегам и такой тоже: Должен ли Лидер России обладать Чувством Юмора? Или хотя бы должен ли он воспринимать условность тестовых заданий, которые на самом деле вовсе не обязаны в деталях имитировать управленческую деятельность. Является ли "очевидная валидность" главным критерием для отбора тестов для такого конкурса? - Да, в случае отбора в кулинарный техникум, я бы лично не сомневался в том, что "очевидная валидность" - это неизбежный Главный критерий. А вот в случае с "Лидерами России" все еще надеюсь, что и ЧЮ здесь уместно, и способность понимать условность тестовых объектов...
    Последнее редактирование: 10 ноя 2019
  7. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    В наших условиях не должен. Более того, это может даже мешать.
    Шмелев А.Г. нравится это.
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Никита, ценю вашу точку зрения, тем более высказанную так определенно и открыто.
    Но я считаю ровно наоборот: без ЧЮ в наших условиях Лидеру просто ... не выжить :)


  9. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    А вот теперь попробуем проанализировать такие 3 реплики двух участников проекта ЛР. Эти позиции мы уже раньше брались обсуждать, но давайте проясним еще раз, чего же здесь не хватает участникам, чтобы выбраться из своих заблуждений.

    Светлана Середенко
    Вот скажите мне, кого лучше поставить на управленческую должность, того кто профессиональный управленец и прошел тест общих знаний на 70%, или того кто так себе управленец, но прошел тест общих знаний на 75%? В текущей системе пройдет который так себе управленец. Так может хотя бы начинать тесты нужно с теста на управленческий потенциал? А может нужно всем давать возможность пройти все тесты? И не кажется ли вам, что система пропускает вперед не управленцев и лидеров, а людей которые замусорены фактологией, но не видят процессы?

    Алексей Кузнецов
    Светлана, 70,75 какая разница? Это всего лишь допуск к тестам на управленческий потенциал.

    Светлана Середенко ответила Алексею
    Алексей, Вот именно 70 - 75 какая разница. Но организаторы видят разницу и тот у кого по итогу 70 исключают. Хотя он мог быть гораздо более профессиональным управленцем. На мой взгляд тесты перевернуты с ног на голову. Ведь ищем управленцев в первую очередь, которые смогут привести страну к всеобщему достатку и процветанию. А начинаем с поиска учителей географии. Чтобы организовать авто мастерскую не нужно быть профессиональным механиком, нужно быть профессиональным управленцем, который найдет профессиональных механиков и организует их работу. Но похоже организаторы считают иначе.

    Коллеги, давайте оставим на время в стороне обсуждение весьма важных и тонких различий между Лидером и Управленцем (хотя тут тоже, несомненно, зарыта еще одна собака). Это печально, но подзаголовок "конкурс управленцев" поставил знак равенства между этими РАЗНЫМИ понятиями...

    Давайте обратимся опять-таки к... четырехклеточным таблицам сопряженности (ЧТС), которые, я надеюсь, постепенно становится инструментом не только для подсчетов, но и инструментом мышления для тех, кто участвовал в наших ПсихоМетрических Школа (зимней и летней).


    Как Вы сами считаете, многое ли в значениях ФИ-коэффициента сопряженности зависит от той точки отсечения, по которой построена ЧТС? Напомню что мы в последней летней школе создали для участников интерактивную модель, которая наглядно показывает, как от от "точки отсечения" (cut score) на шкале тестовых баллов сильно зависит величина коэффициента сопряженности (простейшей меры эмпирической валидности теста). Таким образом, разница между точкой, которая отсеивает 90 процентов участников, и точкой, которая, напротив, оставляет в конкурсе 90 процентов участников может быть КАРДИНАЛЬНОЙ (то есть очень большой, настолько что меняются все выводы). Но... бытовому (антитестологическому) мышлению наших участников не свойствен разговор о нелинейных, сложных числовых зависимостях - о том, насколько и в каких областях ФИ-коэффициент растет или падает в зависимости от точки отсечения. Им хочется получить ПРОСТОЙ вывод (!). Настолько хочется, что они просто НЕ понимают, что самый простой - это будет скорее всего НЕВЕРНЫЙ вывод.

    Переведем разговор с математического языка на естественный и все-таки попробуем нелинейную зависимость описать словами. Получается у меня примерно так. Если тест создается как трудный тест для большинства, то есть точка отсечения (порог отбора) лежит высоко на шкале и большинство отсеивается и только меньшинство остается в конкурсе, то такой тест, конечно, может оказаться не валидным (бесполезным и даже вредным) для отбора "эффективных менеджеров". Почему? - А именно по тому, о чем написала выше участник чата в сети ВК Светлана Середенко: в группу отсеянного большинства попадают очень ценные управленцы и среди тех, кого отобрали оказывается больше не хороших управленцев, а хороших... учителей географии.

    НО... если мы создали легкий тест и точку отсечения разместили ниже по шкале тестовых балов, то отсеянными будет меньшинство, а не большинство участников. Допустим это 25 процентов участников с низкими баллами по тесту эрудиции. И в этом случае может оказаться , что среди этого отсеянного меньшинства АБСОЛЮТНО НЕВЕЖЕСТВЕННЫХ ЛЮДЕЙ как раз нет ни одного потенциально-хорошего управленца, ибо хорошие управленцы, как правило, обладают минимальными широкими знаниями (все хорошие оказывается в группе большинства, где оказываются и учителя географии тоже, но не только учителя географии). Это надо, конечно, перепроверять, к чему и призывает Инна Свириденко, и к чему я тоже ПРИЗЫВАЮ. Надо строить реальные ЧТС для разных точек отсечения и выяснять, какая точка отсечения дает оптимальный эффект и есть ли такая точка на шкале данного теста вообще. Все остальное - это досужие домыслы, которые никогда не разрешат ни одного спора. Надо иметь аппарат - мыслительный и статистический, который может работать объективно и помогать в таких спорах. Этот аппарат я и называю термином "тестология". Хотя... многим не нравится ни сам термин, ни сами тесты... - многим из тех, которые в силу конкретности своего мышления НЕ понимают, что отборочные процедуры без тестов - это тоже "тесты", только слабо-формализованные или вовсе не формализованные, подверженные субъективным искажениям и потому менее валидные, хотя валидность таких неформализованных процедур, как правило, просто никем никогда не была измерена - не приходило в голову в том числе по простой причине - нет понимания, как это делать с качественными данными. Но ЧТС всем может показать, как это можно делать с качественными данными: если эйчар-отборщик отсеял часть кандидатов по своим субъективным критериям, а частб принял, то с точки зрения ЧТС это не просто 2 категории А и В, а на самом деле... четыре категории кандидатов:

    А - кандидаты, принятые по субъективным критериям и способные работать
    В - кандидаты, принятые по субъективным критериям и ... НЕ способные работать
    С - кандидаты, НЕ принятые по субъективным критериям и... способные работать
    D - кандидаты, НЕ принятые по субъективным критериям и НЕ способные работать

    Сам наивный интервьюер думает, что он порождает только 2 категории кандидатов в результате своей работы- А и D, то есть работает безошибочно. Но на самом деле, как и любой тест, живой человек-интервьюер тоже ошибается и порождает определенный процент ошибок типа B и ошибок типа С. И этот процент можно и нужно подсчитать. Причем можно всегда (!), но.. это не хотят и не понимают, как это сделать.


    * * *

    ... А теперь вернемся к конкурсу ЛР-3 (третий сезон 2019-2020 гг). Оказалось (и это уже факт), что с трех попыток в тесте ТОЗ на следующий этап конкурса по точке отсечения ППО=75% (семьдесят пять процентов правильных ответов) прошли уже 74% от принявших участие в тестировании, то есть прошли большинство, а не меньшинство. Значит, основной отсев производится в конкурсе вовсе не по "озерам", а по другим критериям и процедурам. И в это лучше вникнуть, чем просто что-то фантазировать и громко озвучивать в сети свои фантазии, оформляя их как "благородное негодование". Иначе это похоже на ложные беспочвенные умозаключения о том, что раньше "вода была мокрей", хотя объективные измерения показывают, что и сейчас она все еще достаточно... мокрая.

    Ваш АШ
    Последнее редактирование: 10 ноя 2019
  10. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Мда, коллеги, всего не предусмотришь, в каком смысле эти ложки могут себя обнаружить...
    Вот что такое тестирование в домашних условиях. А я всегда говорил, что проходить тестирование следует... в специально для этого приспособленном помещении с надписью на двери "Не входить, идет сеанс".


    Наталья Кобелева
    Прохожу тест, по квартире бегает доп.стресс - 5-ти летний сын... Останавливается за спиной и говорит:
    - О, мама, ты нам новые ложки выбираешь купить? Красивые!
    )))
  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Привожу еще одно " яркое и убедительное" протестное высказывание одного из участников конкурса.


    Артем Боярских
    Неужели настоящий лидер должен быстро считать ложки с фигурками и помнить какой художник какую картину нарисовал!!!! Какой бред!!!

    Казалось бы логически правильное заявление, оформленное в виде риторического вопроса, да? А ведь в нем содержится определенная логическая ошибка, обнаружение которой требует немалых усилий, а именно - требует отказа от обыденной логики и переход на логику научного мышления. Чем же эти две логики отличаются друг от друга? - А тем, что обыденная логика не признает различий между понятиями "необходимое условие" и "достаточное условие" и все сводит к констатации наличия связи или ее отсутствия. А научная логика различает необходимое и достаточное условия.

    Давайте перевернем вопрос, чтобы объяснить Артему Боярских спокойно и убедительно, где же он ошибается. Давайте зададим вопрос так: а может ли настоящий лидер позволить себе совсем не уметь сосчитать даже ложки (?!) и совсем не знать почти ни одного художника, ни одного писателя, ни одного кинорежиссера или киноактера (?!). При такой постановке вопрос выглядит совсем по-другому, правда? И как бы напрашивается ответ такой: "Нет, настоящий лидер не может быть таким... идиотом".

    В чем же тут логическая собака зарыта и как ее показать максимально понятным способом? - Опять-таки, с моей точки зрения, не обойтись без... четырехклеточных таблиц. Но на этот раз это ЛОГИЧЕСКИЕ таблицы, точнее логико-статистические таблицы. Что такое отношения "необходимого условия" и чем они отличаются от "Достаточного условия". Опять-таки надо построить логические таблицы, чтобы это УВИДЕТЬ(!).


    Вот как выглядит таблица для идеального "достаточного теста":

     Эффективный ЛидерНеэффективный Лидер
    Высокий балл по тесту100%0%
    Низкий балл по тесту50%50%
    Таблица 1.

    Идеальный достаточный тест не обладает стопроцентной плотностью связи, ибо он информативен в верхней строке таблицы и... совершенно не информативен (беспомощен в прогнозе) в нижней строке: низкий балл не дает никакого прироста в знании, будет ли человек эффективен как лидер-управленец или не будет. Событие "Высокий балл" является достаточным условием, но не является необходимым. По-другому, эту же мысль можно сформулировать так: событие "низкий балл" не дает возможности спрогнозировать неудачу участника конкурса.

    А вот теперь разберемся, как выглядит таблица для идеального "необходимого теста":

     Эффективный ЛидерНеэффективный Лидер
    Высокий балл по тесту50%50%
    Низкий балл по тесту0%100%
    Таблица 2.

    Как видим, идеальный необходимый тест точно также НЕ обладает стопроцентной плотностью связи, но он работает ПО-ДРУГОМУ: он информативен в нижней строке таблице и... совершенно не информативен (беспомощен в прогнозе) в верхней строке: высокий балл не дает никакого прироста в знании, будет ли человек эффективен как лидер-управленец или не будет. По-другому, эту же мысль можно сформулировать так: событие "высокий балл" не дает возможности спрогнозировать удачу участника конкурса.

    Итак, вернемся к высказыванию Артема? - Он утверждает, что высокий балл по тесту знаний или примитивному тесту на быстрый счет не дает возможность утверждать, что человек будет лидером. - Совершенно верно! Это совершенно справедливо для "необходимых тестов", ибо в верхней строке (для верхней группы) они беспомощны в прогнозе. Но... при этом Артем совершенно не задается вопросом о том, а что происходит с "низкой группой". Почему не задается этим вопросом? - А потому что он руководствуется обыденной, а не научной логикой. Его внимание концентрируется лишь на верхней строке, лишь на двух случаях, предусмотренных верхней строкой. И он при этом совершенно не думает о нижней строке логико-статистической таблицы. И ... упускает из внимания, что как тест "отсева идиотов" такой тест вполне может быть полезен. Всем ли это видно, глядя на таблицу номер 2?


    Стоит ли здесь объяснять, что при низком расположении точки отсечения на шкале ППО мы скорее получаем таблицу номер 2, чем таблицу номер 1, а именно - отсеиваем "идиотов", тем самым повышая шансы оставшихся нормальных людей на победу в конкурсе. Применив последовательно несколько "отсеивающих тестов", мы продвигаемся к задаче формирования более узкой круга кандидатов - тех, кого можно пригласить на более важных и валидный очный этап конкурса. Все многоэтапные воронки отбора, если они разумны, так и должны работать - на первый шагах надо применять тесты отсева (необходимые тесты), а не тесты отбора (достаточные тесты). Тем более в тех случаях, когда "достаточные тесты" не просто дороги, а их просто физически невозможно реализовать на выборке в 200 тысяч человек.

    Еще раз, попробуем вернуться теперь с формально-логического языка научной тестологии, на язык содержательных рассуждений. Что такое "необходимый тест" - это тест на минимальные необходимые задатки эффективного менеджера. Должен ли эффективный менеджер ходить, говорить, считать в уме (складывать однозначные числа), видеть механические ошибки в слове типа "менджер"? - Ну очевидно, что должен. Но... это не очевидно бывает участникам конкурса, которые не понимают, что на первых массовых этапах НЕТ ФИЗИЧЕСКОЙ ВОЗМОЖНОСТИ провести оценочные процедуры, которые напрямую и сразу оценивают именно сами по себе менеджерские навыки. Приходится применять "подводящие и косвенные тесты", которые отсекают заведомо непригодных, но не отвечают на вопрос о пригодности лиц с высоким баллом.

    Прошу прощения за резкий термин "идиот", но иногда без обострения нельзя ни до кого достучаться... Увы.

    Ваш АШ
    Последнее редактирование: 11 ноя 2019 в 08:45
  12. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Прокомментируем еще и такое обращение к организаторам (чаще "лидерами" называют в Сети участников, но тут организаторов). Это на тему теста ТУРС, состоявшегося 9-10 ноября:

    Оксана Моцарт
    Лидеры, Вы явно пытались проверить стрессоустойчивость участников путем замера скорости их ответа на довольно странные задачи. А, по факту, проверили скорость браузеров участников, их интернета и то, overclocked или обычные компьютеры они использовали. С учетом того, что не все здесь киберспортсмены (я надеюсь!), и что с первой попытки наверняка прошли тест без проблем именно те, кто упорно играют в онлайн-игры (и, соответственно, сразу додумались брать ускоренные компьютеры и быстрый интернет), - был бы смысл сделать именно этот тест "обучающим" с несколькими попытками. А также не пытаться заставить 100+ тыс. участников протестироваться за 2 суток - очевидно же, что это даст медленный переход между страницами, что противоречит концепции теста "на стрессоустойчивость", так как в первую очередь диагностирует проблемы используемой ИТ-платформы, в пик сбоев которой можно или попасть или не попасть или попасть частично. Лучше бы добавить попыток и дать людям подобрать подходящий браузер и оборудование. Ведь разыскиваются конструктивно мыслящие люди, не так ли?

    У меня вопрос к тем коллегам, кто еще читает эту ветку. Как Вы думаете, эта реплика Оксаны Моцарт (выразительные имя и фамилия, кстати) появилась бы, если бы заранее было объявлено, что по тесту ТУРС надо успеть за 150 секунд сосчитать без ошибок ровно 27 ложек и это способны сделать 80 процентов участников конкурса ЛР? - Мне кажется, что тогда Оксане трудно было бы фантазировать по поводу "киберспортсменов", ибо понятно, что 80 процентов участников такого конкурса никак не могу быть киберспортсменами. А вот давать не одну, а хотя бы 2 попытки - это было бы полезно и справедливо, я бы с этим согласился. Но для всего этого приходится хотя бы один раз эту новую методику провести так, как она проводится сейчас: без заранее измеренных точных норм (что не дает возможность заранее объявить порог без риска серьезной ошибки), без достаточного банка уже откалиброванных заданий, обеспечивающих равноценность попыток по трудности и т.п.

    Одна из больших методических трудностей во внедрении тестовых (психометрических) методик порождается иллюзией у пользователей, что эта методика может и должна быть отлажена ГДЕ-ТО В ДРУГОМ МЕСТЕ. А ведь точно она будет работать только в том случае, если она отлаживается вовсе не в "другом месте", а именно на этих участниках, именно в условиях реального конкурса с высокими ставками. Вот это опять-таки люди не понимают, поэтому растет Недоверие.

    Непонимание и Недоверие - два камня преткновения в развитии тестологической практики и тестологической культуры в стране.
  13. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Коллеги, день добрый

    Нужно ли чувство юмора лидеру России? Я думаю, что да, нужно. По двум причинам:

    1. ЧЮ - это прекрасная психологическая защита и источник эмоциональной подпитки, жить с ним реально легче (и потом...человек иногда так слаб беспомощен,например, при природных катаклизмах, что относиться к себе слишком серьезно, без самоиронии, без ЧЮ -это просто...смешно:), на мой взгляд);
    2. как правило, наш народ обладает развитым чувством юмора, тонко чувствует разные его оттенки, способен посмеяться над собой, а для меня Лидер России должен быть близок к народу, должен понимать его. Без ЧЮ это невозможно. Не возникнет доверия.

    Однако обладать только чувством юмора - мало. И чувство юмора - это не тождество инфантильности.
    Шмелев А.Г. нравится это.
  14. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Александр Георгиевич, с одной стороны, да, намного лучше, когда есть отдельный кабинет и т.д.; но с другой - мне кажется, эта женщина без вопросов провалила испытание своего управленческого потенциала: попросту не смогла организовать свое время таким образом, чтобы ребенок не бегал вокруг нее во время тестирования, важного надо полагать, и не смогла уговорить ребенка посидеть тихо, раз уж время организовано неправильно или возникли другие непредвиденные обстоятельства. Кроме того, для нее ребенок - "Стресс". Более того, она рассказывает обо всем этом публично
    Семенова С.Н. и Шмелев А.Г. нравится это.
  15. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Оксана Моцарт не поверила бы просто, Александр Георгиевич:)
    Последнее редактирование: 11 ноя 2019 в 14:19
  16. Ярославцева Е.И.

    Ярославцева Е.И. Локомотив

    Александр Георгиевич, коллеги, здравствуйте! Как редко удается вырваться из своей текучки и в паузу заглянуть сюда. Прочла очень интересные тестовые события "Лидоров России", проблемы доверия. Думаю, что элемент доверия очень важен. Он показывает признание определенной ценности, которую видит человек в предлагаемом действии и готов к взаимодействию. Вопрос понимания, конечно, в тестируемой аудитории существует и будет существовать. При любом объяснении не все смогут чувствовать себя свободно в новых, особенно абстрактных математических методах работы с большими социальными группами. Здесь специалисты будут самой маленькой группой из предполагаемой просвещаемой аудитории. И сближать их невозможно. А значит, доверие - основа взаимодействия, возможно
    своеобразное социальное признание валидности. Может это понизит процент скептицизма и критики, но не на много. Вопрошание по осуществленному взаимоотношению - нормальное событие. Можно назвать это попыткой рационализации и у каждого она будет проходить с неизбежностью, перенося его в группу желающитх продолжать отношения или отвергающих такую возможность. (наверное, это построение перспективы, неосознаваемое
    распределение по такой же матрице). Через какое-то время многие войдут во вкус, будут ждать "ложечек", некоторые включат это в свой стандарт самооценки, когда не нужно будет ни с кем соревноваться.
    Но будучи на старте, хотят быть очевидцем выработки результатов, подсчетов очков, голов, секунд! Может быть спортивный опыт стопроцентной точности мешает усвоению более сложных методик?
    Шмелев А.Г. нравится это.
  17. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Елена Ивановна, спасибо за развернутую реплику.

    Мне кажется, что в целом проблему Доверия в таких массовых проектах мы понимаем с Вами очень схожим образом. Но... давайте разберемся более точно с подпроблемкой - со стремлением к 100-процентному результату. В инструкции к тесту ТУРС (где один из субтестов известные Вам "Ложки") говорится следующее:

    "Уважаемый участник! Временные ограничения в этом тесте специально подобраны так, что практичеки НИКТО не может уложиться в срок - решить за 150 секунд все 40 задач - посчитать точно все ложки на 40 экранах. Не огорчайтесь, это нормально, что Ваш результат будет отличаться от 100 процентов - будет меньше. Так задуман тест. Это тест на стрессоустойчивость: полного выполнения плана НЕ будет, но надо показать возможный максимум".

    Не все, но большинство это начинают понимать, что такое ТЕСТЫ - это такие методики, когда вовсе не обязательно каждый может показать 100-процентный результат. Более того, если многие могут, то это... ПЛОХОЙ ТЕСТ. Почему плохой? - Он не выполняет свою задачу, не создает стресса (напряжения) как необходимого фона деятельности.

    Ваш АШ