1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Сетевые круговые онлайн-конкурсы как оценочная технология

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 19 фев 2018.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Здравствуйте, коллеги!

    Я уже пару раз связывал себя обещаниями не просто "тупо зазывать" на шуточные олайн-конкурсы типа "Конкурс Приличных Ругательств" или КАША (Конкурс Анекдотов-Шуток-Афоризмов), но рассказать, а в чем заключается серьезный смысл этих мероприятий.

    На прошедшей неделе (не далее как в четверг 15 февраля) состоялась так называемая зимняя сессия конференции "Оценка персонала" (организатор - журнал "Штат"). Эта сессия открылась выступлением Юрия Шатрова (@Шатров Ю.И. ) о пяти инновационных направлениях в технологиях оценки и первым в этой пятерке было названо направление "Цифровой след". Речь идет в данном случае о нашумевшей после выборов 2016 года в США технологии автоматизированного "углубленного" анализа сетевого поведения пользователей (см. информацию о работах Михаила Косински и Cambridge Analytica). Позже мы именно к этой технологии вернемся.

    На этой же зимней сессией нам с коллегами удалось запустить "пробный шар": так называемый онлайн-конкурс вопросов (спасибо организатору Елене Беляевой, которая на этот эксперимент вполне себе смело согласилась). В нашей системе HT-LINE участники конференции прямо со своих смартфонов вводили формулировки вопросов в адрес ведущих дискуссионной программы конференции, а затем оценивали аналогичные вопросы, предложенные другими участниками. Позднее мы опубликуем здесь результаты этого "конкурса вопросов" (надо синхронизировать с Еленой действия такого рода).

    Итак, дадим очень краткое и упрощенное определение "круговых онлайн-конкурсов": в этих конкурсах состав жюри формируется из числа самих конкурсантов, то есть авторы конкурсных материалов на втором этапе оценивают анонимные конкурсные работы других авторов. Обычно эти вещи обсуждаются в контексте проектов, объединенных термином "краудсорсинг". Но я буду говорить о другом применении - об использовании этой технологии для оценки профессионального (креативного и экспертного) потенциала участников.

    Выслушав выступление по теме "Инновации в оценке", я призадумался: А почему же в список инноваций не включены "онлайн-конкурсы"? В кулуарах между заседаниями я задал напрямую этот вопрос Юрию Шатрову. Ответ получил примерно такой: "Ну это не так уж инновационно звучит теперь. Задача была немножко удивить аудиторию вещами, которые звучат совсем по-новому". Если я неправильно цитирую устно выраженную мысль, пусть Юрий меня поправит, ведь он у нас в сообществе ЭСПП не просто зарегистрирован, а был раньше весьма активен (в последнее время, впрочем, уже редкий гость).

    Но мне кажется, что дело не в том, что онлайн-конкурсы устарели, а в том, что они не используются как таковые для оценки. И я попробую объяснить, как понимаю причины и в чем заключается перспективность этого направления, которое все-таки вполне можно считать новым.

    Чем онлайн-конкурсы отличаются от известной технологии "360 градусов" (или ее прямого предшественника "Социометрии")? В случае социометрии респонденты оценивают ЛЮДЕЙ - видят их имена, видят их фотографии. А в случае онлайн-конкурсов участники оценивают не людей, а их конкурсную продукцию. Это разное! Существенно разные задачи и разные процессы, хотя внешне они весьма похожи друг на друга.

    Вспомним, с чего начался всемирный Фейсбук? - Начался с невинной шалости студентов Гарвардского университета. Студент Марк Цукерберг в начале нулевых, не особенно озадачившись этическими вопросами, просто "скачал" фотографии студентов своего университета из университетской базы данных и стал их предъявлять самим студентам попарно - для оценивания в режиме парных сравнений. Теперь ФБ - это уже 2 миллиарда пользователей (по данным июня 2017 года, которые наверняка к февралю 2018 года уже устарели).

    То есть, в основе была деятельность, сходная с тем, что происходит при социометрии. Она базировалась на потребности получить обратную связь о том, как люди воспринимают такую важную составляющую твоего социального имиджа, каким является твоя фотография. Но... получить эту информацию "бесплатно", увы. правила сетевой игры не позволяли: вначале надо было оценить фотографии других. Кстати, первым таким популярнейшим сервисом в Интернете стала игра "Hot or not", которая сразу же получила перепевы на различных игровых сайтах и сайтах знакомств (Frogger и т.п.). Я тогда интересовался немного мотивацией поведения пользователей в таких проектах и за ними следил (в конце 90-х и начале нулевых). Об истории игры "Hot or not" можно почитать вот здесь:

    https://en.wikipedia.org/wiki/Hot_or_Not

    А что создали психологи (и примыкающие к ним специалисты по оценочным технологиям - социологи, когнитивные инженеры и т.п.)? А психологи создали "360 градусов". Интересно, что в своей основе 360 - это не столько оценочная технология, сколько метод управляемой коммуникации между людьми, усиливающий эффект обратной связи (feedback). С помощью этой технологии люди больше и быстрей узнают о том, как их воспринимают окружающие - коллеги по работе, начальники, подчиненные, клиенты и т.п.

    Так что же получилось? Получилось, что раздвоились и потекли независимо 2 потока разработок и событий:

    1) Огромный и мощный поток - это разработка социально-сетевых технологий и платформ (к ним в наше время, как известно, кроме Facebook относятся такие монстры как Badoo, Мy Space, Google+, более профессиональные Life Journal, LinкedIn, позднее Instagram, Youtube... У нас это всем известные Вконтакте, Одноклассники... Но... стоп! А что оценивают пользователи в этих сетях? Чему они радуются или сочувствуют, чему они ставят свои лайки? - Ответ: не столько людям, сколько их сообщениям, опубликованным фотографиям, видеороликам и т.п. Это направление предоставляет пользователям максимум свободы в самовыражении и в оценивании друг друга. Назовем, это направление "Разработка квази-естественных коммуникационных виртуальных пространств" (условное и длинное название с целью подчеркнуть смысл). В результате этого потока события появилась целая параллельная реальность к нынешнему реальному миру - Виртуальный Мир.

    2) Слабенький и узкоспециальный поток - разработка инструментальных сред для управляемого моделирования сетевых коммуникаций. Пример в нашей русскоязычной профессиональной оценочной нише - это сайт компании BSSL, который носит красноречивое название "Бизнес-социометрия" (ведущий разработчик бывший сотрудник "Гуманитарных технологий", мой соавтор по автоматизированному практикуму в МГУ Александр Ларионов). Отличие этого направления в том, что здесь создаются методики, которые предписывают пользователям определенный сценарий поведения (методика более жесткая и ясно определена). Это не анархическое, а организованное поведение по определенным правилам. Это организованное поведение также отличается от обычного поведения в социальной сети, как отличается швыряние шахматных фигур в лицо сопернику (в стиле Остапа Бендера, проигравшего, как известно, всем соперникам во время сеанса одновременной игры в Васюках) от строгого чередования ходов белыми и черными фигурами по правилам.

    Итак, получается, что в отношении анархического поведения в социальных сетях психологи не имеют никакой возможности ставить конструктивные эксперименты и создавать собственную экспериментальную среду, позволяющую проверять определенные гипотезы. В отношении социальных сетей психологи могут заниматься по большому счету лишь наблюдением - опирающимся, да, на массовую статистику, на Big Data, но только констатирующим наблюдением. Подобно тому, как мы вынуждены собирать факты при наблюдении за поведением в реальном мире. А вот спроектировать определенную систему испытаний мы в этих средах фактически не можем.

    Что такое конструктивные круговые онлайн-конкурсы в этом смысле? - Это игра по определенным заданным правилам. Эти правила позволяют максимизировать диагностическую информативность поведения пользователей. Мы не ждем, когда кто-то сподобится кому-то поставить какой-то одиночный "лайк" или вдруг возжелает предпринять "репост" (переопубликование сообщения на собственной ленте). В этом случае мы задаем правилами искусственного конкурса следующие требования:

    1) Если хотите выиграть в конкурсе Вы должны не только оценивать творчество других людей, но сами предложить для оценки продукт собственного творчества. Ко второму этапу - экспертному - допускаются только те, кто что-то предложит сам, кто пройдет первый авторский этап кругового конкурса.

    2) Если хотите выиграть в конкурсе, Вы ДОЛЖНЫ оценить ВСЕ конкурсные объекты, созданные другими участниками (или репрезентативную выборку). Причем не с помощью простейшей интегральный бинарной шкалы "нравится - не нравится", а с помощью аналитической системы из нескольких различных шкал, чаще всего пятибалльных (могут быть использованы и шкалы разной длины для разных критериев оценки).

    Например, для простоты реализации в упомянутом выше конкурсе вопросов на конференции мы использовали всего только 2 пятибалльные шкалы: 1) актуальность, 2) оригинальность. Но все-таки это были 2 разные шкалы, а не одна шкала "общей оценки". А в нашем здешнем (проводимом в данный момент на этом форуме) шуточном КПР - "Конкурсе Приличных Ругательств" - критериев уже 4 (четыре): Оригинальность, Остроумие, Приличие, Экспрессия.

    "Круговые конкурсы" - это название сугубо рабочее и его вряд ли можно считать вполне удачным. Может быть, важнее подчеркнуть двухэтапность конкурсов, а именно наличие ключевого и необычного второго этапа, на котором авторы превращаются в экспертов по отношению друг к другу.

    В чем смысл экспертного этапа? - В том, что мы при этом получаем важную информацию не столько об объектах оценивания (о самих вопросах, о самих шутках и т.п.). Это была бы задача краудсорсинга. А мы получаем информацию о субъектах оценивания - показатель так называемой "экспертной точности". Эта точность вычисляется автоматически на компьютере как показатель согласованности (конкордации) оценок данного эксперта и оценок большинства других экспертов. Много можно спорить о том, насколько конкордация является валидным показателем, но я лично имею богатый опыт использования этого показателя в десятках различных исследований с применением метода независимых экспертных оценок. Отличить самых лучших экспертов от средних с помощью этого критерия не просто, это так. Но зато он надежно отличает средних и плохих экспертов - совсем некомпетентных. То есть, точку отсечения надо ставить чуть ниже медианы и тогда метод "Круговой Конкурс" работает отлично как определенная процедура на определенном этапе Воронки Отбора.

    Но важно нам тут же подчеркнуть, что продуктивность "Кругового Конкурса" вовсе не ограничивается измерением "экспертной точности". Информативность этой технологии велика именно потому, что мы параллельно с этим получаем более понятный и обычный второй рейтинг - рейтинг авторской успешности. Каждый участник кругового конкурса создает конкурсный объект, который получает определенное место по сумме экспертных оценок, полученных от других участников. Это авторский рейтинг. Один и тот же человек может быть не слишком успешен как эксперт, но вполне успешен как автор. В экспертном рейтинге он может занять низкое место, а в авторском - высокое. Например, подобное мы наблюдаем в нашем студенческом конкурсе "Будущее психометрии" (его проводили уже 2 года, общее число активных участников, прошедших до конца все этапы - 58 человек). Студенты, которые создают больше удачных тестовых заданий, являются успешными авторами. Но... это еще не предрекает их успешное выступление в другой номинации - в конкурсе среди экспертов. Оказалось, что корреляция между "авторской успешностью" и "экспертной точностью" в этой сфере равна практически нулю (в сфере конструирования тестовых заданий).

    Для автоматизированного построения двух параллельный рейтингов - авторского и экспертного - мы создали особый сервис внутри нашей системы для онлайн-исследований - внутри HT-LINE. Этот сервис позволяет оценивать не только свободную вербальную продукцию (вопросы, шутки, слова, кейсы и т.п.) но и визуальную продукцию (рисунки, чертежи, диаграммы, видеоролики), а также такие особые профессиональные продукты как электронные таблицы, сайты, личные и рекламные страницы в социальных сетях и т.п. Именно высокий уровень автоматизации делает онлайн-конкурсы высоко-рентабельным инструментом оценивания. Он, возможно, уступает Центру оценки или Тестам профессиональных знаний по уровню валидности, но не значительно (!). Зато по рентабельности этот метод значительно превосходит многие другие методы, ибо не требует больших затрат ни денег, ни главное - времени (!). В этом отношении данный метод вызывает о-очень настороженное отношения у тех фирм, которые давно и успешно продают на рынке Ассессмент (Центр Оценки) - очень дорогой оценочный инструмент.

    Почему же круговые конкурсы столь экономичны? И как можно оценить, выразить эту экономичность в цифрах? Давайте оттолкнемся от стоимости хорошего банка тестовых заданий (самых обычных - с выбором ответов) для измерения професcиональных знаний. В среднем на одно задание надо потратить не меньше 1000 (одна тысяча) рублей. Это в тех областях, где эксперты-авторы зарабатывают немного. А вот, например, в области юриспруденции или медицины себестоимость одного задания может оказаться выше.... на порядок (достигать примерно 150 у.е. или 10 тысяч рублей). Для сравнения за рубежом себестоимость одного задания в таких национальных тестах как SAТ или GRE достигает 500 у.е. (сведения у меня немного устаревшие, так как я уже давно лично не общался с разработчиками этих банков заданий из ETS). А размеры банка? Для того, чтобы в варианте было 50 заданий (это минимум), в банке должно быть в 5 раз больше (лучше бы в 10, но мы возьмем нижнюю границу). Получается, что себестоимость минимального банка в 250 заданий равна примерно 250 тысячам рублей. А все, что дешевле, - это профанация. Сколько человек в ситуации сертификационного (квалификационного) экзамена можно протестировать, сколько "продержится" такой банк? - Не более 500 человек (затем начинается утечка). А если они общаются между собой (в рамках одной организации) - в районе 200-300 человек. Тем самым себестоимость обследования одного человека - примерно 1000 рублей (минимальная цена). Это гораздо дешевле, чем цена Ассессмента, но дороговато для многих организаций, а главное - долго, много времени надо потретить на разработку банка заданий. При этом я не плюсую сюда затраты на сам процесс проведения тестирования знаний.

    А какова себестоимость одной учетной записи (одного участника) в случае автоматизированного кругового конкурса? - Примерно 200 рублей на человека, то есть в случае кругового конкурса, как минимум, в 5 раз выше рентабельность (!). Впрочем, когда это психологов интересовали такие цифры? А ведь руководству многих компаний нужны умелые выкладки именно такого рода!

    Так в отношении каких профессиональных компетенций и личностных качеств информативны "Круговые двухэтапные конкурсы"? - В отношении следующих:

    1) Авторская продуктивность (креативность) в определенной предметной области.
    2) Экспертная точность (профессиональная проницательность) в данной предметной области.
    3) Компьютерная грамотность.


    Но это вовсе не все, есть еще 2 (два) личностных качества, значимых для очень многих отраслей общественного производства и видов деятельности:

    4) Высокая мотивация достижения (стремление к личностному росту и общественному признанию достижений).
    5) Инициативность и личностная смелость (принятие вызова, готовность к преодолению такого психологического барьера, который называется "риск неудачи").


    Конкурс - это ситуация конкуренции, это низкая вероятность выигрыша и высокая вероятность проигрыша. Трусливые люди с мотивацией избегания неудачи (не обладающие лидерским потенциалом) "в эти игры не играют". Вызов готовы принять люди с высоким потенциалом оптимизма, уверенностью в себе, высокой амбициозностью, высокой самооценкой.

    Я много раз пытался измерять, каков процент людей, которые в ситуации добровольного конкурса, готовы в нем участвовать, а какой процент под разным предлогом отказывается. - Готовы участвовать, как правило, меньше половины (редко когда больше 25 процентов). И это уже говорит о многом (!). Это немного даже в том случае, когда гарантируется анонимность неудачи, как это было на конференции "Оценка персонала". Ведь чем хороши онлайн-конкурсы? -Тем, что никто не узнает, принимали Вы в них участие или нет. Важно, чтобы организаторы давали подобные обязательства конфиденциальности в "оферте участнику" (в договоре-предложении). При этом они (организаторы) должны дорожить своей репутацией и держать принятые обязательства. Ну а если результат конкурса станет неизбежно известен всем (как результат публичного экзамена)? - Вот тогда процент добровольных участников сокращается еще в несколько раз (!). Огромное большинство - это те, кто сказал "пас".

    Психологическая теория конкурсного поведения - это часть психологии конкуренции. Круговые конкурсы - это очень интересная и важная возможность ставить такое поведение в некие рамки управляемого эксперимента, ограничивать это поведение правилами. Для этого сами психологи должны участвовать в разработке программного обеспечения в системах, обеспечивающих проведение подобных конкурсов. А это бывает до сих пор крайне редко.

    Все сказанное перекликается с обещанным мной разговором про конкурс "Лидеры России"? - Да, конечно. Ведь дистанционная часть этого конкурса - это типичный искусственный сетевой конкурс. И на него, разумеется, распространяются все закономерности, присущие большинству сетевых конкурсов.

    Ваш АШ
    Последнее редактирование: 20 фев 2018
  2. Захарова О.А.

    Захарова О.А. Модератор Команда форума

    Александр Георгиевич! Есть предположение, что круговые конкурсы будут зависеть от авторской продуктивности участников больше, чем традиционные квалификационные экзамены. То есть при задаче создать контент в стрессовой экзаменационной ситуации, результат может быть очень низкого качества. И этот контент надо использовать на втором этапе, где он получит оценки "плохо" и "очень плохо".
    Таким образом имеет смысл либо использовать на первом этапе только добровольцев, либо проводить круговые конкурсы на выборке с заведомо большой авторской продуктивностью.
    Шмелев А.Г. нравится это.
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Оля, здравствуйте.

    Вы абсолютно правы, что круговые конкурсы ВСКРЫВАЮТ печальный факт - у большинства участников продуктивность на самом деле оказывается удручающе низкой и качество конкурсных материалов оказывается в основном "разочаровывающем". Но... надо понимать, что это ОЦЕНОЧНАЯ технология, а не творческий конкурс в собственном смысле слова. Мы ожидаем от ТВОРЧЕСКОГО КОНКУРСА высокого уровня, а здесь надо ожидать и добиваться совершенно другого - того, чтобы материал был РАЗНОГО уровня. Именно в этом случае он оказывается "диагностичным" для измерения "экспертной точности". Точный (компетентный) эксперт должен обладать какими качествами? - Он должен терпеливо отыскивать крупицы благородного металла в тоннах руды, так ведь? То есть, он должен объективно и беспощадно уметь называть "ерунду" тем именем, которое она заслуживает, - а именно "ерундой". Но при этом быть бдительным, чтобы не пропустить что-то качественное. Эксперт в круговом конкурсе оказывается в особой роли - как эксперт на массовом "кастинге", где из очень большого числа потенциальных конкурсантов ( из тысяч!) надо подобрать немногих (всего-то десятки), которые обладают действительно сценическим даром - умеют чисто петь и достаточно пластичны.

    Но еще раз повторюсь, что обнаружение низкого общего уровня, - это разочаровывающий факт, который является определенным тормозом в массовом распространении "круговых конкурсов" как технологии оценки. Все время мы сталкиваемся с такой трудностью, что у людей в головах присутствуют стойкие ассоциации, которst приводят к "склейкам" - путаются и склеиваются разные задачи:
    - задачи АВТОРСКОГО ТВОРЧЕСКОГО КОНКУРСА,
    - задачи краудсорсинга,
    - задачи измерения "экспертной точности" на каком-то реальном живом материале.


    Круговой конкурс позволяет быстро собрать такой материал силами самих участников, а не долго вымучивать его "с потолка", как это происходит в случае порождения других профессиональных тестов.

    Спасибо за вашу реплику.

    Ваш АШ


    Последнее редактирование: 23 фев 2018
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Как всегда, "выбить" обратную связь о проекте от наших участников
    бывает еще сложнее, чем добиться от них "приличных ругательств".


    Приходится цитировать те отклики, которые появляются на ФБ (как
    бы мы ни проклинали этот противный "...бук", но люди засели там прочно
    и надолго, "святые ежики", понимаешь). Обращаю внимание на то. что и Черепанова, и тем более Орлова здесь тоже зарегистрированы (взываю к ним так - @Черепанова Е. С. и @Орлова Е.А. ). Напомню, что это отклики о конкурсе КПР.


    Елена Черепанова Уже изучила результаты... Радует моя солидарность с другими экспертами.... Но сам продукт для оценивания немного разочаровал... Как- то так....

    Александр Шмелев Продукт - он же инструмент?

    Елена Черепанова Тьфу... Вот я не так сформулировала..... Сами ругательства, выставленные для оценки....

    Елена Черепанова Может надо было ещё шкалу......Буду использовать в своей жизни)) плохо представляю как использовать так сказать ругательства, которые в лидерах...


    Jenka Orlova Представила себе защитника отечества с возгласом "Святые ёжики, митохондрия тебя раздери!" [​IMG]:D

    Александр Шмелев Администратор группы Ну полного защитника трудно себе представить, согласен. А вот полузащитника можно!


    [​IMG]
    Jenka Orlova

    [​IMG]

    [​IMG]
    Александр ШмелевАдминистратор группы
    Надо было написать не "полного", а "полноценного". Впрочем, хоккеисты без хоккейных доспехов - это скорее полноценные, чем полные люди.
    Завоеванная Н.С. нравится это.
  5. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Шутки-шутками, но давайте посмотрим на возникшую ситуацию серьезно.

    Ведь это уже закономерность: разочарование контентом, который удается
    получить в результате "круговых конкурсов". Мда... мы избалованы профессиональной продукцией, в том числе профессиональным юмором, а в этом случае продукция (которую Е.С.Черепанова назвала "продуктом") оказывается явно...гм... любительского уровня.


    Но ведь выше я уже писал о том, что конкурсы такого рода ВСКРЫВАЮТ определенные, может быть, не самые приятные истины. Например, такую банальную, но не очень приятную истину, что придумать что-нибудь ценное вовсе не просто, также как и маловато людей, способных это сделать. Но разве конкурсы от этого как ОЦЕНОЧНЫЙ ИНСТРУМЕНТ теряет свою ценность? А может быть, наоборот приобретают, ибо вскрывают ситуацию вполне реалистично, без "прикрас" так сказать?
  6. Гаврилова А.Г.

    Гаврилова А.Г. Активист

    Добрый день всем!
    А я получила большое удовольствие от этого конкурса. Во-первых, потому что не ожидала многого. Здесь ведь собрались эксперты-психологи, небольшие специалисты по ругательствам, даже приличным. Обогатилась двумя, на мой взгляд, шедеврами: "лайкфак" и "сказав а, не будь б". Большое спасибо авторам!
    Во-вторых, испытав авторский кризис, обратила внимание, как ругаются мои близкие: подруга, любительница кофе - "чтоб тебе всю жизнь Нескафе пить", отец, любитель программы "Тушите свет" - ругается на нехороших людей "Хрюн Моржов и Степан Капуста", бабушка - "контра недобитая" и "шкура барабанная". Чудо, как хорошо!
    В-третьих, я наконец -то поняла, чем меня смущают круговые конкурсы. Самые прорывные идеи - не являются результатом согласованного мнения экспертов. Я поняла, что не согласна, что такой конкурс позволит отличить хороших, средних и плохих экспертов. Толпа редко бывает права. Такие конкурсы выявляют инакомыслящих. В этом их ценность. Лично я вижу перспективу с их помощью выяснять степень разделения корпоративных принципов сотрудниками.
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Анастасия,

    а Ваши суждения базируются на "интуитивном впечатлении" или на статистическом
    анализе корреляций между результатами таких конкурсов и результатами других
    оценочных процедур? Хотелось бы понять, в каком жанре мы ведем дискуссию?


    А в остальном... Очень приятно узнать, что Вы лично получили удовольствие и даже определенную пользу. Спасибо, что четко обозначили собственную позицию и помогли структурировать дискуссионный вопрос.

    Ваш АШ



  8. Гаврилова А.Г.

    Гаврилова А.Г. Активист

    Александр Георгиевич, доброго времени суток.
    И не интуиция, и не статистический анализ.
    Пытаюсь мыслить логически.
    Представьте, что мы организовали конкурс на тему "Самый красивый цвет". Участники предложили в качестве самого красивого какой-то цвет, и так получилось, что большинство любят красный. Затем эти же участники оценили предложенные "продукты" по каким-либо критериям, например, частота встречаемости в окружающем пространстве, степень приятности для глаза и т.д. В итоге, наиболее согласованными будут оценки большинства - тех, кто любит красный цвет. Но ведь это не значит, что он самый красивый. И это не значит, что те, кто его оценили как самый красивый, лучшие эксперты.
    Каждый критерий для оценивания - это конструкт, который эксперты наполняют собственным смыслом. Согласованность экспертов говорит лишь о большем совпадении этих смыслов. Естественно, речь идет не о тех критериях, которым есть однозначное определение, а о таких, как "оригинальность", "степень приличия" (у всех людей разный "порог приличия") и т.д.
    Следовательно, нужно либо ограничить применение "кругового конкурса" только теми случаями, когда критерии оценивания однозначно понимаются участниками, либо воспринимать рейтинг согласованности экспертов не как шкалу "от плохих к хорошим", а как "от оригинальных к общепринятым". Вы согласны?
    Коклина С.Н. нравится это.
  9. Волкова Н.Б.

    Волкова Н.Б. Участник

    Александр Георгиевич, а каковы ограничения по количеству участников конкурса, чтобы он состоялся? Например, в ситуации выбора не просто кадрового резерва, а преемника первого лица группы компаний? Претендентов не более 10, а всё как-то недостаточно информации о каждом, чтобы владелец решился передать власть. Поможет в такой ситуации конкурс?
    Коклина С.Н. нравится это.
  10. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Анастасия, здравствуйте.

    Я очень рад, что Вы создали в плане умственного эксперимента такой "парадоксальный пример". Как любой метод, МКК (метод круговых конкурсов) имеет границы для своего разумного применения. И эти границы еще надо осмыслить и определить.

    В попытке предоставить какой-то занятный материал для "погружения в метод"
    я пошел по самому краю разумных границ между объективными и субъективными
    критериями - выбрал "приличные ругательства".


    Конструкт "Приличие" - это, конечно, не есть понятие физического мира,
    а относится к весьма тонкой и эфемерной сфере социальных нормативных представлений.
    Но... буду настаивать, это все-таки вовсе не то же самое как совершенно эмоционально-оценочный в высшей степени субъективный критерий "Нравится - не нравится". В вашем
    умственном эксперименте Вы вообще перешли эту грань ЗАВЕДОМО - вышли в сферу
    предпочтений, а не представлений. Как нащупать разницу между этими сферами? - Вы это наверное, объяснить сможете и не хуже меня. Но я попытаюсь: представление - это то, что существует вопреки и помимо наших предпочтений. Мы можем себе хорошо представлять такую социальную норму как "праздник со спиртными напитками", хотя при этом нам может активно не нравится эта практика, ибо мы против спиртного в принципе и абсолютно (как вегетарианцы могут быть против мясной пищи).


    В области предпочтений тоже существует большая и меньшая согласованность, но она серьезно КОЛИЧЕСТВЕННО уступает уровню согласованности в нормативных представлениях. Когда мы обсуждаем это все не просто умозрительно, но начинаем измерять и считать, то все это обрастает цифрами и становится вовсе не голословной истиной.

    Ваш АШ



    Гаврилова А.Г. нравится это.
  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Надежда Борисовна, здравствуйте.

    Спасибо за ваш интересный вопрос.
    Вы описали практически возможную ситуацию.
    Хотя без деталей, в которых как раз и может скрываться "дьявол".
    Ибо с формально-количественной точки зрения 10 участников -
    это уже достаточно. Но... на каком материале реализован будет
    конкурс? - Вот это более важный вопрос. Хочу пояснить. что
    количественные пороги тесно связаны с материалом. Если
    материал "рыхлый", то есть само по себе слабоструктурированный,
    то может не хватить не только 10, но даже 15 участников. Впрочем,
    главное достоинство метода в данном случае обеспечивает система
    обработки его результатов - она должна обязательно включать
    расчет уровня согласованности экспертных оценок (без этого метод
    нельзя применять). Поясню, как это работает: если расчет показывает,
    что согласованность в целом достигнута, то значит и количества
    участников хватило, а если не достигнута, то... значит не хватило.
    Метод имеет в данном случай свой собственный индикатор эффективности
    - говорит о том, когда он работает, а когда нет. Научная честность
    оргконсультанта, впрочем, требует в данном случае мужества:
    заказчик должен быть предупрежден, что метод может и НЕ СРАБОТАТЬ
    и заранее это гарантировать нельзя.


    Ваш АШ




    Волкова Н.Б. нравится это.
  12. Волкова Н.Б.

    Волкова Н.Б. Участник

    Александр Георгиевич, благодарю!
  13. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги,

    сегодня мы завершаем очередной пилотный круговой конкурс типа КАТЗ.
    В данном случае он состоялся в клубе КИТТ на горячую тему - " История ЧМФ"
    (История чемпионатов мира по футболу).

    Задача конкурсантов - не только отвечать на вопросы, но самому придумать
    тестовый вопрос (один). Причем такой вопрос, который разделит выборку
    50 на 50, то есть породит 50 процентов правильных ответов и 50 процентов ошибок.


    За один вчерашний день (29 июня) на конкурс записалось 45 человек.
    А вот придумали вопрос только 20 человек (!). Процент продуктивных участников,
    как видим, не велик.


    Сегодня второй и последний день этого микро-конкурса. Участники будут отвечать
    на самодеятельные тестовые вопросы, созданные самими участниками. Вопросы
    имеют по четыре варианта ответа, один из которых - правильный.

    Тематика оказалась не однозначной по популярности. Некоторые участники КИТТ
    уже успели устать от "трескотни по поводу футбола"... Многие ничего не знают
    про истории ЧМФ. Нашлись такие, которые назвали Яшика чемпионом мира (?!)
    и на знали, за какую страну играл Пеле. Ну ... это надо умудриться, я Вам скажу :)



    Обсуждается такой термин для этой технологии, который делает акцент
    на креативность, - "Креативность-360".

    Ваш АШ
    Лисица И.А. нравится это.