1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Критический анализ российских исследований валидности Центров оценки

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 29 апр 2018.

Страница 2 из 2
  1. Цыганов К.Ю.

    Цыганов К.Ю. Участник

    Коллеги,
    1) Буду крайне признателен за подсказку/ссылки, на основании каких зарубежных исследований центр оценки считается самым валидным методом? Например, в обновленном мета-анализе F. Shmidt (2016) валидность центра оценки гораздо ниже интервью.

    2) Не может ли трудность определения валидности ЦО быть связана с тем, что, как пишет Shmidt:
    We do not know exactly what combination of constructs is measured by methods such as the assessment center, the interview, and biodata, but whatever those combinations are, they do not appear to vary much from one application or study to another?

    С уважением,
    Кирилл Цыганов
    Цыганов К.Ю., 7 май 2018
    #21
  2. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Кирилл Юрьевич, здравствуйте.

    У нас (у русскоязычных специалистов) что-то все-таки происходит с объемом понятия "Центр оценки". Из-за разночтений в определении этого понятия и вытекают разногласия. Так как Вы, очевидно, неплохо владеете английским, предлагаю следующую цитату из "расхожего источника", которым является статья в англоязычной Википедии:

    "Assessment center is not just a building for assessing a job candidate. it is a process of evaluation of behaviour based on multiple evaluation including: job related simulations, interviews and/or psychological test".

    Как видим, интервью не исключается, а ВХОДИТ в состав ЦО, сам ЦО - это комбинация других методов (включая психологическое тестирование), а не отдельные коммуникативно-деловые (имитационные) игры. Поэтому давайте рассуждать ЛОГИЧЕСКИ. Ну не может быть интервью более валидным, чем ЦО, так как интервью при нормальной организации процесса ВХОДИТ в состав ЦО. Просто добавьте к прогностичности интервью еще определенную "инкрементную" (добавочную) валидность, которую привносят имитационные игры и психологические тесты. Тогда у нас несомненно ЦО обязан автоматически оказаться более валидным методом, чем те отдельные, которые в него включены, то есть более валидным, чем интервью, и более валидным, чем тесты.

    А если определять ЦО узко - так, что это только деловые игры, то да, тогда вопрос открытый...
    С таким сужением ЦО я лично не согласен. Но если его так понимать, то я тоже имею основания критически
    относиться к валидности ЦО, ибо критически отношусь к валидности деловых игр - не считаю эту валидность
    выше многих психологических тестов и оценок со стороны опытных экспертов-интервьюеров.

    С уважением,
    АШ
    Шмелев А.Г., 7 май 2018
    #22
  3. Цыганов К.Ю.

    Цыганов К.Ю. Участник

    Здравствуйте Александр Георгиевич,

    Спасибо за ответ! Если позволите, злоупотреблю Вашим вниманием. По ссылке коэффициенты критериальной валидности (критерий - рабочая эффективность) инструментов отбора из обзора Шмидта, опубликованные Евгением Лурье https://assessment.livejournal.com/4912.html.
    Структурированное интервью - 0,58
    Центр оценки - 0,37

    Пояснения Евгения:
    Почему у центра оценки столь низкая валидность (0,37), хотя все знают, что ЦО - самый валидный инструмент?
    Тут произошла путаница. Высокий показатель валидности ЦО, который часто встречается в литературе (0,53) - это показатель для центра оценки, в котором используются также тесты способностей. А, как мы знаем, согласно Стандарту центр оценки необязательно подразумевает использование психометрики, его основа - моделирующие упражнения. То есть ЦО сам по себе, согласно метанализу 2012 года, обладает валидностью именно 0,37. За описанием того, почему же у ЦО может быть такой показатель валидности, приглашаю обратиться к статье Евгения Куприянова.

    То есть 0,37 - это валидность ЦО без использования тестов способностей? Но с интервью? Валидность интервью - 0,58...Что-то я совсем запутался.

    Где и что я путаю?

    С уважением,
    Кирилл Цыганов
    Цыганов К.Ю., 7 май 2018
    #23
  4. Шатров Ю.И.

    Шатров Ю.И. Активист

    Поправка: цитируемый блог выше не уважаемого Евгения Лурье, а Юрия Шатрова.
    Шатров Ю.И., 7 май 2018
    #24
    Шмелев А.Г. нравится это.
  5. Шатров Ю.И.

    Шатров Ю.И. Активист

    Кирилл, если просто - опубликованному мета-анализу не стоит доверять. Я когда-то перевёл его выжимку, гонясь с простыми цифрами. На самом деле:
    - Метаанализ берёт в себя исследования из разных десятилетий, проведённых на разных выборках и методологиях разработки / применения инструмента.
    - Метанализ основывается, в первую очередь, на массовых должностях. Где чем проще критерий и инструмент - тем лучше. Этим можно объяснить первенство т. способностей и интервью.

    Поэтому на метанализ лучше не обращать много внимания.
    Шатров Ю.И., 7 май 2018
    #25
  6. Цыганов К.Ю.

    Цыганов К.Ю. Участник

    Спасибо!
    Цыганов К.Ю., 7 май 2018
    #26
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Юрий (Шатров), спасибо, что Вы подключились.

    Путаница весьма красноречивая. У гуманитариев так часто бывает: обращают внимание на одно слово, а надо бы обращаться внимание на два. Обращают внимание на слово "ассессмент", связывая его прежде всего с моделирующими упражнения, но... не обращают внимание на слово Центр. А что такое Центр? - Это сочетания нескольких "кабинетов-методов" в одном здании, в одном "локэйшн". Это можно на русский перевести как "Комплекс". Так что ЦО - это "оценочный комплекс". Вот такая цена не вполне адекватного перевода и не вполне адекватного толкования. Увы, Стандарт ЦО плохо в этом помогает, ибо объявляет "моделирующие упражнения" ядром ЦО, без которого само понятие как бы и не существует. Это получается вроде понятия "орех": ядро как бы и есть сам орех, а скорлупу ореха в расчет можно и не принимать...

    Кроме того, сравнивать валидность методов надо, уравнивая другие переменные: выборку участников, оспариваемые должности (вакансии). состав исполнителей. Если к интервью привлечь классных исполнителей, а к оценивания "упражнений" слабеньких, то результат окажется заведомо не в пользу "упражнений".

    Я же еще раз подчеркиваю, что мыслить надо ЛОГИЧЕСКИ и тогда будет понятно, почему общепринятым в мире считается более высокая валидность "оценочного комплекса", чем отдельных его компонентов.

    Ваш АШ
    Шмелев А.Г., 7 май 2018
    #27
  8. Цыганов К.Ю.

    Цыганов К.Ю. Участник

    Юрий,
    Извините за неправильное цитирование.)

    С уважением,
    Кирилл Цыганов
    Цыганов К.Ю., 7 май 2018
    #28
    Завоеванная Н.С. нравится это.
Страница 2 из 2