1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Делимся опытом конструирования психодиагностических методик

Тема в разделе 'Сугоняев К.В.', создана пользователем Сугоняев К.В., 14 окт 2016.

  1. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Уважаемые коллеги
    Вчера мне довелось принять участие в работе секции "Достижения и проблемы профессиональной психодиагностики" (в рамках проходящей в эти дни конференции в МГУ) и - с любезного согласия руководителя секции Александра Георгиевича Шмелева - даже получить возможность высказаться по теме, которая имеет отношение к созданию и использованию когнитивных тестов.
    @Тукачев Ю.А. проявил интерес к теме и в ходе обмена мнениями родилась идея нарастить еще одну веточку на блоге, где основное внимание было бы сосредоточено не столько на критике известных методик, сколько на конструктиве.
    Мне уже доводилось где-то в конце прошлого года представлять на суд коллег идею создания шкал "атипичности" в личностных опросниках и опыт конструирования таких шкал для двузначного числа известных (и неизвестных за пределами некоторых силовых структур) инструментов. Можно считать это неким прообразом нынешней ветки.
    А теперь позвольте представить вашему вниманию тезисы вчерашнего выступления (слегка причесанные) и презентацию к нему. Надеюсь, что она может заинтересовать как пользователей многочисленного семейства тестов способностей, так и их разработчиков.
    То и другое прикрепляю к данному посту.

    С уважением, К.Сугоняев

    Вложения:

  2. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Константин Владимирович, во-первых, спасибо за размещение материалов, очень надеюсь, что это вызовет отклик участников форума и появится оживленная дискуссия
    во-вторых, я не совсем понял, откуда взялась "точка отсечения" в 2,3,4 и 5 стэнов для разных примеров КСТ в Вашем примере?
    в-третьих, удивляет, насколько долгоиграющим является КОТ.

  3. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Юрий Александрович, если Вы имеете в виду примеры на слайдах 5, 6, 7, то во всех случаях имелся в виду один и тот же порог отсечения - 2 стэна. И во всех представленных примерах он с легкостью превзойден.
    В нижней части каждого слайда прокомментирована полученная "респондентом" стандартизированная оценка для индекса "продуктивность", по которому и должно было произойти это самое отсечение. Хотя она и так видна в окне "стандартизированные оценки", но я посчитал необходимым подчеркнуть ее словесно, поскольку слайды демонстрируются недолго, а показателей - 4.
    Почему так происходит (преодоление предполагаемого барьера), я, надеюсь, смог объяснить графиками на слайдах 15, 16, 17.

    Хотел бы уточнить: мой текст посвящен не конкретным методикам, а методологии допуска КТ к применению для тех или иных функций, учитывающей вероятность "нестандартного" тестового поведения части обследуемых.

    Долгая жизнь КОТа - это очень показательный, но вместе с тем - частный случай на фоне неиссякающего долголетия множества других столь же "затисканных" поп-методик. По поводу сложившейся практики "перетасовывания карт из одной и той же засаленной колоды" я высказывался неоднократно (см., например, "О психометрическом качестве тестовых "брендов").
    Интересно, эмпирические данные о (не)валидности методики Люшера (МЦВ), представленные на другой ветке форума, кого-то в чем-то убедили? А данные о несостоятельности 16-ЛФ?

    С уважением, К.Сугоняев
  4. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Уважаемые коллеги, полагаю, всех, кто так или иначе вовлечен в разработку методов или практику отбора персонала, должна заинтересовать новая редакция статьи, подытоживающей мета-аналитические исследования валидности различных предикторов от Фрэнка Шмидта и его последователей:
    Schmidt F.L., Oh I.-S., Shaffer J.A. The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 100 years of research findings. Working paper. XI.2016.

    Опубликована пока только в интернете, может быть скачана по адресу:
    https://www.researchgate.net/publication/309203898

    Предыдущая версия, опубликованная в 1998 году, стала подлинным хитом организационной психологии и набрала свыше 3,4 тыс. цитирований (по всей видимости, учитывались только англоязычные издания).

    Общее число предикторов, вошедших в итоговые таблицы 1 и 2, естественно, возросло.

    Некоторые изменения в ранжированном ряду валидностей были ожидаемы, например, дальнейший рост вклада GMA, снижение обобщенной валидности фактора «conscientiousness» и повышение статуса профессиональных интересов (пару лет назад я уже позволил себе внести сопоставимые изменения в соответствующий раздел проекта некоего учебно-методического пособия).

    Некоторые изменения, признаться, удивили, например, выравнивание оценок валидности неструктурированного и структурированного интервью.
    Также мне казалось, что оценки валидности тестов интеграции следовало бы скорректировать в сторону понижения в большей степени (учитывая дискуссию на страницах J. of Applied Psychology в 2012 году), но этого не произошло.
    Удивило также отсутствие упоминания в тексте и таблицах фактора Honesty-Humility из модели HEXACO: возможно, именно его отсутствие привело к тому, что тесты интеграции в версии Шмидта оказались информативнее суммы факторов Большой Пятерки. Это выглядит тем более странно, если учесть, что второй автор статьи ранее отметилась в мета-анализе, который признал инкрементную валидность фактора Honesty-Humility (Oh I.-S., Le H., Whitman D.S., Kim K., Yoo T.-Y., Hwang J.-O., Kim C.-S. The incremental validity of honesty–humility over cognitive ability and the big five personality traits // Human Performance. 2014. 27(3). 206–224).

    Конечно, статья Шмидта с соавт. не исчерпывает всей полезности некогнитивных предикторов, поскольку адресуется только обобщенным критериям эффективности деятельности и обучения и не затрагивает более частных аспектов деятельности (интересующиеся адресным сопряжением предикторов и критериев могут обратиться к другой статье: Rojon C., McDowall A., Saunders M.N.K. The relationships between traditional selection assessments and workplace performance criteria specificity: A comparative meta-analysis // Human Performance, 2015, 28(1), 1-25).

    И еще. После возбуждающих исследований Колина ДеЙонга с коллегами (2007–2016) уже хочется переориентации мета-анализов валидности некогнитивных предикторов с факторного уровня на аспектный, но пока на этом поприще, кажется, отметился лишь Тимати Джадж:
    Judge, T.A., Rodell, J.B., Klinger, R.L., Simon, L.S., Crawford, E.R. Hierarchical representations of the five-factor model of personality in predicting job performance: Integrating three organizing frameworks with two theoretical perspectives // Journal of Applied Psychology, 2013, Vol.98, N.6, p.875-925.
    Тукачев Ю.А. и Шмелев А.Г. нравится это.