1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если Вы зарегистрированы на Facebook, воспользуйтесь функцией "Войти через Фейсбук" (см. Инструкция по регистрации через Facebook).
    Если Вы зарегистрированы в ВКонтакте, воспользуйтесь функцией "Войти через ВКонтакте" (см. Инструкция по регистрации через ВКонтакте).
    Регистрация или вход на Форум через Фейсбук проходит через режим премодерации (одобрения Вашей учетной записи администраторами форума). 

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Как использовать результаты экспертизы МОНЭКС в продвижении своих тестов?

Тема в разделе 'Общие вопросы. Новости от членов сообщества.', создана пользователем Яньшин П.В., 19 июн 2016.

  1. Яньшин П.В.

    Яньшин П.В. Локомотив

    Коллеги! Возникла потребность сослаться на результаты МОНЭКС для повышения престижа моей методики. Как это сделать? С одной стороны, здесь собрались лучшие эксперты в своей области. С другой стороны, - ничто ни к чему никого ничем ни в чем не обязывает. Хотя польза неоспорима: личная удовлетворенность (либо - нет) автора, приславшего совой тест, и неоценимая обратная связь. Сам я очень благодарен тем, кто потратил свое личное время на оценку моего метода. Это дало стимул к дальнейшей работе, в том числе, - над ошибками. Но ведь роль экспертного сообщества может быть существенно усилена, если есть возможность ссылаться на результаты как на прецедент. Что скажете?
  2. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Да, то и скажу, что, как-то надо решать. Со своей стороны могу предложить, как вариант заключить партнерское соглашение с "ВР" http://journals.state-and-society.ru/index.php/jsr . Есть такой журнал у Тимура Хусяинова. На днях первые номера появятся в РИНЦ (страница там уже есть) http://elibrary.ru/title_about.asp?id=58062 . Думаю, что он не будет против, а ЭСПП получит площадку для размещения рецензий. Поскольку журнал не мой, то стоит, в случае одобрения предложения, связаться с Тимуром непосредственно. Тогда и ссылаться будет легко.
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги и прежде всего Петр Всеволодович,

    Вы абсолютно правы, что бумажное свидетельство хотя бы
    о самом факте проведенной экспертизы должны быть,
    как и итоговый общий оценочный показатель качества
    методики. После того, как Федерация оценки персонала
    застыла на эту тему в "позе молчания", у нас нет другого
    варианта как обратится опять-таки к Президиуму РПО.
    Надеюсь, что в этом нам поможет Тахир Юсупович (@Базаров Т.Ю. ).


    С уважением,
    А.Г.Шмелев
    Последнее редактирование: 19 июн 2016
  4. Яньшин П.В.

    Яньшин П.В. Локомотив

    Спасибо коллеги, за понимание. На своем опыте убедился, что в России нет определенности относительно требований к "эксперту". В требованиях ВАК прописаны требования к руководителю диссертации. А кто может выступать экспертом в конкретных прикладных направлениях психологии? Вот и выбирается наиболее известная ФАМИЛИЯ, и назначается экспертом. ЭСПП - принципиально иной подход. ЭСПП может быть таким добровольным и наименее ангажированным экспертом.
  5. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Пётр Всеволодович,
    спасибо за такой комментарий. От себя добавлю: проект МОНЭКС -- это независимая публичная экспертиза. Т.е. все материалы и оценки экспертов являются открытыми (без указания фамилий экспертов), чтобы любой желающий мог убедиться и повторить расчеты согласованности оценок и результирующие оценки по 20 критериям. Эксперты проходят отбор, работают независимо друг от друга, не знают оценок других экспертов, не знают состав экспертов по конкретной методике,не являются аффилированными лицами каких-либо 1-2 коммерческих организаций. Участники-эксперты МОНЭКС -- профессионального сообщество высококвалифицированных экспертов (на сегодняшний день это более 40 экспертов) в сфере психологической диагностики, выполняющих объективную и независимую оценку качественных и психометрических характеристик психодиагностических методик. Сам проект МОНЭКС не имеет аналогов в России (это результат САМООРГАНИЗАЦИИ психологов-психодиагностов ЭСПП), а также отмечен международным сообществом -- Международной тестовой комиссией (отзыв на проект МОНЭКС можно прочитать в соответствующем разделе на форуме).

    Последнее редактирование: 19 июн 2016
  6. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Юрий Александрович,

    я бы во всем этом перечне сделал акцент именно на слове САМООРГАНИЗАЦИЯ.
    Давайте научимся это подчеркивать, выделять и объяснять, почему МОНЭКС
    гарантирует даже более высокую объективность, чем традиционные экспертные
    процедуры (ТЭП), хотя является более краткой, менее трудоемкой
    процедурой для каждого отдельного оценщика.


    Обычные ТЭП как работают? Глава экспертной комиссии функционирует
    подобно главному редактору научного журнала: он имеет явный приоритет
    в формировании круга экспертов (рецензентов) на какой-то объект экспертизы
    или рецензии. В лучшем случае Глава утверждает свои назначения в коллегиальном
    органе (у членов редакционной комиссии), но иногда на эту церемонию
    банально ни у кого не хватает времени. Стоит ли долго объяснять и доказывать,
    что от того, каких именно экспертов назначает Председатель комиссии (глава
    редколлегии), во многом и зависит жесткость или мягкость оценки. Кроме того,
    стоит задуматься, а 2 рецензента - это много или мало? Это вообще-то достаточно
    или нет для объективности? Тут скорее работает принцип ВОЗМОЖНОСТИ,
    чем ПОТРЕБНОСТИ. Потребность у нас есть, конечно, в более многочисленной
    круге экспертов-рецензентов, но реальную возможность имеем в лучшем
    случае получить отзывы от двоих (да иногда и от этих двоих приходится
    "выбивать" развернутые отзывы месяцами или даже ... годами!). Кстати,
    в случае диссертаций добиваемся трех отзывов (добавляется еще ведущее
    учреждение), но это не 10-20 человек...


    Поэтому формализованная оценка формализованных методик (тестов)
    по оценочным шкалам создает технологическую предпосылку для того,
    чтобы:


    а) Резко увеличить число оценщиков (с двух до 1-2 десятков!),
    б) Предоставить специалистам самим решать, участвовать им или
    нет в оценивании данной методики, то есть


    множество экспертов по данной методики оказывается не назначенным,
    а САМООРГАНИЗУЮЩИМСЯ.


    К тому же... мы снимаем часть гиперответственности с каждого эксперта,
    кто не очень уверен в том, что в данной области обладает достаточной
    специальной осведомленностью. Каждый эксперт, кто дает неудачные,
    рассогласованные оценки, просто-напросто НЕ попадает в круг
    "зачетных экспертов" и его ФИО не оглашается вовсе!
    Это создает практическую реализацию ПРАВА НА АНОНИМНУЮ НЕУДАЧУ
    - права каждого эксперта (что снижает планку входа в сообщество
    для экспертов-новичков, повышает ротационную подвижность состава
    экспертных групп и т.п.).


    Многие ли понимают эти особенности технологии МОНЭКС?
    - Увы, я уверен, что пока очень немногие.
    Отсюда большие трудности в раскручивании этого проекта.


    Юрий, может быть, нам измыслить какой-то опросничек, который
    позволит заострить внимание коллег (включая не только потенциальных
    экспертов, но и потенциальных авторов) на перечисленные нами
    ОТЛИЧИТЕЛЬНЫЕ ПРИЗНАКИ данной технологии по сравнению
    с ТЭД - традиционными экспертными технологиями?


    Ваш АШ
  7. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Александр Георгиевич, поддерживаю идею о создании опросничка. Также имеет смысл продублировать нашу совместную статью о проекте МОНЭКС в рамках Челябинской конференции по психодиагностике.
    Попробую найти время на это. Буду рад замечаниям и предложениям участников ЭСПП (экспертам разных туров МОНЭКС, а их у нас было не мало по 9 методикам (!), а также любым суждениям и идеям по поводу отличительных признаков.

    Яньшин П.В. нравится это.
  8. Яньшин П.В.

    Яньшин П.В. Локомотив

    Ну, и как же сослаться на результаты МОНЭКС? КАК?
  9. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Пётр Всеволодович, не совсем понимаю, что означает "сослаться на результаты".
    Есть в разделе форума опубликованные официальные результаты. Вам необходима ссылка?

  10. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Никитина И.А. нравится это.
  11. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    На официальном сайте также можно подробно ознакомиться с профилем оценок, оценками экспертов http://monex-online.ru
    Никитина И.А. нравится это.
  12. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Или Вам важно какой-то небольшой отчет на 1-2 страницы с кратким описанием процедуры, профилем, результирующим выводом?
    Вот, например, профиль по Вашей методике:
    index.png
    Никитина И.А. нравится это.
  13. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Еще напоминаю, что в сборнике материалов 3й Челябинской конференции по психодиагностике есть статья о проекте МОНЭКС, в которой также представлены результаты по всем методикам. На это можно ссылаться.
    Никитина И.А. нравится это.
  14. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Юрий Александрович, зачем усложнять? Я же предложил вариант и с ребятами согласовал. Они не против. "Вестник рецензента" всегда для Вас открыт. Подготавливайте по мере свободного времени информационные обзоры и Тимур их разместит оперативно и бесплатно. А авторам не придется долго ждать. Иной раз время тоже ценно.
  15. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Леонид Федорович, извините, я как-то пропустил Ваше сообщение и оставил без ответа. Конечно, это отличное предложение. Чуть позже я готов обсудить этот вариант.
    Чупров Л.Ф. нравится это.
  16. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Мы всегда согласны. У Вас будет публикация, проведенная в РИНЦ, у рецензентов тоже и с их ФИО, а все остальное зависит от вашей способности представить результат (товар лицом). В более авторитетных изданиях появится возможность ссылки на первичную публикацию, что уже из серии "кашу маслом не испортить". Скромность украшает человека (психолога, прежде всего), но богатым не делает (с).
    Никитина И.А. и Тукачев Ю.А. нравится это.
  17. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Леонид Федорович, первое, как мне кажется, что я смогу сделать прямо в ближайшее время -- подготовить обзорную статью о проекте МОНЭКС, а дальше: определимся с форматом и содержанием рецензии, то можно будет начать публикацию результатов по каждому туру МОНЭКС. Мы уже ранее обсуждали, да и некоторые эксперты высказывали такое пожелание, чтобы готовить расширенную рецензию по каждой методике.

  18. Яньшин П.В.

    Яньшин П.В. Локомотив

    Юрий Александрович, здравствуйте. Спасибо за ссылки, они пригодятся. Попытаюсь пояснить фразу: "сослаться на результаты".
    Хотелось бы понять, каков прикладной смысл проведения экспертизы, если ее результат не помогает продвижению авторского проекта?
    "Сослаться" хочется на обоснованное экспертное суждение о качестве и пригодности инструмента для его применения.
    Какой смысл тогда имеют "более 60 %", набранные моей методикой, например? Что это неплохо, - понятно. А сколько методик еще набрали более 60%? Каково место методики среди других оценок? Каков граничный критерий пригодности теста? Возможно ли вообще делигировать МОНЭКС компетенцию в вопросе качества созданного инструмента? Как объяснить потребителю, что означают диаграммы экспертных оценок по пунктам? И т.п.
    Если экспертиза не завершилась неким содержательным резюме, можно ли считать ее завершенной?
    Вот это завершающее резюме и хотелось бы иметь для ссылки. Его можно предъявить потенциальному потребителю. Над его формой надо, скорее всего, еще поработать. В принципе, оно может верстаться программным алгоритмом на основе экспертных оценок.
  19. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Всегда "За!". Юрий Александрович, связывайтесь непосредственно с Тимуром (он же на нашем форуме) или через меня (как удобнее). Мы открыты и демократичны. Думаю, что от этого в выигрыше будем мы все и форум ЭСПП и авторы-разработчики и Вы. А про нас и говорить не приходится. Иметь в своем активе такого партнера, как ЭСПП - это не каждому дано. Это, как знак качества.
  20. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Пётр Всеволодович, я постраюьс ответить на Ваши вопросы, но чуть позже. Пока только по поводу автоматического создания отчета:
    Когда я писал онлайн-приложение, делал сайт, себе в ТЗ (техническое задание) записал такой пункт. Это можно сделать, тут даже нет технических трудностей. Почему не реализовано? Вы наверное помните, что проект развивался за счет финансовой поддержки неравнодушных спонсоров? Вся сумма пожертвований шла на вознаграждение трех экспертов-призеров (2 тройки в туре).
    Суммы с отказов экспертов от вознаграждения и любые другие незначительные суммы (за все время существования проекта я получил несколько маленьких спонсорских переводов на общую сумму в 4500 рублей) шли на оплату хостинга сайта (5 долларов в месяц х 12 мес. х 2 года) и оплату регистрации 2х доменных имен (по 400 рублей в год за 1 доменное имя х 2 года). Также на проект были потрачены личные средства членов оргкомитета (Шмелев-Козяк-Тукачев).

    Один тур мы провели полностью за счет средств автора-заявителя методики. Небольшой процент (пару тысяч рублей) получили менеджеры-организаторы.

    Онлайн-приложение я пишу в свободное время без какой-либо оплаты со стороны.
    Если уж раскрывать все секреты, то Вы только подумайте, а сколько ресурсов было потрачено на создание, например, личного кабинета эксперта ...

    Никитина И.А. нравится это.