1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если Вы зарегистрированы на Facebook, воспользуйтесь функцией "Войти через Фейсбук" (см. Инструкция по регистрации через Facebook).
    Если Вы зарегистрированы в ВКонтакте, воспользуйтесь функцией "Войти через ВКонтакте" (см. Инструкция по регистрации через ВКонтакте).
    Регистрация или вход на Форум через Фейсбук проходит через режим премодерации (одобрения Вашей учетной записи администраторами форума). 

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Как использовать результаты экспертизы МОНЭКС в продвижении своих тестов?

Тема в разделе 'Общие вопросы. Новости от членов сообщества.', создана пользователем Яньшин П.В., 19 июн 2016.

  1. Яньшин П.В.

    Яньшин П.В. Локомотив

    Юрий Александрович, я в замешательстве. Похоже я внезапно всем задолжал.
  2. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Пётр Всеволодович, Вы не совсем правильно меня поняли :) Я только немного хотел внести ясность, но получил другой эффект.
    Без Вас (авторов методик) проект невозможно реализовать. Я с благодарностью отношусь к Вашему участию в проекте в качестве автора-заявителя методики. Надо сказать, что по результатам -- это одна из лучших методик.
    Вы спрашивали, как перевести сырой балл по результатам в стандартные. Попробуйте самостоятельно превести Ваш итоговый нестандартизированный балл (в процентах) превести в стандартизированный показатель качества, при условии, что среднее значение 100-балльной стандартизированной шкалы равно 60 сырым процентам, а 10 баллов (процентов) -- ст. отклонение.

  3. Яньшин П.В.

    Яньшин П.В. Локомотив

    Этого было бы достаточно в качестве резюме :)
    А по предоставленным Вами нормам она - просто середнячёк.
  4. Тукачев Ю.А.

    Тукачев Ю.А. Модератор

    Вот все методики: 34 45 53 56 56 57 65 66 68 (нестандартизированный балл). 3-е место из 9
  5. Яньшин П.В.

    Яньшин П.В. Локомотив

    9 недостаточно для стандартизации. Пока этот путь будет приводить к ошибочным характеристикам. Требуется качественный анализ параметров оценки каждого случая. НО. "3 место и 9" уже лучше, но шкала порядков угрубляет результат. Попробуем так: (68-34)/9=3,8. Округляем до 4. Считаем от верхней границы. Первые три попадают в 1й диапазон; три следующие - в 3й, и т.д. Всего - 8 "мест". Что скажете?
  6. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр Всеволодович,

    я с Вами согласен, как думаю согласится и Юрий Александрович Тукачев,
    что содержательное краткое резюме-вывод для автора крайне желательно.
    Но... нам пока (при наличии того опыта, который накопили), трудно
    изобрести интервальные границы на рейтинговой шкале (плюс
    какие-то пороговые ограничения по отдельным шкалам) и приписать
    им качественные формулировки-выводы в такой форме, которая
    была бы убедительна для всех экспертов (или хотя бы для квалифицированного
    большинства). Пока МОНЭКС-экспертиза - это скорее инструмент, который
    порождает относительный экспертный балл на единой шкале, на которой
    одни методики можно сравнить по качеству с другими. Этот балл получает
    какой-то все более ясный смысл по мере накопления опыта - по мере
    проведения экспертизы большего числа методик. Когда их станет не 9,
    а, допустим, 20 штук, нам будет гораздо легче сформулировать варианты
    с надеждой, что с этими интервалами согласится большинство экспертов.
    Если сейчас поторопить события и искусственно навязать экспертному
    сообществу какую-то категориально-интервальную шкалу (какие-то
    оценочные грейды или градации), то этим можно просто ИСПОРТИТЬ,
    да, увы, испортить естественный процесс.



    Пока, если принять за среднее сырой процент 60, а за стандартное
    отклонение интервал в 10, то стандартизированный балл качества
    по вашей методики оказывается равным 105, что сигналит любому
    читателю заключения (свидетельства по результатам МОНЭКС),
    что качество Вашей методики "выше среднего". Так мне кажется.


    Кстати, я бы не стал учитывать балл по первой пробной методике 16PFс,
    ибо Капустина не готовила ее специально под экспертизу МОНЭКС.
    Тогда средний балл по восьми оставшимся методикам оказывается
    равным 58,25, что и приближает его к более понятной
    и округленной границе 60.


    Ваш АШ


    Последнее редактирование: 20 июн 2016
    Шатров Ю.И. и Яньшин П.В. нравится это.
  7. Яньшин П.В.

    Яньшин П.В. Локомотив

    Александр Георгиевич, здравствуйте.
    Это Ваше детище, и Вы решаете. По тексту Вашего поста видно, что Вы ориентированы на оценку и принятие МОНЭКС "экспертным сообществом". Правда, оно уже сформировано - Вами же, - в форме МОНЭКС. За рамками МОНЭКС, ИМХО, нет экспертного сообщества. У меня такое впечатление, по крайней мере. Однако, здесь я могу ошибаться: мало ли кто захочет немного "подружить против" МОНЭКС... Но мой-то вопрос был совершенно о другом: о резюме для потенциального потребителя. Не о рейтинге или чемпионате тестов.
    Эксперт обязан ответить на ряд четко сформулированных вопросов в области, где априори не существует четко определенных критериев оценки. Но эксперт вправе отказаться от ответа на вопрос, в котором он не компетентен, либо потребовать правильно переформулировать вопрос. Если Вы участвовали в, например, судебной психолого-психиатрической экспертизе, то понимаете, о чем я. Иными словами, эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать. Быть может, он не создан для оценки методик для потенциального потребителя?
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр Всеволодович,

    я уверен, что Вы тоже понимаете, в чем разница между психиатрической экспертизой
    и оценкой качества методик. Суд должен вынести бинарное решение и ему необходимо
    получить бинарное заключение о степени вменяемости - "вменяемый человек или нет".
    Тестовая методика - это принципиально вероятностный инструмент, позволяющий
    вырабатывать не бинарные решения по типу "подходит - не подходит", а ВЕРОСТНОСТНО-
    ОТНОСИТЕЛЬНЫЕ решения по типу "данный человек подходит с большей вероятностью".
    Соответственно более качественные тесты отличаются от менее качественных лишь
    степенью вероятностной точности, но не более того. Тест - это вообще не есть
    инструмент, отменяющий ответственность человека за принятие решение.
    Да, Вы правы: большинство потребителей тестовых технологий хотели бы ПЕРЕЛОЖИТЬ
    на разработчика теста ответственность за принятие решения. Но... это их иллюзия,
    с которой мы - ответственные профессионалы - должны бороться. Ибо все равно
    и в юридическом, и научном, и этическом смысле ответственность за принятие
    решения лежит на ПОЛЬЗОВАТЕЛЕ теста, а не на самом инструменте или
    разработчике. Пользователь может ссылаться на данные "тестовой диагностики",
    но принимает решение на свою ответственность.


    Тем не менее мы будем стремится к тому, чтобы выработать критерии, по которым
    в разных заключениях были написаны разные, но предельно понятные и ОБЩЕПРИНЯТЫЕ формулировки:


    а) "Методика пригодна для практического применения в широком классе
    практических задач (ситуаций)".
    б) "Методика пригодна для практического применения в узком классе
    практических задач"
    в) "Методика пригодна для практического применения, но только в комплексном
    сочетании с другими методиками".
    г) "Методика пригодна для проведения исследовательской работы, но еще
    не готова для практического применения".
    д) "Методика требует серьезной модернизации и в существующем виде
    не является перспективным инструментом ни для практической, ни
    для исследовательской работы".


    Вы лично готовы уже сейчас (сегодня) выработать формальные правила,
    привязывающие эти возможные заключения к шкале МОНЭКС.


    Кстати, стоит специально подчеркнуть, что номенклатура подобных
    "экспертных заключений" с трудом и не за одни год нарабатывалась
    нами - коллективом редакторов-составителей и авторским активом
    "Ежегодника рецензий и обзоров" (Н.А.Батурин) НЕ один год и до
    сих пор этот перечень формулировок нельзя считать стандартизированным.



    Ваш АШ

    P.S.
    Когда Вы пишите "МОНЭКС - детище Шмелева", то это меня гораздо
    меньше радует, чем если бы Вы написали "МОНЭКС - это наша общая
    с Вами забота". Для меня МОНЭКС - это обязательно именно коллективный
    инструмент и продукт коллективных усилий. И если кто-то воспринимает
    это не так, то меня лично это только огорчает. У меня, слава Богу, достаточно
    других поводов воплощать свои личные творческие амбиции, чем это
    делать по поводу МОНЭКС.


    Последнее редактирование: 21 июн 2016
    Сугоняев К.В. и Яньшин П.В. нравится это.
  9. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр Всеволодович,

    подробное сообщение Юрия Александровича, как и в каком размере расходовались
    небольшие средства, полученные на МОНЭКС, неправильно расценивать, как обращенные
    к Вам лично. Юрий Александрович - в высшей степени ответственный и добросовестный
    человек, его самого искренне беспокоит, каким образом тратятся те очень скромные
    средства, которые удалось собрать на этот проект.


    И я, и Юрий Александрович, и Анастасия Козяк (она временно отошла от проекта
    по семейным обстоятельствам в этом году), убеждены в следующем. Для того, чтобы
    МОНЭКС стал фактически независимым КОЛЛЕКТИВНЫМ проектом, он не должен
    находится в материальной зависимости от какого-то одного источника поступлений.
    Это должны быть разные авторы, разные фирмы-заявители и т.п. А фигуры руководителя Экспертной комиссии МОНЭКС и руководителя менеджерской группы МОНЭКС (исполнительного директора) должны быть подотчетными сообществу и сменяемыми демократических путем, то есть должна производится и финансовая отчетность тоже, желательно не реже, чем раз в год.


    Ваш АШ

    Последнее редактирование: 21 июн 2016
    Яньшин П.В. нравится это.
  10. Яньшин П.В.

    Яньшин П.В. Локомотив

    Александр Георгиевич! Боюсь, возникло недопонимание, о чем я написал.
    Вы: "я уверен, что Вы тоже понимаете, в чем разница между психиатрической экспертизой
    и оценкой качества методик. Суд должен вынести бинарное решение и ему необходимо
    получить бинарное заключение о степени вменяемости - "вменяемый человек или нет".
    Тестовая методика - это принципиально вероятностный инструмент, позволяющий
    вырабатывать не бинарные решения по типу "подходит - не подходит", а ВЕРОСТНОСТНО-
    ОТНОСИТЕЛЬНЫЕ решения по типу "данный человек подходит с большей вероятностью"

    Я: "Эксперт обязан ответить на ряд четко сформулированных вопросов в области, где априори не существует четко определенных критериев оценки. Но эксперт вправе отказаться от ответа на вопрос, в котором он не компетентен, либо потребовать правильно переформулировать вопрос. ... Иными словами, эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать. Быть может, он не создан для оценки методик для потенциального потребителя?"
    "Эксперт" - это МОНЭКС, который дает заключение по тесту. Вы же почему-то перевели разговор о вероятностной природе выводов по результатам применения теста его пользователем.
    Далее, Вы: "Да, Вы правы: большинство потребителей тестовых технологий хотели бы ПЕРЕЛОЖИТЬ
    на разработчика теста ответственность за принятие решения. Но... это их иллюзия,
    с которой мы - ответственные профессионалы - должны бороться. Ибо все равно
    и в юридическом, и научном, и этическом смысле ответственность за принятие
    решения лежит на ПОЛЬЗОВАТЕЛЕ теста, а не на самом инструменте или
    разработчике.
    "

    Я: "эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать". Опять же, под "экспертом" подразумевается МОНЭКС. Со всеми вытекающими...
    Иными словами, я призываю к тому, чтобы МОНЭКС определился более четко: на какие вопросы он готов отвечать, а под чем подписываться не готов или не намерен вовсе.
    Ну, и по поводу формулировок заключения, которые Вы приводите. Мое личное мнение - это полезные формулировки. Надеюсь, что у Вас есть надежные критерии их использования. Но вот эта : "в) "Методика пригодна для практического применения, но только в комплексном
    сочетании с другими методиками
    ", боюсь, не может быть ни обоснована, ни отвергнута. Любой тест или диагностический метод желательно использовать в батарее. Поэтому эта формулировка мало информативна. Но она может сыграть отрицательную роль при вынесении суждения непрофессионалом о пригодности теста.
  11. Яньшин П.В.

    Яньшин П.В. Локомотив

    Александр Георгиевич, Юрий Александрович! Поверьте, что я уверен в вашей глубочайшей порядочности, и сожалею, если чем-то спровоцировал два ваших сообщения на тему материальных вопросов.
    Шмелев А.Г. нравится это.
  12. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр Всеволодович,

    как видите, и у Вас возникает нежелание соглашаться со всеми из приведенных
    мной формулировок. Тем самым Вы лишь подтверждаете мое утверждение.
    что пока стандартизированный набор формулировок, которые поддерживались
    бы большинством экспертов, не сложился. Я уж не говорю о количественных
    интервалах. Кстати, уверен, что многим потребуются не скалярные величины,
    а "области на векторах" - типовые профили по 20 критериям с границами
    допустимых коридоров по каждому критерию.


    Определенные "профильные границы" (или "области на векторах") у меня
    уже была попытка сформулировать (см. мое письмо Председателю
    оргкомитета 3-й Челябинской конференции, прикрепленная на ветке,
    посвященной подходам к определению ранга экспертов). Но эта
    попытка оказалась ...гм... преждевременной, так как даже Н.А.Батурин
    ее никак не прокомментировал в течение без малого года.


    Ваш АШ

    Последнее редактирование: 24 июн 2016