Как использовать результаты экспертизы МОНЭКС в продвижении своих тестов?

Юрий Александрович, я в замешательстве. Похоже я внезапно всем задолжал.

Пётр Всеволодович, Вы не совсем правильно меня поняли Я только немного хотел внести ясность, но получил другой эффект.
Без Вас (авторов методик) проект невозможно реализовать. Я с благодарностью отношусь к Вашему участию в проекте в качестве автора-заявителя методики. Надо сказать, что по результатам -- это одна из лучших методик.
Вы спрашивали, как перевести сырой балл по результатам в стандартные. Попробуйте самостоятельно превести Ваш итоговый нестандартизированный балл (в процентах) превести в стандартизированный показатель качества, при условии, что среднее значение 100-балльной стандартизированной шкалы равно 60 сырым процентам, а 10 баллов (процентов) -- ст. отклонение.

Этого было бы достаточно в качестве резюме
А по предоставленным Вами нормам она - просто середнячёк.

Вот все методики: 34 45 53 56 56 57 65 66 68 (нестандартизированный балл). 3-е место из 9

9 недостаточно для стандартизации. Пока этот путь будет приводить к ошибочным характеристикам. Требуется качественный анализ параметров оценки каждого случая. НО. "3 место и 9" уже лучше, но шкала порядков угрубляет результат. Попробуем так: (68-34)/9=3,8. Округляем до 4. Считаем от верхней границы. Первые три попадают в 1й диапазон; три следующие - в 3й, и т.д. Всего - 8 "мест". Что скажете?

Петр Всеволодович,

я с Вами согласен, как думаю согласится и Юрий Александрович Тукачев,
что содержательное краткое резюме-вывод для автора крайне желательно.
Но... нам пока (при наличии того опыта, который накопили), трудно
изобрести интервальные границы на рейтинговой шкале (плюс
какие-то пороговые ограничения по отдельным шкалам) и приписать
им качественные формулировки-выводы в такой форме, которая
была бы убедительна для всех экспертов (или хотя бы для квалифицированного
большинства). Пока МОНЭКС-экспертиза - это скорее инструмент, который
порождает относительный экспертный балл на единой шкале, на которой
одни методики можно сравнить по качеству с другими. Этот балл получает
какой-то все более ясный смысл по мере накопления опыта - по мере
проведения экспертизы большего числа методик. Когда их станет не 9,
а, допустим, 20 штук, нам будет гораздо легче сформулировать варианты
с надеждой, что с этими интервалами согласится большинство экспертов.
Если сейчас поторопить события и искусственно навязать экспертному
сообществу какую-то категориально-интервальную шкалу (какие-то
оценочные грейды или градации), то этим можно просто ИСПОРТИТЬ,
да, увы, испортить естественный процесс.


Пока, если принять за среднее сырой процент 60, а за стандартное
отклонение интервал в 10, то стандартизированный балл качества
по вашей методики оказывается равным 105, что сигналит любому
читателю заключения (свидетельства по результатам МОНЭКС),
что качество Вашей методики "выше среднего". Так мне кажется.

Кстати, я бы не стал учитывать балл по первой пробной методике 16PFс,
ибо Капустина не готовила ее специально под экспертизу МОНЭКС.
Тогда средний балл по восьми оставшимся методикам оказывается
равным 58,25, что и приближает его к более понятной
и округленной границе 60.

Ваш АШ

Александр Георгиевич, здравствуйте.
Это Ваше детище, и Вы решаете. По тексту Вашего поста видно, что Вы ориентированы на оценку и принятие МОНЭКС "экспертным сообществом". Правда, оно уже сформировано - Вами же, - в форме МОНЭКС. За рамками МОНЭКС, ИМХО, нет экспертного сообщества. У меня такое впечатление, по крайней мере. Однако, здесь я могу ошибаться: мало ли кто захочет немного "подружить против" МОНЭКС... Но мой-то вопрос был совершенно о другом: о резюме для потенциального потребителя. Не о рейтинге или чемпионате тестов.
Эксперт обязан ответить на ряд четко сформулированных вопросов в области, где априори не существует четко определенных критериев оценки. Но эксперт вправе отказаться от ответа на вопрос, в котором он не компетентен, либо потребовать правильно переформулировать вопрос. Если Вы участвовали в, например, судебной психолого-психиатрической экспертизе, то понимаете, о чем я. Иными словами, эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать. Быть может, он не создан для оценки методик для потенциального потребителя?

Петр Всеволодович,

я уверен, что Вы тоже понимаете, в чем разница между психиатрической экспертизой
и оценкой качества методик. Суд должен вынести бинарное решение и ему необходимо
получить бинарное заключение о степени вменяемости - "вменяемый человек или нет".
Тестовая методика - это принципиально вероятностный инструмент, позволяющий
вырабатывать не бинарные решения по типу "подходит - не подходит", а ВЕРОСТНОСТНО-
ОТНОСИТЕЛЬНЫЕ решения по типу "данный человек подходит с большей вероятностью".
Соответственно более качественные тесты отличаются от менее качественных лишь
степенью вероятностной точности, но не более того. Тест - это вообще не есть
инструмент, отменяющий ответственность человека за принятие решение.
Да, Вы правы: большинство потребителей тестовых технологий хотели бы ПЕРЕЛОЖИТЬ
на разработчика теста ответственность за принятие решения. Но... это их иллюзия,
с которой мы - ответственные профессионалы - должны бороться. Ибо все равно
и в юридическом, и научном, и этическом смысле ответственность за принятие
решения лежит на ПОЛЬЗОВАТЕЛЕ теста, а не на самом инструменте или
разработчике. Пользователь может ссылаться на данные "тестовой диагностики",
но принимает решение на свою ответственность.

Тем не менее мы будем стремится к тому, чтобы выработать критерии, по которым
в разных заключениях были написаны разные, но предельно понятные и ОБЩЕПРИНЯТЫЕ формулировки:

а) "Методика пригодна для практического применения в широком классе
практических задач (ситуаций)".
б) "Методика пригодна для практического применения в узком классе
практических задач"
в) "Методика пригодна для практического применения, но только в комплексном
сочетании с другими методиками".
г) "Методика пригодна для проведения исследовательской работы, но еще
не готова для практического применения".
д) "Методика требует серьезной модернизации и в существующем виде
не является перспективным инструментом ни для практической, ни
для исследовательской работы".

Вы лично готовы уже сейчас (сегодня) выработать формальные правила,
привязывающие эти возможные заключения к шкале МОНЭКС.

Кстати, стоит специально подчеркнуть, что номенклатура подобных
"экспертных заключений" с трудом и не за одни год нарабатывалась
нами - коллективом редакторов-составителей и авторским активом
"Ежегодника рецензий и обзоров" (Н.А.Батурин) НЕ один год и до
сих пор этот перечень формулировок нельзя считать стандартизированным.


Ваш АШ

P.S.
Когда Вы пишите "МОНЭКС - детище Шмелева", то это меня гораздо
меньше радует, чем если бы Вы написали "МОНЭКС - это наша общая
с Вами забота". Для меня МОНЭКС - это обязательно именно коллективный
инструмент и продукт коллективных усилий. И если кто-то воспринимает
это не так, то меня лично это только огорчает. У меня, слава Богу, достаточно
других поводов воплощать свои личные творческие амбиции, чем это
делать по поводу МОНЭКС.

Петр Всеволодович,

подробное сообщение Юрия Александровича, как и в каком размере расходовались
небольшие средства, полученные на МОНЭКС, неправильно расценивать, как обращенные
к Вам лично. Юрий Александрович - в высшей степени ответственный и добросовестный
человек, его самого искренне беспокоит, каким образом тратятся те очень скромные
средства, которые удалось собрать на этот проект.

И я, и Юрий Александрович, и Анастасия Козяк (она временно отошла от проекта
по семейным обстоятельствам в этом году), убеждены в следующем. Для того, чтобы
МОНЭКС стал фактически независимым КОЛЛЕКТИВНЫМ проектом, он не должен
находится в материальной зависимости от какого-то одного источника поступлений.
Это должны быть разные авторы, разные фирмы-заявители и т.п. А фигуры руководителя Экспертной комиссии МОНЭКС и руководителя менеджерской группы МОНЭКС (исполнительного директора) должны быть подотчетными сообществу и сменяемыми демократических путем, то есть должна производится и финансовая отчетность тоже, желательно не реже, чем раз в год.

Ваш АШ

Александр Георгиевич! Боюсь, возникло недопонимание, о чем я написал.
Вы: "я уверен, что Вы тоже понимаете, в чем разница между психиатрической экспертизой
и оценкой качества методик. Суд должен вынести бинарное решение и ему необходимо
получить бинарное заключение о степени вменяемости - "вменяемый человек или нет".
Тестовая методика - это принципиально вероятностный инструмент, позволяющий
вырабатывать не бинарные решения по типу "подходит - не подходит", а ВЕРОСТНОСТНО-
ОТНОСИТЕЛЬНЫЕ решения по типу "данный человек подходит с большей вероятностью"
Я: "Эксперт обязан ответить на ряд четко сформулированных вопросов в области, где априори не существует четко определенных критериев оценки. Но эксперт вправе отказаться от ответа на вопрос, в котором он не компетентен, либо потребовать правильно переформулировать вопрос. ... Иными словами, эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать. Быть может, он не создан для оценки методик для потенциального потребителя?"
"Эксперт" - это МОНЭКС, который дает заключение по тесту. Вы же почему-то перевели разговор о вероятностной природе выводов по результатам применения теста его пользователем.
Далее, Вы: "Да, Вы правы: большинство потребителей тестовых технологий хотели бы ПЕРЕЛОЖИТЬ
на разработчика теста ответственность за принятие решения. Но... это их иллюзия,
с которой мы - ответственные профессионалы - должны бороться. Ибо все равно
и в юридическом, и научном, и этическом смысле ответственность за принятие
решения лежит на ПОЛЬЗОВАТЕЛЕ теста, а не на самом инструменте или
разработчике."
Я: "эксперт сам определяет границы своей компетенции: это его ответственность и обязанность. Чтобы не порождать необоснованные ожидания. МОНЭКС тоже должен это сделать". Опять же, под "экспертом" подразумевается МОНЭКС. Со всеми вытекающими...
Иными словами, я призываю к тому, чтобы МОНЭКС определился более четко: на какие вопросы он готов отвечать, а под чем подписываться не готов или не намерен вовсе.
Ну, и по поводу формулировок заключения, которые Вы приводите. Мое личное мнение - это полезные формулировки. Надеюсь, что у Вас есть надежные критерии их использования. Но вот эта : "в) "Методика пригодна для практического применения, но только в комплексном
сочетании с другими методиками", боюсь, не может быть ни обоснована, ни отвергнута. Любой тест или диагностический метод желательно использовать в батарее. Поэтому эта формулировка мало информативна. Но она может сыграть отрицательную роль при вынесении суждения непрофессионалом о пригодности теста.

Александр Георгиевич, Юрий Александрович! Поверьте, что я уверен в вашей глубочайшей порядочности, и сожалею, если чем-то спровоцировал два ваших сообщения на тему материальных вопросов.

Петр Всеволодович,

как видите, и у Вас возникает нежелание соглашаться со всеми из приведенных
мной формулировок. Тем самым Вы лишь подтверждаете мое утверждение.
что пока стандартизированный набор формулировок, которые поддерживались
бы большинством экспертов, не сложился. Я уж не говорю о количественных
интервалах. Кстати, уверен, что многим потребуются не скалярные величины,
а "области на векторах" - типовые профили по 20 критериям с границами
допустимых коридоров по каждому критерию.

Определенные "профильные границы" (или "области на векторах") у меня
уже была попытка сформулировать (см. мое письмо Председателю
оргкомитета 3-й Челябинской конференции, прикрепленная на ветке,
посвященной подходам к определению ранга экспертов). Но эта
попытка оказалась ...гм... преждевременной, так как даже Н.А.Батурин
ее никак не прокомментировал в течение без малого года.

Ваш АШ