Мозговой штурм насчет формата и тематики конкурса экспертов-психологов

Дорогие коллеги!

ВНИМАНИЕ: Вчера обсуждение этого проекта состоялось в разделе "Экспресс-экспертиза" в категории "Измерение. Диагностика". Там же ПРОДОЛЖАЮТСЯ голосования по дискуссионным вопросам этого проекта.

АШ

===========================================================

Одна из возможных идей "конкурса экспертов" в черне и кратком изложении такова.
Это идея "Некоммерческого Проекта Онлайн-Экспертизы Методик" (НПОЭМ - ужасная аббревиатура ).

На первом этапе (первые три методики):

1. Автор(ы) психодиагностической методики присылает администратору форума (техдиректору) материалы на экспертизу (примерно так, как это делали авторы в адрес "Ежегодника"). Главное - это PDF-файл (можно и Ворд-файл) с руководством пользователя, включающим психометрический отчет.

2. Всем экспертам поступает приглашение провести онлайн-экспертизу методики по 20 критериям (примерно по 20).

3. Первые трое откликнувшихся образуются "тройку" - комиссию. Все трое получают доступ к PDF-файлу.

4. Трое, все внимательно изучив, оценивают методику по 20 критериям.

5. Система автоматически ранжирует трех экспертов по уровню согласованности.
Лучший из трех получает 2 тысячи рублей за свою работу, второй - 1 тысячу, третий - 500 рублей.

6. Профиль и рейтинг методики публикуется в специальном разделе на форуме EISPR.

7. В этом же разделе публикуется рейтинг экспертов - по количеству набранных ими очков (за первое место - 20 очков, за второе - 10, за третье - 5). Этот рейтинг постоянно обновляется при поступлении новых методик и проведении экспертиз.

8. На первом этапе гонорарный фонд (в размере 10 500 рублей) формируется из средств спонсора- Лаборатории "Гуманитарные технологии", осуществляющей также техническую поддержку всего проекта.

9. Эксперты получают свои гонорары на свои мобильные расчетные счета в Интернете (или на мобильные телефоны).

10. Лучшие из трех экспертов получают право на публикацию "содержательного отзыва",который в данном случае структурируется просто - как аргументация к оценкам этого эксперта по 20 критериям (или аргументация к коллективному профилю оценок).

На втором этапе (начиная с четвертой методики):

1. Автор одновременно с заявкой вносит в режиме онлайн (у нас уже есть на сервере платежный шлюз) сумму в размере 3 тысячи 500 рублей

2. Все средства, внесенные автором поступают исключительно в фонд оплаты труда экспертов.

3. Техническая поддержка этого проекта осуществляется Лабораторией Ht безвозмездно (хотя если появится спонсорская помощь или грант,никто возражать не будет).

Прошу выдать Вашу критику.
Можно еще до 24 июня (в режиме комментариев здесь),
А 24-го мы, наверное, перенесем "мозговой штурм" по поводу этого плана (или альтернативных, если они будут предложены) в ЧАТ.

24-го мы планируем показать, как будет выглядеть профиль методики и рейтинг экспертов на примере методики 16PF.

С уважением,
А.Г.Шмелев

Коллеги, а вот как выглядит согласованность трех первых экспертов по методике,
избранной для демонстрационного анализа - 16PF в адаптации А.Н.Капустиной (Спб: Речь, 2001-2006).

Согласованность экспертов (средняя = 0.834) :
1. Шмелев А. 0.91
2. Тукачев Ю. 0.85
3. Барлас Т. 0.74

Как видим, по 20 показателям достигнут весьма высокий уровень средней согласованности экспертов.

Пока еще не подключились к оценке этой методики ряд других приглашенных экспертов (в том числе А.Г.Виноградов, который возглавит обсуждение профиля оценок). Сам профиль оценок будет опубликован, как это объявлено в повестке ДОД, в тематическом разделе "Измерение. Диагностика" в подразделе, который модерирует А.Г.Виноградов -
"Рецензии на диагностические и оценочные методики".

АГ, я свои оценки дал буквально сразу же после получения приглашения. Кстати, а каким образом Вы считали согласованность внутри эксперта?

Дорогой АГВ (вынужден использовать три буквы, чтобы не перепутать... с самим собой),

я Вас так понял, что Вы дали очень предварительные оценки. Если хотите, что-то изменить,
то там - на вашей странице эксперта - кнопка так и называется "изменить".

Для профилей из 20 экспертных оценок рассчитывается аналог коэффициента Пирсона, но с условным средним (в данном случае это балл 2 на шкале от 1 до 3). Насколько мне не изменяет память, как-то это по науке называется вроде "Косинус-Пи". Он, в отличие от Пирсона, снижает балл согласованности для слишком "добреньких" и слишком "строгих" экспертов (у первых профиль в целом завышен, а у вторых - в целом занижен).

Если Вы считаете, что ваши оценки даны окончательно, то сейчас минут через 10 я опубликую, как выглядит согласованность "на четверых".

Ваш АШ

нет, это не окончательные оценки, я их к вечеру поменяю
"Для профилей из 20 экспертных оценок рассчитывается аналог коэффициента Пирсона" - т.е. это корреляция с суммарными оценками других экспертов? Хм, тогда непонятно про "условное среднее"

нет, это не окончательные оценки, я их к вечеру поменяю
"Для профилей из 20 экспертных оценок рассчитывается аналог коэффициента Пирсона" - т.е. это корреляция с суммарными оценками других экспертов? Хм, тогда непонятно про "условное среднее"

Александр, понятие "корреляция", как Вы хорошо знаете, шире, чем "линейная Пирсона".
Есть туча разных коэффициентов корреляции. Если вы подставите в формулу Пирсона
место Xсред константу 2 и вместо Yсред тоже константу 2 (это нетрудно сделать в Экселе),
то Вы получите то самое значение, о котором я говорю. Если хотите, то можно называть
такое среднее значение "безусловным", а не "условным". Его "условность" для меня
заключается в том, что мы его постулируем, а не получаем эмпирически.

В эту же саму трансформированную формулу можно подставить не только целочисленные
значения из индивидуального профиля оценок одного эксперта, но и "усредненные
значения на шкале от 1 до 3" для всех "остальных экспертов" (это и делает компьютер
весьма успешно).

Кстати, Р.Кеттелл для измерения сходства профилей в стенах (индивидуальных и типовых)
также применяет похожий коэффициент, который он с коллегами, кажется, называет
"коэффициент подобия". В этом случае "условная константа" (условное среднее) разумеется
равно 5.5 - середина на шкале стенов.

Расчет "на четверых" я откладываю до вечера - когда Вы измените свои предварительные оценки на окончательные.

С ув,
АШ

А вот какие результаты по согласованности мы получаем при добавлении четвертого эксперта:

Эксперты: Согласованность (средняя = 0.848) :
1. Шмелев А. 0.93
2. Виноградов А. 0.92
3. Тукачев Ю. 0.81
4. Барлас Т. 0.72

Теперь опубликуем данные по 8 экспертам:

Согласованность (средняя = 0.782) :
1. Шмелев А. 0.93
2. Козяк-Жданович А. 0.89
3. Осин Е. 0.85
4. Виноградов А. 0.85
5. Тукачев Ю. 0.72
6. Барлас Т. 0.71
7. Хохлов Н. 0.71
8. Попов А. 0.58

Самим "мягким" оценщиком оказался Алексей Попов, но даже его не самое удачное подключение
не слишком изменило итоговый рейтинг методики по 20 критериям.

По трем экспертам рейтинг (как процент от максимального балла) = 31%
По восьми экспертам = 34%

То есть, как видим, первая тройка вполне квалифицированно воспроизводит тот результат, который дает нам восьмерка - рейтинг данной методики заведомо и надежно ниже 50%. То есть, неудовлетворительные оценки выставлены по большинству критериев.

Давайте оставим публикацию самых содержательных данных (профиля методики по 20 критериям) до 24 июня.

Благодарю всех, кто подключился к серьезной и актуальной работе по оцениванию методики 16PF-С в адаптации Александры Николаевны Капустиной (не могу, увы, пока с ней связаться лично). Очень хорошо, что компанию в этой работе нашим признанным активистам составили в этот раз такие известные специалисты по психодиагностике как Алексей Попов и Евгений Осин.

С моей точки зрения, наш первый эксперимент ("разведка боем") дал вполне добротные результаты, из которых мы можем сделать вывод, что разработанный метод "экспресс-оценки методик" (или "онлайн-экспертизы") дает вполне убедительные результаты.

Ваш АШ

Александр Георгиевич, а если попробовать по телефону:
Приемная декана:
(812) 328-00-01
поинтересоваться контактами у декана факультета А. В. Шаболтас

Александр Георгиевич,
мои вопросы и комментарии:
3. (первый этап) я так понимаю, что "кто первый встал, того и тапки"? А если представить, что желающих принять участие в экспертизе будет много? Может быть вначале стоит определить какой-то временной интервал и дать возможность всем желающим экспертам (кстати, сколько их у нас?) оценить методику, а уже потом выделить тройку самых-самых? (последние и получают материальное вознаграждение) Победителю предоставить право написания рецензии (анализ профиля экспертных оценок).

Анастасия, спасибо за Ваши вопросы.

Тем самым мы как бы начинаем обсуждение проекта.
Конечно, регламент проекта должен быть написан подробнее.
В том числе, Вы правы, очень тщательно должны быть продуманы
правила определения тройки. Что мне не нравится в обычной
практике рецензируемых журналов и сборников? - То, что
рецензентов (анонимных, заметьте!) назначает, как правило,
либо главный редактор, либо ответственный секретарь (тот,
кто реально "рулит"). На этом фоне "самовыдвижение" выглядит
как более демократичная процедура, которая призвана повысить
доверие к "независимости группы экспертов".

Допускать ли к экспертизе больше трех? - Это вопрос.
Сейчас мы в экспериментальном порядке допустили 8 человек, как Вы видите.
С одной стороны, это хорошо, когда больше экспертов: чем больше,
тем ближе к объективности. Но... хотелось бы, чтобы тройка работала
серьезно и профессионально, имея гарантии хотя бы минимальной
компенсации за свой труд. Иначе в нашем случае получилось бы,
что пятеро из 8 не получили бы никакой компенсации. А ведь
вначале вынесения оценок, никто из экспертов не знает, попадет
ли он в первую тройку или в последнюю пятерку... На мой взгляд,
это может снизить мотивацию на ответственную работу. Впрочем,
идеальное решение тут вряд ли можно отыскать - все решения
имеют недостатки. Важно найти такое решение, которое при
наличии недостатков, все же работало бы, то есть процесс шел,
а не останавливался. Если в число первой тройки будут попадать
какое-то "полулюди-полуроботы", способные быстро перехватывать
"заказы" (а именно роботы сейчас дежурят на тендерных площадках
в Инете - я точно знаю!), то это тоже плохо. Придется отказываться
от такой схемы и вносить в нее коррективы. Например такие,
которые Вы предлагаете (я их развиваю):

1) Объявляется какой-то период (2 недели, допустим) на подачу
заявок от экспертов (с момента появления заявки от автора
или правообладателя).

2) Среди всех подавших заявку в течение двух недель отбирается
тройка таких экспертов, у которых... выше рейтинг. Они объявляются
платными экспертами, а другим предлагается тоже участвовать,
но заведомо на общественным началах в смысле оплаты. Хотя...
если кто-то из бесплатных ворвется в тройку лучших по согласованности,
то их рейтинг будет расти и в следующих раз они смогут претендовать
на попадание в "платную тройку"... Но ... такое описание правил
уже оказывается длинным и для "мозгового штурма" не подходит.
Я написал упрощенную схему, чтобы спровоцировать "мозговой штурм".

3) Что же делать в том случае, если в течение двух недель наблюдается
нехватка трех экспертов (или даже вообще никто не подал заявку)? - Тогда
придется либо назначать-уговаривать (как это сейчас происходит у
Н.А.Батурина с Ежегодником), либо продлевать срок сбора предложений
от экспертов (и методика будет ждать, пока не появятся желающие ее
оценить). Мне ближе второй вариант.

Я вот думаю еще о чем. Не вынести ли заранее (уже сегодня к вечеру
подготовить и опубликовать) некие изначально неочевидные вопросы по этому
проекту ПОЭМА на голосование? - Чтобы подхлестнуть участие.
Ведь гораздо проще кликнуть на готовый вариант ответ, чем писать
свой вариант и обосновывать.

Пока я вижу необходимость "обсудить в узком круг" (до начало ДОД) вот такие
вопросы на голосование (их поставим именно в Ваш раздел "Экспресс-экспертиза",
чтобы привлечь к нему внимание потенциальных участников этого проекта):

1. Кто имеет право подавать методику на экспертизу?
= только автор и-или правообладатель
= только пользователи методик (но тогда они должны оплачивать экспертизу, это очевидно!)
= и автор(ы), и пользователи
= иной ответ и-или комментарий

2. Кто имеет право подавать заявку на роль эксперта?

= любой дипломированный психолог
= любой зарегистрированный участник форума EISPR
= круг экспертов, прошедших специальный отбор, из числа участников форума EISPR
= любой зарегисьтрированный участник, но в число "платной тройки" попадают
только эксперты из числа прошедших отбор
= иной ответ и-или комментарий

3. Нужна ли оплата экспертов и по какой модели их оплачивать?
= никакой оплаты не нужно, пусть все трудятся на общественных началах
= пусть все получают поровну - делят между собой гонорар в равных долях
= пусть оплачивается только тройка лучших, причем первый должен
получить гонорар в разы больше, чем третий (как предложено в проекте Шмелевым)
= иной ответ и-или комментарий


4. Кто должен быть отобран в число "тройки платных" экспертов из числа подавших заявки?
= три эксперта, подавших заявки первыми,
= три эксперта с самым высоким рейтингом,
= не нужно заранее выделять "платных экспертов", лучше определять тройку по
факту большей или меньшей согласованности с оценками остальных
= я против оплаты экспертов вообще
= иной ответ и-или комментарий

5. Как определить в самом начале рейтинг экспертов (еще до начала практики
экспертиз по формальным оценочным критериям)?

= это нельзя сделать в принципе
= можно устроить "фильтрующих тест знаний по психодиагностике" с выставлением
балла каждому выполнившему тест
= можно устроить социометрический опрос участников форума (ведь многие
участвовали или читали "Ежегодник" и знают друг друга) и социометрический
статус будет начальным рейтингом


6. Откуда брать средства на оплату экспертов? (можно указать несколько ответов)

= я против оплаты экспертов
= за это должны платить авторы методик (правообладатели)
= за это должны платить те, кто подает заявку на методику (это могут быть пользователи методики)
= за это должны платить спонсоры
= иной ответ и-или комментарий

Анастасия (и другие активисты), если у Вас есть дополнения к этому набору из 6 вопросов,
давайте их сегодня. Свои правки-корректировки этих вопросов (и ответов) тоже публикуйте.
Мне кажется, что мы должны завести 6 отдельных голосований-тем, чтобы приучить
участников форума голосовать здесь, а не "где-то". Другой вариант - обычный закрытый опрос на hT-LINE. Минус (в плане чистоты голосования), но одновременно достоинство (в плане мотивация)
голосования средствами данного форуме XenFORO заключается в том, что каждый следующий
участник может увидеть результаты (хотя сейчас я засомневался, что это так, поэтому ставлю
пробное первое голосование в разделе "Экспресс-экспертиза" - с моим проставленым голосом.
Вы видите мой выбор до собственного голосования?).


С ув,
АШ

Вот здесь я привел первое голосование и уже сам проголосовал:

http://forum.ht-line.ru/threads/golosovanie-1-kto-imeet-pravo-podavat-metodiku-na-ehkspertizu.233/

Виден ли мой выбор до Вашего голосования?