Мини-конференция TESTbyTEST "Экспертная валидизация тестовых заданий"

Спасибо за общение. До скорой встречи.

Метод кейсов самое то, мне кажется

Всем спасибо Спокойной ночи и до встречи!

Коллеги,

а это стенограмма из Чата-сервиса, который мы вчера покинули и перешли сюда.
Реплики идут в обратном порядке - начинаются с последней.

1. 
   Вчера, в 22:23 Шмелев А.Г.:
   Ирина, я боюсь, что Оповещения у новичков совсем не появляются. Ведь это появляется только у тех, кто уже зашел на данную ветку. Так что наводка на ГЛАВНУЮ - верней!
2. 
   Вчера, в 21:43 Шмелев А.Г.:
   Женя, тоже спасибо. Там мы уже продолжили разговор.
3. 
   Вчера, в 21:43 - Шмелев А.Г.:
   Ольга, спасибо за помощь в организации сегодняшней коммуникации.
4. 
   Вчера, в 21:43 - Орлова Е.А.:
   Коллеги, все сюда! http://forum.ht-line.ru/threads/min...kspertnaja-validizacija-testovyx-zadanij.2320
5. 
   Вчера, в 21:42 - Тангеманн О.Б.:
   Друзья, отмечайтесь на форуме в теме, раз Александр попросил, переходите туда! Кисленко, как Ваше им, напишите, я Вам отвечу на форуме.
6. 
   Вчера, в 21:41 - Лисица И.А.:
   Что сделать для перехода: справа в верхнем углу есть Оповещение, кликните на него, а затеми на сообщение А.Г.Шмелева
7. 
   Вчера, в 21:40 - Орлова Е.А.:
   Вот я бы категорически поддержала такой вебинар или мастер-класс, лучше и то, и другое. Показать, что это ценный инструмент, что это не страшно и можно быстро освоить базовые техники и получать удивительные результаты. Я до сих пор под впечатлением от статобработки одного малоизвестного многофакторного теста и его превращения в итоге в другой, работающий трехфакторный Научно-техническое чудо
8. 
   Вчера, в 21:40 - Кисленко В.В.:
   Прошу прощения, я с мобильника... Продолжу: 90 противоречивых направлений, в т.ч. по содержанию, всю статистику сведут к 0..
9. 
   Вчера, в 21:40 - Воскресенская Е.В.:
   Александр Георгиевич, я первый раз, не понимаю, что надо сделать для перехода.
10. 
    Вчера, в 21:39 - Шмелев А.Г.:
    Нина Аркадьевна, я отвечаю Вам на форуме, ОК?
11. 
    Вчера, в 21:38 - Шмелев А.Г.:
    Инна и коллеги, я приношу извинения за то, что сегодня возникла такая непредвиденная кутерьма с входом в чат. Давайте перейдем на обычный форум. См. раздел ГЛАВНАЯ и последние сообщения в нем.
12. 
    Вчера, в 21:38 - Воскресенская Е.В.:
    Вебинары проводим. И по разработке тестов, и по аналитике в сфере HR, но по статпакету не было. Надо запросить у коллег!
13. 
    Вчера, в 21:36 - Кисленко В.В.:
    Ольга! В соционике пока можно говорить о валидности тестов внутри школ, ввиду отсутствия единых стандартов. Порядка 90 известных школ и направлений, ра
14. 
    Вчера, в 21:36 - Свириденко И.Н.:
    Вот ночь на дворе, а я бегаю за вами)))
15. 
    Вчера, в 21:35 - Тангеманн О.Б.:
    Спасибо, Евгения. Я просто надеюсь, что мне не надо все делать самой, есть же специалисты. Но я не против поучиться, время сейчас есть.
16. 
    Вчера, в 21:35 - Шмелев А.Г.:
    Я уже задергался отвечать на вопросы, что сегодня с чатом и форумом. Придется... уволить админа этого форума. Увы!
17. 
    Вчера, в 21:35 - Низовских Н.А.:
    Александр Георгиевич, хочу спросить, с какой целью эксперты "должны обязательно пройти тест". Как это учитывается?
18. 
    Вчера, в 21:35 - Шмелев А.Г.:
    Инна и коллеги! Давайте перейдем в обычный режим форума. См. ГЛАВНАЯ (слева на черном фоне) - кликайте по моему сообщению там и Вы попадете, куда надо!
19. 
    Вчера, в 21:34 - Свириденко И.Н.:
    Здравствуйте, коллеги! Читала преамбулу. Какие-то проблемы входа на форум , даже вот учётная запись заблокирована оказалась))) Два чата в меню, вошла во второй сверху. Почему-то текст сегодня здесь не сверху вниз, а снизу вверх, не удобно читать. Могу участвовать в любой площадке, какую осилит мой телефон.
20. 
    Вчера, в 21:34 - Савин Е.Ю.:
    Из двух кнопок "чат" работает только одна, поэтому ошибиться и зайти не туда сложно.
21. 
    Вчера, в 21:33 - Орлова Е.А.:
    Ольга, для статистического способа валидизации без программы статобработки не обойтись, ее придется осваивать, хотя бы основные операции. А интересно, у Гуманитека бывают вебинары или живые мастер-классы по работе со статпакетами для практических целей? Мне и самой такого не хватает, чтобы "вспомнить всё".
22. 
    Вчера, в 21:33 - Тангеманн О.Б.:
    Давайте перейдем!
23. 
    Вчера, в 21:33 - Шмелев А.Г.:
    Как насчет перехода? Кликните на ГЛАВНУЮ и увидете там в качестве последнего сообщения мое приглашение. От Шмелева.
24. 
    Вчера, в 21:32 - Тангеманн О.Б.:
    Александр, вы демонстрировали, что некоторые тестовые задания нельзя валидизировать, да? Или что именно там работает?
25. 
    Вчера, в 21:32 - Тукачев Ю.А.:
    ниже 0.5 -- это слабенькая согласованность
26. 
    Вчера, в 21:32 - Низовских Н.А.:
    Шуточное задание про бурятов и якутов мне показалось интересным. Правда, работает.
27. 
    Вчера, в 21:32 - Тукачев Ю.А.:
    0.5 - 0.7
28. 
    Вчера, в 21:32 - Шмелев А.Г.:
    Да, АХТУНГ! Случилась какая-то беда с входом в ЧАТ, сегодня! Два чата в меню мешают многим (а я их не вижу). Может быть, перейдем в моей раздел - в ту ветку, где заявлена тема. Будем писать прямо на форуме. Так будет неудобно делать стенограмму. А в остальном нормально. Как?
29. 
    Вчера, в 21:31 Кутеева Е.Н.:
    Александр Георгиевич, тест впечатлил. Действительно отлично работает
30. 
    Вчера, в 21:30 - Шмелев А.Г.:
    Коллеги, как Вам понравилось шуточное задание про бурятов и якутов? А ведь оказалось, что оно... ОТЛИЧНО РАБОТАЕТ!
31. 
    Вчера, в 21:29 - Тангеманн О.Б.:
    Александр. В смысле, Вы не хотите учиться соционике? Меня в отношении корреляции интересует сравнение результатов по нескольким тестам. Есть батарея тестов и ее надо проверить.
32. 
    Вчера, в 21:27 - Тангеманн О.Б.:
    Спасибо, поняла. Корреляция - это хорошо. Но если задать жесткие условия, то процент валидности будет низкий. Если ожидать 100% совпадения реультата теста с диагностикой эксперта по анкете, например.
33. 
    Вчера, в 21:26 - Шмелев А.Г.:
    Вторая причина, Ольга, по моим наблюдениям даже более весомая. Поэтому и учиться не хочется
34. 
    Вчера, в 21:25 - Науменко А.С.:
    Юра, спасибо. Да, эту статью, развенчивающую все городские легенды, я видела. Она очень любопытная. Но вот вы, например, в МОНЭКСе для себя где проводите границу?
35. 
    Вчера, в 21:25 - Тангеманн О.Б.:
    Александр, многие эксперты отказываются от тестов по разным причинам. Во-первых, их не обучали созданию тестов и они не понимают ценности тестов. Во вторых, боятся, что их дорогостоящие услуги не потребуются.
36. 
    Вчера, в 21:25 - Шмелев А.Г.:
    Ольга, второй метод - это корреляция результатов теста с другими (нетестовыми) процедурами оценки (диагностики).
37. 
    Вчера, в 21:24 - Шмелев А.Г.:
    Аня, лучше объяснить присутствующим, что rwg - это оценка одного объекта по нескольким критериям (шкалам). Я уверен, что мало кто из присутствующих сталкивался с этим термином, написанном латинскими буквами.
38. 
    Вчера, в 21:23 -Тангеманн О.Б.:
    То есть, я думаю, что валидные тесты уже есть в соционике. Нужно только провести валидизацию - сравнить мнения экспертов. А вот про второй способ я как -то не поняла, как его проводить.
39. 
    Вчера, в 21:23 - Тукачев Ю.А.:
    Аня, по поводу cutoff можно почитать здесь http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.463.428&rep=rep1&type=pdf
40. 
    Вчера, в 21:22 - Шмелев А.Г.:
    Ольга, это потрясающий вывод, к которому Вы пришли. Без шуток! Так как меня коллеги-соционики в августе почти убедили, что тест в соционике - это игрушка.
41. 
    Вчера, в 21:21 - Тангеманн О.Б.:
    Что я для себя уяснила, пока читала преамбулу, что создать валидный тест в соционике - это вполне реально.
42. 
    Вчера, в 21:20 -Шмелев А.Г.:
    МОНЭКС - это немного другое, Аня. Это оценка методики в целом, а не отдельных заданий. Главное в отдельных заданиях - это вообще-то их РЕШЕНИЕ экспертами. Вот чего эксперты боятся как огня. Чем знатней эксперт, тем больше боится!
43. 
    Вчера, в 21:19 - Тангеманн О.Б.:
    Друзья, может не совсем в тему, но мне нужна валидизация тестов и я в этом ничего не понимаю. Если кто-то захочет мне помочь - буду признательна! Пишите в личку. А здесь смогу что-то понять только на самом примитивном языке.
44. 
    Вчера, в 21:19 - Шмелев А.Г.:
    Коллеги, в преамбуле я больше уделил внимание статистическим аспектам процедуры, чем содержательным. Кто-то , наверное, больше содержательного разговора ожидал, да?
45. 
    Вчера, в 21:18 - Науменко А.С.:
    Александр Георгиевич, преамбулу прочитала, а потом посмотрела, что в МОНЭКСе вы используете rwg.
46. 
    Вчера, в 21:18 - Шмелев А.Г.:
    Почему-то не вижу сегодня Инну Свириденко в чате, хотя вижу на форуме. Она ведь не раз здесь участвовала. Видимо, забыла, зачем зашла..
47. 
    Вчера, в 21:17 - Шмелев А.Г.:
    Женя, методы совместимы. В головах у психологов они не совместимы, а в реальности совместимы. Только эксперты всегда работают ДО проверки эмпирической валидности.
48. 
    Вчера, в 21:16 - Шмелев А.Г.:
    Разницы большой между шкалами из 5 и 7 оценок нет. Более того, надежность для 7 градаций частенько оказывается ниже, чем для 5. Об этом были специальные исследования, да и я это тоже наблюдал.
49. 
    Вчера, в 21:16 - Орлова Е.А.:
    У меня тоже вопрос по теме, и пускай он будет глупый, но хочу разобраться: почему два метода валидизации несовместимы и после статистической оценки нельзя пройтись по вопросам экспертам?
50. 
    Вчера, в 21:15 - Шмелев А.Г.:
    Аня (Науменко), здравствуйте. А вы успели почитать мою "преамбулу". Ведь я там фактически предложил ответ на ваш вопрос, если я его правильно понял. 0,6 - это точка отсечения для корреляции индвидуальных оценок эксперта со средним профилем оценок.
51. 
    Вчера, в 21:14 - Науменко А.С.:
    Под оценочными категориями я имела в виду градации на оценочной шкале, которыми пользовались эксперты, проще говоря, есть ли разница, когда эксперты выставляют оценки от 1 до 5 или от 1 до 7?
52. 
    Вчера, в 21:14 - Орлова Е.А.:
    Юрий, приветствую! Тогда нужно опросить, кто из участников готов ради этого завести Телеграм.
53. 
    Вчера, в 21:13 - Науменко А.С.:
    Добрый вечер, коллеги! Уже можно начинать? У меня вопрос, по теме чата. Как вы определяете cut-off для критерия согласованности rwg? В литературе часто встречается рекомендация - выше 0.7 или 0.8, для пяти оценочных категорий. А если категорий не 5, а 7? Будет ли меняться cut-off и зависит ли он от количества экспертов, выполнявших оценку? Спасибо!
54. 
    Вчера, в 21:12 -Тукачев Ю.А.:
    Александр Георгиевич, коллеги, пока все приветствуют, ориентируются в чате, я хотел бы просто озвучить предложение: давайте попробуем провести следующую чат-конференцию в telegram
55. 
    Вчера, в 21:12 - Орлова Е.А.:
    Добрый вечер! У меня тоже ДВА ЧАТА появилось в верхней панели. Через первый не войти, требует еще какой-то дополнительной регистрации. Получилось только через второй.
56. 
    Вчера, в 21:11 - Савин Е.Ю.:
    Добрый вечер!
57. 
    Вчера, в 21:11 - Кисленко В.В.:
    Доброго вечера
58. 
    Вчера, в 21:11 -Шмелев А.Г.:
    Почему-то многие жалуются, что у них в меню две команды ЧАТ. Но, к счастью, доступна (кликабельна) только одна из них - вторая.
59. 
    Вчера, в 21:10 -кресенская Е.В.:
    Всех приветствую!
60. 
    Вчера, в 21:10 - Лисица И.А.:
    Александр Георгиевич, почему Вы предложили эту тему для сегодняшей чат-конференции?
61. 
    Вчера, в 21:10 - Славнова Т.О.:
    Добрый вечер! Кажется получилось )))
62. 
    Вчера, в 21:06 - Шмелев А.Г.:
    Ольга, да это и есть чат. Это сообщения и все.
63. 
    Вчера, в 21:05 - Тангеманн О.Б.:
    Добрй вечер! Это и есть чат? Я в первый раз. Участники будут писать сообщения и все?
64. 
    Вчера, в 21:05 - Власова О.Г.:
    У меня тоже два чата, вошла в первый попавшийся)
65. 
    Вчера, в 21:04 - Власова О.Г.:
    Добрый вечер!
66. 
    Вчера, в 21:02 - Тукачев Ю.А.:
    Александр Георгиевич, я сделал скриншот, потом попробуем разобраться, если не только у меня так.
67. 
    Вчера, в 20:59 Шмелев А.Г.:
    Юрий, а что у Вас за браузер такой? Первый раз о таком слышу! Может быть, перезагрузить браузер?
68. 
    Вчера, в 20:59 - Кутеева Е.Н.:
    Добрый вечер!
69. 
    Вчера, в 20:58 Тукачев Ю.А.:
    У меня почему-то в меню форума показывается два чата.
70. 
    Вчера, в 20:58 - Тукачев Ю.А.:
    Коллеги, здравствуйте!
71. 
    Вчера, в 20:53 - Шмелев А.Г.:
    Коллеги, хотелось бы попросить всех, кто зайдет в чат, поздороваться с участниками. Как это сделала Ирина Лисица.
72. 
    Вчера, в 20:53 - Лисица И.А.:
    Добрый вечер!
73. 
    Вчера, в 20:52 - Шмелев А.Г.:
    ПРИВЕТ УЧАСТНИКАМ 8-Й ЧАТ-КОНФЕРЕНЦИИ TESTbyTEST!
74. 
    Вчера, в 13:36 - Шмелев А.Г.:
    Вводный текст по теме можно почитать здесь: http://forum.ht-line.ru/threads/min...spertnaja-validizacija-testovyx-zadanij.2320/
75. 
    Вчера, в 13:34 - Шмелев А.Г.:
    ===================================================================================

Для облегчения работы составителя стенограммы (это, возможно, в данном случае будет @Лисица И.А. ) публикую список из 16 участников вчерашей ВВВ-встречи:

Власова
Воскресенская
Кисленко
Кутеева
Лисица
Науменко
Низовских
Орлова
Прокофьева
Савин
Свириденко
Славнова
Тангенманн
Тукачев
Хохлов
Шмелев

Коллеги, приветствую!
Полную Стенограмму - прикрепляю.

Спасибо, друг!