Как участвовать в "виртуальном ужине" TESTbyTEST 29 января?

Коллеги, ниже в этой ветке опубликована ПОЛНАЯ стенограмма вчерашней чат-конференции ("виртуального ужина"):
Если Вы загляните в сам ЧАТ, то там найдете только концовку - неполную ленту вчерашних реплик.

А вот список участников вчерашней встречи, отметившихся в ЧАТЕ.
Получилось 30 человек. Процент от числа заявок превышает треть, что
неплохо. Извините, не успеваю привести инициалы.

Абильтаева
Барлас
Бычков
Власова
Волкова
Дихорь
Завоеванная
Захарова
Коклина
Кораблева
Кукаркин
Курбаленко
Кутеева
Лисица
Медведовская
Низовских
Орлова
Прокофьев
Прокофьева
Савин
Саханова
Свириденко
Семенова
Смоляр
Трухан
Тукачев
Хохлов
Худякова
Шкуратова
Шмелев

Александр Георгиевич, день добрый,

зашла на страницу и увидела, вместо стенограммы:

Наташа, не понятно, почему Вы это видите.
У меня все в порядке с этой приведенной гиперссылке.
Каким браузером Вы пользуетесь?
Может быть, это ваш браузер что-то вытворяет с гиперссылкой?
Режет ее как-то?

Кстати попробуйте ввести "копии чата" в поисковик на главной странице.

Привлекаю @Соколов О.В. к этому вопросу.

Ваш АШ

Александр Георгиевич,

обычно пользуюсь Хромом. Сейчас зашла специально через Мозилу - тот же результат.

А, я подумала, что просто админское ограничение просмотра не снято. Вот и все. Обычно копии чата просматривать могут админы. У Вас же есть эти права, да? Вот, Вы и видите. Кстати, поиск вывел только Ваше крайнее сообщение. Но раз за целый день жалоб не поступило - значит, может только у меня такая ошибка

Конечно, давайте подождем Олега Васильевича...
Если только у меня такая ошибка, то не стоит беспокоиться.

Значит, дело, скорее всего, в ограничении админского просмотра.

Публикую стенограмму прямо здесь:

28 янв 2018 в 15:53 - Шмелев А.Г.: *********************************************************
28 янв 2018 в 15:54 - Шмелев А.Г.: Итак, коллеги, этот тот самый чат ЭСПП, в котором завтра 29 января в 21.00 начнется разговор на тему "ПсихоЛОГИКА испытуемого".
28 янв 2018 в 15:55 - Шмелев А.Г.: ***********************************************************

29 янв 2018 в 19:51 - Шмелев А.Г.: Коллеги, здравствуйте. Прошу всех, кто появился здесь - в нашем ЧАТе - написать короткое приветствие.
29 янв 2018 в 19:52 - Семенова С.Н.: Добрый вечер, приветствую всех.
29 янв 2018 в 19:52 - Шмелев А.Г.: Пока в чате я вижу только Лену Кутееву. Лена, здравствуйте. Остальные есть на форуме, но не попали еще сюда. Новичка, понимаешь.
29 янв 2018 в 19:55 - Шмелев А.Г.: НовичкИ.
29 янв 2018 в 19:55 - Шмелев А.Г.: Вот появилась еще Елена Трухан. Здравствуйте.
29 янв 2018 в 19:56 - Трухан Е.А.: Здравствуйте)
29 янв 2018 в 19:56 - Шмелев А.Г.: Светлана Семенова поздоровалась здесь, хотя я не вижу ее в списке посетителей чата. Что за парадокс?
29 янв 2018 в 19:58 - Саханова Е.М.: Добрый вечер!
29 янв 2018 в 19:59 - Кутеева Е.Н.: Добрый вечер. Я тут.
29 янв 2018 в 20:00 - Медведовская Н.В.: Добрый вечер!
29 янв 2018 в 20:00 - Лисица И.А.: Добрый вечер!
29 янв 2018 в 20:00 - Шмелев А.Г.: Коллеги, прошу набраться терпения тем, кто пришел вовремя и подождать еще 5 минут тех, кто опоздывает. Да?
29 янв 2018 в 20:00 - Кутеева Е.Н.: да. Ждем.
29 янв 2018 в 20:00 - Шкуратова И.П.: Добрый вечер, коллеги!
29 янв 2018 в 20:00 - Смоляр В.В.: Здравствуйте!
29 янв 2018 в 20:01 - Худякова Т.Л.: Добрый вечер!
29 янв 2018 в 20:01 - Шмелев А.Г.: Вижу ФИО коллег, которые зашли на форум (авторпизовались), но так еще и не нашли ЧАТ. С этим последним "дюймом" у нас, как всегда , проблемы.
29 янв 2018 в 20:03 - Шмелев А.Г.: Занятно, что тем, кому я написал подсказку, не догадываются, что им пришло личное сообщение, хотя там стандартная красная пометка на слове "Сообщения".
29 янв 2018 в 20:04 - Савин Е.Ю.: Добрый вечер, коллеги!
29 янв 2018 в 20:09 - Шмелев А.Г.: Я еще в одном (уже третьем) месте только что разместил скриншот, на котором красной стрелочкой указано, где находится ЧАТ. Поместил скриншот как последнее сообщение в разделе НОВОСТИ на форуме. Интересно, хотя бы это смогут увидеть?
29 янв 2018 в 20:09 - Абильтаева С.М.: Добрый вечер!
29 янв 2018 в 20:09 - Шмелев А.Г.: Ну вот, например, Салтанат Абильтаева смогла найти. Не сразу, но смогла! Я рад! Здарвствуйте.
29 янв 2018 в 20:10 - Свириденко И.Н.: Доброй ночи, коллеги!
29 янв 2018 в 20:10 - Волкова Н.Б.: Добрый вечер! Увы, оказывается, есть ожидающие на FB. Надо бы там отменить событие
29 янв 2018 в 20:10 - Кукаркин Б.А.: Добрый вечер!
29 янв 2018 в 20:10 - Абильтаева С.М.: Впервые здесь)))
29 янв 2018 в 20:11 - Хохлов Н.А.: Добрый вечер!
29 янв 2018 в 20:11 - Шмелев А.Г.: Ну что ж, коллеги. Еще раз здравствуйте. Вижу 14 человек в списке тех, кто попал на ЧАТ. Тогда начинаем, да?
29 янв 2018 в 20:12 - Шмелев А.Г.: Надя (Волкова), а как надо написать, что там событие ОТМЕНЯЕТСЯ, а происходит здесь?
29 янв 2018 в 20:12 - Волкова Н.Б.: Здравствуйте, Саотанат!
29 янв 2018 в 20:12 - Тукачев Ю.А.: Александр Георгиевич, коллеги! Добрый вечер!
29 янв 2018 в 20:12 - Шмелев А.Г.: Я уже писал трижды об этом по-всякому! Публиковал скриншот. Но ... понимаю, что люди приходят и ждут... Это уже мы все проходили.
29 янв 2018 в 20:13 - Свириденко И.Н.: В этот раз не было файлика почитать, что быть в теме?
29 янв 2018 в 20:13 - Абильтаева С.М.: Добрый вечер, Надежда!
29 янв 2018 в 20:14 - Шмелев А.Г.: Инна, да преамбулы в этот раз не было. Была только ссылка на страницы в книге.
29 янв 2018 в 20:15 - Шмелев А.Г.: Итак, коллеги. Начнем с того, чтобы Вы познакомились с результатами нашего голосования-опроса в группе на ФБ. Я скриншот с этими результатами опроса поместил на той ветке, где анонсирован этот ужин "ПсихоЛОГИКА...".
29 янв 2018 в 20:15 - Власова О.Г.: Всем здравствуйте!
29 янв 2018 в 20:15 - Хохлов Н.А.: Инна Николаевна, насколько я помню, Александр Георгиевич писал в теме о том, что файла не будет, и предлагал прочитать соответствующую главу в книгу "Практическая тестология"
29 янв 2018 в 20:15 - Завоеванная Н.С.: Здравствуйте, коллеги
29 янв 2018 в 20:16 - Шмелев А.Г.: Больше всех голосов набрала стратегия "Стараются угадать нужный ответ". О чем это говорит? - О том, что большинство участников думают про пси-тесты. а не про тесты знаний при этом.
29 янв 2018 в 20:17 - Шмелев А.Г.: Ведь ключевой (правильный) ответ в тестах на знания - это и есть "нужный". Все всегда его и стараются угадать. И получилось, что этот ответ (не знаю, кто его предложил) покрывает логически все другие ответы. Вот такая у нас мощная классификация получилась.
29 янв 2018 в 20:18 - Шмелев А.Г.: О чем все это говорит? - О том, что теория вопроса совершено НЕ разработана, а если кто-то и пытался ее рыхлить, то никому эти попытки просто не известны.
29 янв 2018 в 20:18 - Волкова Н.Б.: Увы, сплошь и рядом угадывают "нужный" в пси-тестах. Чтобы казаться нужным )
29 янв 2018 в 20:19 - Шмелев А.Г.: В опросниках "нужный ответ" - это социально-желательный или "ситуационно-оправданный" (например, когда надо закосить от армии, то прикидываются придурками, как мы знаем).
29 янв 2018 в 20:19 - Шмелев А.Г.: Главный мой тезис - автор, который не думают про "хитрости" со стороны испытуемый, - это вообще не автор тестов.
29 янв 2018 в 20:19 - Шмелев А.Г.: ИспытуемыХ
29 янв 2018 в 20:20 - Свириденко И.Н.: Кстати, не всегда ищем "нужный", "правильный" ответ.
29 янв 2018 в 20:20 - Свириденко И.Н.: Смотря какая цель прохождения теста. Мотив имеет значение.
29 янв 2018 в 20:20 - Шмелев А.Г.: Инна, я уже написал про так называемый "ситуационно-оправданный". Но давайте для простоты говорить про тесты знаний сегодня, в которых есть "правильный" ответ.
29 янв 2018 в 20:21 - Хохлов Н.А.: Мне кажется, важно разделять случайное угадывание и угадывание в интересах определённой я-концепции. Для случайного угадывания в IRT используется поправка на guessing, а вот для такого намеренного угадывания, по-видимому, надо искать более сложные способы преодоления, причём уже на уровне предъявления теста (а не на уровне обработки результатов)
29 янв 2018 в 20:21 - Завоеванная Н.С.: Инна , Вы говорите о тестировании, например для самопознания?
29 янв 2018 в 20:21 - Шмелев А.Г.: Коллеги, Вам часто приходилось встречать тесты знаний, в которых правильный ответ - это самый длинный, в который входят самые "умные слова"?
29 янв 2018 в 20:21 - Медведовская Н.В.: Не замечала такой взаимосвязи.
29 янв 2018 в 20:22 - Шмелев А.Г.: А все дело в том, что диагностические тесты и обучающие во многих головах - это одно и тоже. Их смешивают и путают все и постоянно!
29 янв 2018 в 20:22 - Завоеванная Н.С.: Нет, но очень бы хотелось, потому что легче)))
29 янв 2018 в 20:22 - Тукачев Ю.А.: Ссылка для тех, кто не читал про результаты голосования: (откройте в новой вкладке браузера)
29 янв 2018 в 20:22 - Кукаркин Б.А.: постоянно встречаю такие вопросы, особенно если пишут люди "от бизнеса"
29 янв 2018 в 20:23 - Тукачев Ю.А.: Результаты голосования
29 янв 2018 в 20:23 - Хохлов Н.А.: Обучающие тесты - это вообще страшная химера. Я предпочитаю называть их тренажёрами, а не тестами. И вообще их лучше давать в рамках парадигмы программированного обучения
29 янв 2018 в 20:24 - Тукачев Ю.А.: "диагностические тесты и обучающие во многих головах - это одно и тоже. Их смешивают и путают все и постоянно!" -- 100% так, беда просто
29 янв 2018 в 20:24 - Шмелев А.Г.: Ссылка на скриншот с результатами опроса http://forum.ht-line.ru/threads/kak-uchastvovat-v-virtualnom-uzhine-testbytest-29-janvarja.2431/
29 янв 2018 в 20:25 - Шмелев А.Г.: Никита, вот видите, Юрий Тукачев и Борис Кукаркин меня вроде бы понимают, что речь идет о более приземленных вещах, чем поправки на quessing в IRT. О различении обущающих и диагностических тестов!
29 янв 2018 в 20:25 - Свириденко И.Н.: У составителей тестов знаний по пож.безопасности, охране труда и у юристов часто правильный ответ - самый длинный. Этим я воспользовалась, составляя вопросы по теме "внутренний контроль" для ревизоров по безопасности движения. К слову сказать, меньше всего было дано правильных ответов именно на вопросы моего блока. Возможно, не зная ответа, выбирали самый длинный вариант, т.е. неправильный
29 янв 2018 в 20:26 - Шмелев А.Г.: В стране под новые профстандарты созданы ТЫСЯЧИ ТЕСТОВ. Создана авторами, которых НИКТО не учил это делать.
29 янв 2018 в 20:26 - Шмелев А.Г.: Никого нигде не заставишь в это вникнуть, открыть и почитать чего-нибудь на тему.
29 янв 2018 в 20:27 - Власова О.Г.: А все считают, что они и так знают, что это (((
29 янв 2018 в 20:27 - Шмелев А.Г.: Инна, спасибо Вам за этот пример. Очень насущный вопрос как раз по причине того, что создаются тесты профзнаний сейчас в РФ в страшных количествах (!!)
29 янв 2018 в 20:27 - Завоеванная Н.С.: Точно
29 янв 2018 в 20:28 - Семенова С.Н.: Не находила связи с длинным ответом и его правильностью. Чаще, в моем опыте, ответ выводили из предшествующих подсказок.
29 янв 2018 в 20:28 - Свириденко И.Н.: Психологи и эйчаров в организациях набор вопросов называют психологическим тестом, что уж говорить про лёгкость, с которой рисуются "тесты знаний"
29 янв 2018 в 20:29 - Шмелев А.Г.: Светлана (Семенова), а Вы возьмите какой-нибудь тест знаний и не наглазок, а посчитайте количество знаков в правильных ответах и в дистракторах.
29 янв 2018 в 20:29 - Семенова С.Н.: Да , путают анкету с тестом ещё.
29 янв 2018 в 20:29 - Тукачев Ю.А.: Я даже больше скажу, столько сил, времени и реурсов в некоторых организациях тратят на создание тестов профзнаний, когда допущены все возможные ошибки, которые возможно допустить авторами, которые не знакомы с тем, как разрабатываются задания.
29 янв 2018 в 20:30 - Шмелев А.Г.: Авторы, не прошедшие подготовки, являются предельно НЕрефлексивными, они просто лишены рефлексивной установки - на угадывание мышления испытуемого.
29 янв 2018 в 20:31 - Свириденко И.Н.: @Тукачев - Юра, так ещё и неточности в формулировках и ляпы в ключах.
29 янв 2018 в 20:31 - Хохлов Н.А.: Это проблема частично решается множественным выбором (возможность нескольких правильных вариантов ответа) и последовательным предъявлением вариантов ответа с предложением согласиться или не согласиться с ним (последнее непросто реализовать даже на компьютере).
29 янв 2018 в 20:31 - Шмелев А.Г.: Если ответы размещаются как точки на количественной шкале, то дилетантский вопрос тоже легко можно узнать - в нем правильный ответ размещается как раз посередине количественной шкалы. А дистракторы - на краях.
29 янв 2018 в 20:32 - Трухан Е.А.: А есть статистика относительно вероятности позиции выбранного ответа - первый, второй, последний, предпоследний из вариантов и т.п.?
29 янв 2018 в 20:32 - Шмелев А.Г.: Испытуемые некоторые просто бессознательно улавливают такие "штучки", которые позволяют им набирать больше очков, чем "случайное угадывание".
29 янв 2018 в 20:32 - Тукачев Ю.А.: Никита, а я вот больше сторонник того, чтобы не включать задания с несколькими правильными ответами
29 янв 2018 в 20:33 - Хохлов Н.А.: Неточности в формулировках и ляпы в ключах становятся очевидными при проведении предварительно апробации теста. Я сталкивался несколько раз с тем, что в разрабатываемых мной тестах внезапно какой-то вопрос очень сильно выбивался по надёжности и сложности. А оказывалось, что это моя ошибка - неправильно проставлен ключ. Ну, и дальше достаточно просто поменять ключ и пересчитать.
29 янв 2018 в 20:33 - Орлова Е.А.: Добрый вечер, коллеги!
29 янв 2018 в 20:33 - Шмелев А.Г.: Елена (Трухан), это Вы справшиваете про тактику позиционного ответа. Да, испытуемые нередко формируют у себя эту тактику по 2-3 первых заданиям в тесте. Им, например, начинает казаться, что правильный ответ - всегда идет последним и они даже готовы это доказывать с пеной у рта.
29 янв 2018 в 20:33 - Кукаркин Б.А.: В защиту неопытных авторов скажу, что многие всё же пытаются об этом думать, на уровне здравого смысла. Но постоянно что-то вылезает. Если не самый длинный вариант ответа, то неправдоподобные дистракторы и т.д.
29 янв 2018 в 20:34 - Свириденко И.Н.: Чем бессознательное улавливание отличается от угадывания?
29 янв 2018 в 20:34 - Шмелев А.Г.: Борис, Вы, конечно, гуманист. Мы все гуманисты, поэтому в стране идет массовый брак.
29 янв 2018 в 20:34 - Тукачев Ю.А.: Трухан Е.А.: см. как пример (сколько не про позицию, т.к. это в современных тестовых системах не имеет значения при рандомизированном пред`явлении) http://hr-datalab.ru/test_scale/
29 янв 2018 в 20:35 - Курбаленко М.А.: Добрый вечер!
29 янв 2018 в 20:36 - Свириденко И.Н.: Гениально: Шмелев А.Г.: Борис, Вы, конечно, гуманист. Мы все гуманисты, поэтому в стране идет массовый брак.
29 янв 2018 в 20:36 - Шмелев А.Г.: Распространненная установка неопытных авторов в отношении дистракторов такая - зачем сильно напрягаться над их правдоподобием, если это неправильные ответы?
29 янв 2018 в 20:36 - Шмелев А.Г.: Мария (Курбаленко) и Женя (Орлова), здравствуйте. Извините, не со всеми успеваю персонально поздороваться.
29 янв 2018 в 20:37 - Бычков И.В.: Добрый вечер!
29 янв 2018 в 20:37 - Тукачев Ю.А.: У нас подключилась Марина Курбаленко, она очень много забавных примеров может привести про правдоподобность дистракторов
29 янв 2018 в 20:37 - Кукаркин Б.А.: Дело не в гуманизме. Просто нас мало.
29 янв 2018 в 20:37 - Шмелев А.Г.: Игорь (Бычков), здравствуйте. Отлично, что Вы пришли.
29 янв 2018 в 20:38 - Шмелев А.Г.: Борис, нас не так мало. Больше проблемы в том, что мы РАЗОБЩЕНЫ и привыкли к этому.
29 янв 2018 в 20:38 - Курбаленко М.А.: Да, Юра, спасибо) да, неопытные авторы чаще думают только над количеством вариантов, а не над качеством
29 янв 2018 в 20:39 - Свириденко И.Н.: ачем сильно напрягаться над их правдоподобием, если это неправильные ответы? - Вот правильные ответы я брала из инструкций, а сколько времени потратила над формулировкой неправильных! И так красиво, так "убедительно"...
29 янв 2018 в 20:39 - Бычков И.В.: Александр Георгиевич, здравствуйте! Извините за опоздание, я на работе))
29 янв 2018 в 20:39 - Тукачев Ю.А.: Да, т.е. вот чаще всего подобные проблемы "всплывают" в заданиях с несколькими правильными, там с дистракторами просто беда в 99% случаев
29 янв 2018 в 20:39 - Шмелев А.Г.: Коллеги, я бы предложил всем собравшимся подумать вот о чем: А КАК МЫ МОЖЕМ ПРЕДЛОЖИТЬ УСЛУГИ НАШЕГО СООБЩЕСТВО по экспертизе качества тестовых заданий, созданных.... неопытными авторами-предметниками?
29 янв 2018 в 20:40 - Шмелев А.Г.: сообществА
29 янв 2018 в 20:41 - Свириденко И.Н.: А есть ли запрос от авторов? Мои коллеги быстрее меня в три раза составили свои вопросы. А я каждый неправильный ответ по полчаса шлифовала.
29 янв 2018 в 20:42 - Шмелев А.Г.: Некоторые дефекты (их немало) в заданиях видны просто "невооруженным" глазом, даже статистики по этим заданиям считать не надо. Просто глаз должен подчиняться голове, в которой должна быть поставлена задача на поиск дефектов в заданиях.
29 янв 2018 в 20:42 - Завоеванная Н.С.: Свириденко И.Н.: Как зачем?) Затем, чтобытест не был для всех легкой прогулкой и имел действительную различительную способность.
29 янв 2018 в 20:43 - Трухан Е.А.: Инна (Свириденко), я считаю, что бессознательное улавливание схоже с интуицией и имеет скорее позитивный характер (люди способные на такое улавливание и в реальных ситуациях будут способны находить верные решения))
29 янв 2018 в 20:43 - Шмелев А.Г.: От авторов запрос? - Это как-то не в духе нашей культуры, правда? Разве самокритика - это сильная национальная черта?
29 янв 2018 в 20:43 - Свириденко И.Н.: Ну тесты знаний не всегда лёгкая прогулка. Некоторые авторы такого наворотят...
29 янв 2018 в 20:44 - Власова О.Г.: Чем меньше у авторов тестов представлений о текстологии, тем легче им составить тест. Они и не подозревают часто, что в тесте что-то не так. А проверяющие инстанции еще менее грамотны в этих вопросах.
29 янв 2018 в 20:44 - Власова О.Г.: ТЕСТологии )))
29 янв 2018 в 20:44 - Шмелев А.Г.: "Наворотят" - это очень уместное слово. Если создается такое трудное задание, которое опять никого не различает, то этот такой же брак, как легкое.
29 янв 2018 в 20:44 - Тукачев Ю.А.: Запрос можно формировать, я в этом уверен. Здесь нужна показательная (демонстрационная) экспертиза
29 янв 2018 в 20:45 - Курбаленко М.А.: А проверяющие инстанции чаще просто ставят ОК
29 янв 2018 в 20:45 - Власова О.Г.: Чего наворотили Шахты в предметных тестах по психологии, помните?
29 янв 2018 в 20:45 - Шмелев А.Г.: Оксана, золотые слова - насчет уверенности в себе, которая всегда выше у дилетантов.
29 янв 2018 в 20:46 - Захарова О.А.: "А КАК МЫ МОЖЕМ ПРЕДЛОЖИТЬ УСЛУГИ..." - платформа для тестирования с "автопроверкой" теста на качество.
29 янв 2018 в 20:46 - Тукачев Ю.А.: Да, ориентируясь на формальные критерии: 40 вопросов в тесте есть. ОК. Запускаем, кто 80% правильных не получит -- "на вылет"
29 янв 2018 в 20:46 - Шмелев А.Г.: Принципиальная проверка - это не в духе наших культурных традиций. Наши проверки являются скорее проявлением... гуманизма в отношении к проверяемымю.
29 янв 2018 в 20:46 - Шмелев А.Г.: проверяемым
29 янв 2018 в 20:46 - Завоеванная Н.С.: Ну и или слишком трудной прогулкой.
29 янв 2018 в 20:47 - Свириденко И.Н.: Каждый год проводится викторина на знание правил технической эксплуатации. Тестирование проходит за компьютером. Вариантов вопросов очень много.
29 янв 2018 в 20:47 - Шмелев А.Г.: Поэтому-то проверки должны быть... анонимными. Эксперты должны работать за ширмой, за ширмой Интернет-системы.
29 янв 2018 в 20:47 - Шмелев А.Г.: Собственно научное рецензирование в журналах тоже должно базироваться на сокрытии имен рецензентов от авторов.
29 янв 2018 в 20:48 - Тукачев Ю.А.: Да, анонимность для экспертов. Это, кстати, легко реализовать (сужу по опыту проекта МОНЭКС, где у каждого эксперта свой ID, известный только ему, последняя экспертиза и ее результаты публиковались именно с указанием ID экспертов)
29 янв 2018 в 20:49 - Шмелев А.Г.: Оля (Захарова), здравствуйте. У нас уже давно используется система проверки качестве тестовых заданий независимыми и анонимными экспертами. СТудентов к этому приобщаем. Они проверяют задания друг у друга на конкурсе БУПС.
29 янв 2018 в 20:50 - Шмелев А.Г.: Студенты знаете какой отсев дали? Сколько было отсеяно на конкурсе БУПС из 280 авторских заданий?
29 янв 2018 в 20:50 - Трухан Е.А.: Экспертизу по предметам нужно привязывать к образовательному стандарту, особенно в гуманитарных дисциплинах
29 янв 2018 в 20:50 - Завоеванная Н.С.: Сколько?
29 янв 2018 в 20:51 - Тукачев Ю.А.: я думаю из 280 не менее 150
29 янв 2018 в 20:51 - Шмелев А.Г.: А сам типовой стандарт разве включает такой компонент как "прошедшие экспертизу индикаторы"? И кто-нибудь знает, каким принципам должна соответствовать такая экспертиза?
29 янв 2018 в 20:52 - Шмелев А.Г.: Это я задал вопрос Елене Трухан.
29 янв 2018 в 20:52 - Трухан Е.А.: ?!
29 янв 2018 в 20:52 - Прокофьев В.Г.: Добрый вечер!
29 янв 2018 в 20:52 - Шмелев А.Г.: Юра хорошо чувствует фактуру таких конкурсов, ибо сам в них уже не раз побеждал (Тукачев). Да, отсеяли почти половину.
29 янв 2018 в 20:53 - Прокофьева Т.Н.: Добрый вечер, коллеги
29 янв 2018 в 20:54 - Тукачев Ю.А.: Это не только конкурсы, участие в них, это опыт работы с тестами в организациях (внутренняя экспертиза).
29 янв 2018 в 20:54 - Шмелев А.Г.: Приветствую Виктора и Татьяну Прокофьевых. Хорошо, что Вы нас нашли. Добрались, так сказать.
29 янв 2018 в 20:55 - Шмелев А.Г.: Юра, извините, что я невольно сузил ваш опыт только до наших конкурсов.
29 янв 2018 в 20:56 - Захарова О.А.: Экспертная оценка - вещь ресурсно затратная. А сервис, который показывает качество вопросов по собранной статистике, может работать, "считая" результат онлайн.
29 янв 2018 в 20:57 - Трухан Е.А.: К разработке стандартов обычно привлекают наиболее компетентных и опытных специалистов, а тесты разрабатывают все, кому не лень)
29 янв 2018 в 20:58 - Захарова О.А.: В Мудле есть "анализ" сложности вопросов в базовой сборке.
29 янв 2018 в 20:58 - Тукачев Ю.А.: Я бы не разделял экспертизу (как экспертную оценку качества по содержанию) и анализ статистики по тесту, они идут (и должны) иди в паре. Другое дело, что еще до пилота теста эксперты смогут существенно повысить качество заданий.
29 янв 2018 в 20:59 - Шмелев А.Г.: Оля, чтобы собрать статистику, надо подставить немало людей под совсем плохие и сырые тестовые задания. Допустим, людей не жалко. А вот что мне лично при этом жалко - это очевидный риск потери авторитета метода тестов, когда люди видят, что на них свалили сырые задания.
29 янв 2018 в 20:59 - Завоеванная Н.С.: Захарова О.А.: тогдаГлавное, что аввтор , понимал статистику и мог обучаться на своих же ошибках . Не знаю, часто ли такое бывает
29 янв 2018 в 20:59 - Тукачев Ю.А.: В "мудле" это очень плохо реализовано
29 янв 2018 в 20:59 - Хохлов Н.А.: Весь вопрос сводится к мотивации разработчика (и промежуточного заказчика) теста - готов ли он платить больше за разработку настоящего теста или ему достаточно получить что-то похожее на тест, чтобы изобразить проделанную работу (ведь конечный заказчик чаще всего ничего не понимает в тестологии)
29 янв 2018 в 20:59 - Курбаленко М.А.: Да, в Мудле есть такое, но это оценка постфактум. Чаще всего задание можно спасти просто прочитав его внимательно
29 янв 2018 в 21:00 - Курбаленко М.А.: Юра, говорят в обновленной версии Мудл все уже лучше...
29 янв 2018 в 21:00 - Тукачев Ю.А.: Марина, внимательное прочтение не авторами еще лучше У авторов, как правило, "вгзляд замылен"
29 янв 2018 в 21:00 - Шмелев А.Г.: Елена, у нас пока не понимают. что СТАНДАРТЫ без эмпирических индикаторов - это пустой звук
29 янв 2018 в 21:01 - Тукачев Ю.А.: Надо посмотреть обновленный "мудл"
29 янв 2018 в 21:01 - Орлова Е.А.: "Весь вопрос сводится к мотивации разработчика (и промежуточного заказчика) теста - готов ли он платить больше". И в его чувстве самоуверенности и самодостаточности. Разработчик может не подозревать ни о стандартах разработки и стандартизации тестов, ни о стратегиях прохождения тестов испытуемыми.
29 янв 2018 в 21:02 - Захарова О.А.: Экспертную оценку иногда можно ждать дольше, чем получить статитстику по сырому тесту. Если это действительно массовый запрос, то эксперты могут не справиться с объемом работ.
29 янв 2018 в 21:02 - Шмелев А.Г.: Мне кажется, что достучаться должны помочь очень яркие примеры - такие, на которые даже журналисты могут ЗАПАСТЬ.
29 янв 2018 в 21:02 - Курбаленко М.А.: Юра, согласна. Даже принцип прочитать не с первого вопроса, а с конца - уже делает взгляд более свежим
29 янв 2018 в 21:03 - Тукачев Ю.А.: Еще раз, не всегда есть эмпирика по тесту, а в большинстве случаев, она бесполезна
29 янв 2018 в 21:04 - Тукачев Ю.А.: Те. в организации может давно собираться статистика по тесту, но для анализа она абсолютно непригодна (подробнее нет возможности рассказать)
29 янв 2018 в 21:04 - Шмелев А.Г.: Интересные "перлы" из области "уловок от испытуемых" дал конкурс ЛИДЕРЫ РОССИИ.
29 янв 2018 в 21:05 - Кутеева Е.Н.: Александр Георгиевич, поподробнее про "уловки"
29 янв 2018 в 21:05 - Шмелев А.Г.: Как работает, например, субъективное восприятие слова ИГО, когда человек совсем не знает исторической хронологии. Знаете насколько лет ошиблись в оценке события "Освобождение Болгарии от турецкого ига"?
29 янв 2018 в 21:06 - Кутеева Е.Н.: не рискну предположить
29 янв 2018 в 21:06 - Кукаркин Б.А.: думали про татарское иго?
29 янв 2018 в 21:06 - Шмелев А.Г.: Хотелось бы услышать еще, кому интересен разговор про "турецкое иго"?
29 янв 2018 в 21:07 - Завоеванная Н.С.: На очень много
29 янв 2018 в 21:07 - Шмелев А.Г.: Борис. горячо! Просто отлично!
29 янв 2018 в 21:07 - Завоеванная Н.С.:
29 янв 2018 в 21:07 - Свириденко И.Н.: Есть ещё вариант, когда заказчик и разработчик находят в одной организации в позициях руководящий орган / исполнители. Т.е. кроме варианта "разработать тест" д.б. вариант - предложить алгоритм создания теста и технологию обработки результатов
29 янв 2018 в 21:07 - Шмелев А.Г.: Это событие (освобождение Болгарии) расположили на хронологической оси раньше... похода Ермака в Сибирь (!?!). Ошибка в 300 лет!
29 янв 2018 в 21:08 - Шмелев А.Г.: Это была самая крутая массовая ошибка в тесте по истории, который выполнили 84 тысяч участника конкурса ЛР.
29 янв 2018 в 21:09 - Кутеева Е.Н.: да...
29 янв 2018 в 21:09 - Шмелев А.Г.: Вот такие вещи мне, честно говоря, не хочется рассказывать на ФБ. Поэтому хорошо, что здесь собрались.
29 янв 2018 в 21:09 - Прокофьев В.Г.: Коллеги. Есть ли опыт, статистика зависимости результативности (релевантности) тестов от того, кто за него платит? Внешний заказчик (работодатель, например) или сам испытуемый?
29 янв 2018 в 21:10 - Шмелев А.Г.: Думаю, что одну из причин Борис точно угадал. Слово "Иго" толкнуло в сторону времени монголо-татарского ига... Идет догадка по словам, понимаешь. Со словами надо осторожно.
29 янв 2018 в 21:11 - Кутеева Е.Н.: Александ Георгиевич, может Вы расскажете вообще про конкурс Лидеры России. Конечно, в рамках другого чата. Интересен взгляд изнутри. Да и вообще интересно.
29 янв 2018 в 21:11 - Орлова Е.А.: Это была бы отличная тема для виртуального вечера
29 янв 2018 в 21:12 - Шмелев А.Г.: Лена, я обещал здесь на форуме немножко рассказывать, поэтому буду выполнять обещание. Но... давайте дождемся завершения финала в феврале. ЧАТ - это хороший вариант. Отсюда можно убрать материал, спрятать в стенограмму. Только для членов профсоюза.
29 янв 2018 в 21:13 - Шмелев А.Г.: Немножко еще подогрею интерес к ошибкам в хронологии. А знаете, когда произошел "Пакт Молотова-Риббентропа"?
29 янв 2018 в 21:14 - Кукаркин Б.А.: неужели тут тоже была систематическая ошибка?
29 янв 2018 в 21:14 - Завоеванная Н.С.: в 39
29 янв 2018 в 21:14 - Завоеванная Н.С.: 1939
29 янв 2018 в 21:14 - Шмелев А.Г.: Да, Борис, почти 40 процентов промахнулись на десятки лет!
29 янв 2018 в 21:14 - Свириденко И.Н.: Да, давайте поговорим про Лидеры России))) Можно ли назвать это тестом знаний? И какие проблемы участники увидели в 1 и 2 турах?
29 янв 2018 в 21:15 - Шмелев А.Г.: Наташа, прибавьте к этому 50 лет.
29 янв 2018 в 21:15 - Завоеванная Н.С.: Ух
29 янв 2018 в 21:15 - Савин Е.Ю.: А в чем возможная причина ошибки с "пактом Молотова-Риббентропа"?
29 янв 2018 в 21:15 - Кукаркин Б.А.: 1989? Какая логика, интересно?
29 янв 2018 в 21:16 - Шмелев А.Г.: Инна, я знаю, что у Вас возникло критическое восприятие тестов на дистанционном этапе этого конкурса. Но картина тех, кто прошел этот барьер, вызывает оптимизм. Ведь точка отсечения легла совсем не высоко. И это важно.
29 янв 2018 в 21:17 - Завоеванная Н.С.: А, у нас много чего происходило в 89...
29 янв 2018 в 21:17 - Свириденко И.Н.: Упс! Т.е. лидеры России не могли посчитать, исходя из возраста В.А.Никонова - внука Молотова???? Ну и что это за лидеры такие?
29 янв 2018 в 21:17 - Шмелев А.Г.: Борис, Вы догадываетесь, что произошло в 1989 году и почему пакт переехал на полвека позднее в головах у многих наших сограждан (это не какие-нибудь "тупы америкосы", между прочим).
29 янв 2018 в 21:17 - Орлова Е.А.: А каков возраст тех, кто допускал такие ошибки? Вряд ли 35-40-летние
29 янв 2018 в 21:18 - Орлова Е.А.: Все ли знают о родстве Вячеслава Никонова с Молотовым?
29 янв 2018 в 21:18 - Завоеванная Н.С.: дак насколько я знаю, там 20 летних не было
29 янв 2018 в 21:18 - Шмелев А.Г.: Инна, в том-то и дело, что у нас страна оптимистов, мечтателей. Мы хотим "все выше и выше, и выше!". Все хотят быть лидерамию. 200 тысяч хотят рукоководить этой страной и уверены, что справятся не хуже нынешних.
29 янв 2018 в 21:18 - Орлова Е.А.: 25-30-летние могут этого не знать
29 янв 2018 в 21:19 - Коклина С.Н.: Воссоединение Германии в 1990-м?
29 янв 2018 в 21:19 - Шмелев А.Г.: Да ничего не знают они, ни про Молотова, ни тем более про Никонова (или наоборот, неважно). Они хотят РУКОВОДИТЬ! Это значит, иметь кучу помощников, которые должны все знать.
29 янв 2018 в 21:20 - Кукаркин Б.А.: Ну да, падение стены, всё такое.
29 янв 2018 в 21:20 - Орлова Е.А.: "Зачем мне знать географию, если есть извозчик?"
29 янв 2018 в 21:21 - Кутеева Е.Н.: "Зачем мне знать географию, если есть извозчик?" В самую точку!
29 янв 2018 в 21:21 - Орлова Е.А.: Вместо извозчика пишем смартфон с gps и википедией
29 янв 2018 в 21:21 - Шмелев А.Г.: В 1989 пакт стал публичным предметом массовых протестов и нашел свое освещение в СМИ. ПомнитеЮ, прибалты взялись за руки в трех республиках в знак проеста против пакта. Вот и подумали, что тогда-то он и был заключен, когда против него пошли протесты. Такая вот "психологика", понимаешь.
29 янв 2018 в 21:22 - Кукаркин Б.А.: "Зачем мне знать географию, если есть извозчик?" Таких доводов и жалоб было удивительно много на апелляциях. И про числовой с вербальным тестом тоже.
29 янв 2018 в 21:22 - Шмелев А.Г.: протеста, а не проеста, конечно.
29 янв 2018 в 21:22 - Свириденко И.Н.: Лидеры России: Я знаю также, что я проходила сама, а не в окружении помощников. Но критика в данном случае того, как соотносилась тематика вопросов с управленческой функцией руководителей. Через любой сито на скорость решения протрясти и получим потрясающе интеллектуальных людей. Мне, действительно, хотелось пройти первый тур, чтобы попасть во второй. А вот во втором мотивация была другая
29 янв 2018 в 21:22 - Захарова О.А.: "Коклина С.Н.: Воссоединение Германии в 1990-м?" - надо быть уверенным, что Риббентроп у них ассциируется с Германией
29 янв 2018 в 21:23 - Шмелев А.Г.: Борис, Вы тоже видели эти доводы и апелляции. Так что хорошо, что я не одинок тут как источник информации о "психологике".
29 янв 2018 в 21:23 - Свириденко И.Н.: Понять логику авторов теста, а не угадывать "правильные" ответы.
29 янв 2018 в 21:23 - Кораблева Е.В: Посмотрите результаты ЕГЭ по истории. 70 баллов из 100 - это очень высокий результат. А выше - вообще редкость.
29 янв 2018 в 21:25 - Шмелев А.Г.: Для обнаружение признаков грубейшего невежства и искажения картины мира не нужны слишком тонкие методы. Годятся вполне даже тесты самого простейшего типа - с выбором ответа. Но... они должны быть составлены профессионально.
29 янв 2018 в 21:25 - Орлова Е.А.: При этом довольно многоребят, желающих сдавать историю: 20%. Выше только обществознание - 55%
29 янв 2018 в 21:26 - Шмелев А.Г.: Еще хуже, чем с историей, обстоит дело с литературой и географией.
29 янв 2018 в 21:26 - Шмелев А.Г.: Люди без особого юмора в протестных своих письмах в оргкомитет пишут, что "не обязаны знать всех стихотворения написанные Чеховым".
29 янв 2018 в 21:27 - Свириденко И.Н.: Коллеги, доброй ночи, время уральское
29 янв 2018 в 21:27 - Шмелев А.Г.: Инна, до свидания. Спасибо за ваше как всегда активнейшее участие.
29 янв 2018 в 21:27 - Завоеванная Н.С.: Люди без особого юмора в протестных своих письмах в оргкомитет пишут, что "не обязаны знать всех стихотворения написанные Чеховым". - круто!
29 янв 2018 в 21:28 - Кукаркин Б.А.: так Чехов "известный украинский поэт"
29 янв 2018 в 21:29 - Кутеева Е.Н.: Тут недавно прочитала книгу по филологии. Акцент делается на то, что русский человек должен знать и русских писателей и их произведения.
29 янв 2018 в 21:30 - Кукаркин Б.А.: С точки зрения конкурса ЛР, тесты знаний сработали на отлично - говорю скорее как сторонний наблюдатель, так как не имел никакого отношения к их разработке. Проблема была только в количестве людей, которых отфильтровывали первым этапом.
29 янв 2018 в 21:30 - Шмелев А.Г.: Видимо, эта новость с Украины повлияла... Раз жил и лечился в Крыму, то украинский, конечно.
29 янв 2018 в 21:31 - Семенова С.Н.: ИНТЕРЕСНО, будет ли конкурс на соответствие существующих лидеров России?
29 янв 2018 в 21:32 - Шмелев А.Г.: Светлана (Семенова), если мы будем такие вопросы задавать, то и этот конкурс долго не проживет, я боюсь.
29 янв 2018 в 21:33 - Семенова С.Н.: да, "минное поле"
29 янв 2018 в 21:34 - Шмелев А.Г.: Интересна сама дискуссия о том, что есть ЗНАНИЕ. Люди заблуждаются искренне, не понимая, что ПРОСТРАНСТВО истории и географии структурируется только с помощью определенных реперных точек в этом пространстве. Думают. что это все неважно.
29 янв 2018 в 21:35 - Шмелев А.Г.: Впрочем, коллеги, мы договорились, что ужин продлится не больше 90 минут. Так что вполне можете прощаться или даже по-английски...
29 янв 2018 в 21:35 - Трухан Е.А.: С помощью таких конкурсов можно выявить интеллектуальных лидеров, но лидеры, как вы все прекрасно знаете, бывают разные...
29 янв 2018 в 21:36 - Шмелев А.Г.: Не надо путать интеллектуальных лидеров и просвещенных лидеров. Это разные люди и у них разные амплуа. От вторых требуется не путать первую и вторую Мировые войны, понимаете?
29 янв 2018 в 21:36 - Кутеева Е.Н.: "Интересна сама дискуссия о том, что есть ЗНАНИЕ". Предлагаю в качестве темы одного из будущих "ужинов". После обсуждения конкурса ЛР конечно.
29 янв 2018 в 21:36 - Шмелев А.Г.: А вот пришли и силятся управлять народами лидеры совсем уже не просвещенные. Причем на Западе проблема эта же едва ли острее стоит.
29 янв 2018 в 21:37 - Завоеванная Н.С.: Про ЛР, лучше не в чате, а в теме говорить, я думаю
29 янв 2018 в 21:37 - Орлова Е.А.: Мне кажется, часть наших лидеров вроде того же Жириновского с тестом на эрудицию справились бы с полпинка. А часть вовсе нет. И они совсем другим берут, эрудиция, скажем, не в событиях прошлого, а в современных технологиях, гибкость, умение ориентироваться в изменчивом мире, строить стратегию, взвешивать решения
29 янв 2018 в 21:38 - Низовских Н.А.: Александр Георгиевич, благодарю Вас за организацию вкусного ужина. Очень полезно было прочитать раздел в Практической тестологии 3.4. Рефлексивные игры и психологика испытуемых. Спасибо!
29 янв 2018 в 21:38 - Завоеванная Н.С.: Всем до свидания, коллеги! Спасибо!
29 янв 2018 в 21:38 - Курбаленко М.А.: Коллеги, спасибо всем за дискуссию. Надеюсь, что мы найдем решение для массовой проверки некачественных тестовых заданий) До новых встреч!
29 янв 2018 в 21:39 - Орлова Е.А.: Аналогично! С удовольствием прочитала эти странички, а без повода когда бы еще добралась
29 янв 2018 в 21:39 - Шмелев А.Г.: ЖЕня, какие Вы думаете познания в области истории "репрессированных народов" имел Грачев, который отправил гореть в танках немало новобранцев в Грозном в 1994 году?
29 янв 2018 в 21:40 - Шмелев А.Г.: Марина (Курбаленко), спасибо Вам за участие.
29 янв 2018 в 21:40 - Кутеева Е.Н.: До свидания, коллеги. До новых встреч.
29 янв 2018 в 21:40 - Захарова О.А.: Еще пара вариантов "народного" просвещения в тестологии: онлайн-курсы и интерактивные учебники. До новых встреч.
29 янв 2018 в 21:40 - Кораблева Е.В: До свидания! Я первый раз на ужине. Было очень интересно. Спасибо! До новых встреч!
29 янв 2018 в 21:40 - Власова О.Г.: До свидания.
29 янв 2018 в 21:41 - Орлова Е.А.: Александр Георгиевич, не изучала его образования, но думаю, что явно не научные и откровенно фрагментарные.
29 янв 2018 в 21:41 - Медведовская Н.В.: До свидания, было интересно. Мне приходилось составлять тесты для студентов по истории немецкого языка, профессиональная экспертиза очень бы не помешала, да вот не нашлось у нас рецензентов)))
29 янв 2018 в 21:41 - Шмелев А.Г.: Я тоже не изучал, но по биографии можно догадаться...
29 янв 2018 в 21:41 - Барлас Т.В.: Всем большое спасибо, впервые участвовала в ужине, предпочла остаться читателем. Многое почерпнула, надеюсь в следующий раз присоединиться более активно
29 янв 2018 в 21:42 - Шмелев А.Г.: Татьяна (Барлас), удивляюсь тому, что Вы сегодня не вмешались. Но все равно рад вашему участию.
29 янв 2018 в 21:43 - Прокофьев В.Г.: До свидания.
29 янв 2018 в 21:43 - Прокофьева Т.Н.: Всего доброго, коллеги!
29 янв 2018 в 21:45 - Шмелев А.Г.: Да, коллеги, пожалуй я тоже уже собираюсь попрощаться. Это не значит, что "кухня" закрывается. Тут еще можно подзастрять тем, кому это интересно. Пока! Спасибо еще раз всем участникам.
29 янв 2018 в 21:46 - Савин Е.Ю.: До свидания, коллеги!
29 янв 2018 в 21:46 - Семенова С.Н.: До свидания.
29 янв 2018 в 21:46 - Трухан Е.А.: Много нового и важного, спасибо, всего доброго!
29 янв 2018 в 21:46 - Саханова Е.М.: До свидания, спасибо большое за интересную дискуссию! Для меня это тоже был дебют, с удовольствием была хоть и пассивным, но все же участником)))
29 янв 2018 в 21:50 - Орлова Е.А.: На самом интересном месте, эх
29 янв 2018 в 22:38 - Дихорь В.А.: Коллеги, прошу прощения. Из-за глобальных проблем с сетью только смогла прочитать в офлайн режиме. Благодарю за интересную и порой неожиданную информацию

Коллеги, предлагаю остановиться на третьем варианте

Спасибо, Александр Георгиевич