1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Сколько же людей заблуждается в "четырех соснах" - в ЧТС (?!)

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 24 ноя 2021.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги, здравствуйте!

    Тем из Вас, кто немножко интересуется психометрическим тестированием, будет небезынтересно узнать, сколько людей НЕ умеет разбираться в строках
    и столбцах элементарных таблиц 2 на 2 (и понять, что же стоит за этими ошибками).



    В настоящее время (в ноябре 2021) мы получили в нашем клубе КИТТ 110 протоколов с ответами от участников, которые пришли в наш клубе (на огонек - на отдельный тестик) из Дзен-канала "Думай Человек". Они выполняли 10 обучающих заданий (с текущей обратной связью), построенных на основе ЧТС.

    Вот самое первое и самое простое задание, которое призвано СНЯТЬ НАПРЯЖЕНИЕ - настолько элементарной, чтобы придать участнику уверенность, чтобы он не бросил тест, а поверил в свои силы и пошел дальше.

    ЧТС Условия задания про дождь.jpg

    На самом первом экране надо было ответить всего лишь на вопрос, имеется ли какая-то связь? Правильных ответов, думаете, сколько? - Только 83 процента. Я-то думал, что ошибок будет процентов пять (надеялся), но их все же 17%. А это ведь несмотря на то. что на тест пошли отнюдь не все, кто читал статью на тему ЧТС на Дзене, а пошли только любознательные ( а в статье я там все разжевываю так, что "слишкам многа бука"). А сколько было бы ошибок, если бы это было сплошное, обязательное тестирование всех взрослых людей?

    Но еще интересней нам с Вами вместе проанализировать статистику ответов на второе задание этого обучающего теста:


    Тест ЧТС про дождь.jpg

    Как видим, здесь уже не 17% ошибок, а целых 24% ошибок (ошибается четверть!) Причем видно, что самая типичная ошибка (на нее приходится 16% от всех ответов) - в первом ответе. Это когда анализ вероятности сводится к анализу первой строки. Вот именно эту ошибку и совершают ОЧЕНЬ МНОГИЕ, когда пытаются рассуждать про эффективность вакцинации. Но... учится не делать эту ошибку просто НЕ хотят - "многа букав и цифирок", или "да хто их когда учитывает эти проценты...", или "проф, вспомни-ка лучше Марка Твена про наглую ложь и статистику, а еще очки надел".

    Обратите внимание, что наша базовая платформа - система HT-LINE - автоматически построила таблицу 2 на 2 для этого задания (ЧТС) и рассчитывает автоматически "коэффициент дискриминативности" (КД). В данном задании это коэффициент высокий и равный 0,42. Это выше случайного порога 0,3, то есть задание ХОРОШЕЕ (психометрически пригодное для тестирования). Это задание согласуется с другими заданиями теста и с попаданием испытуемых в высокую или низкую группу по величине суммарного балла. Содержательно это означает: кто ошибся в ответе на это задание, тот будет и дальше... ошибаться по другим заданиям этого теста, включая задания на тему "эффективность вакцинации".

    Где мы систематически помогаем нашим коллегам работать с ЧТС и создавать качественные тестовые задания в тестах знаний - задания с высоким (значимым) коэффициентом дискриминативности? - Это в наших Дистанционных ПсихоМетрических Школах (!). Ближайшая и очередная зимняя намечена на конец января. Главное, внимание - это дистанционный ПРАКТИКУМ (!).

    А какое задание получило самый высокий КД у нас на этом материале?
    Вот так выглядит это последнее задание этого короткого теста из 10 заданий.



    Задание в ЧТС про вакцинацию.jpg



    Как видим, КД=0,75 (кто не в курсе, это очень высокое значение для выборки в 110 человек!). Как видим, это как раз задание на тему вакцинации. Как видим, люди либо в нерешительности (26 процентов), либо совершают ту самую роковую ошибку, когда продолжают упорно учитывать только первую строку, а не всю таблицу в целом.

    Таким образом, очень простой прием - диагностика умения или неумения работать мысленно и правильно с ЧТС - показывает, что следствием неумения является СИСТЕМАТИЧЕСКАЯ ОШИБКА - появляется ЛОЖНЫЙ МЕТОД расчета эффективности вакцинации, ошибочная сведение эффективности к неправильно подсчитанному проценту (по первой строке, вместо первого столбца). А ведь это при том, что в данном случае ЧТС просто у людей ПЕРЕД ГЛАЗАМИ (!).

    Ну а что происходит тогда, когда ничего нет перед глазами и надо соображать " в уме"? А это вот и происходит - систематическая путаница в головах происходит. Я это все хорошо знал за 40 лет работы со студентами-гуманитариями в МГУ. Тридцать процентов студентов-психологов из лучшего вуза страны так и остаются без необходимых навыков в работе с ЧТС (ищут пути получить зачет любым другим способом). Всеми виной - трагический провал в школьных программах, который уже невозможно исправить во взрослом возрасте. Все начинается с путаницы между числителем и знаменателем и в "непонятке", откуда вообще брать знаменатель. Потом возникает гарантированный провал не просто в расчете процентов. Нет вероятностного мышления! И это беда, которую трудно скомпенсировать.

    Хотите укрепиться в работе с ЧТС - ключевым инструментом и для доказательной медицины, и для научной тестологии? Или хотите порекомендовать нашу школу кому-то из своих знакомых (коллег, учеников)?

    А вот здесь ссылка на рекламный лэндинг-сайт, где можно записаться на очередную ДПМШ

    Конструирование тестов знаний (tilda.ws)
    Последнее редактирование: 24 ноя 2021
  2. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    я смеялась над формулировкой первого задания)))Супер!)))
    Тукачев Ю.А. и Шмелев А.Г. нравится это.
  3. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Фантастика! Я под впечатлением от результатов
  4. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    В другой теме А.Ш. Тхостов писал по поводу влияния эмоций на принятие решений. Большинство людей опираются не на формальную логику и не на теорию вероятностей, а на личностную значимость (http://forum.ht-line.ru/threads/cen...lnyx-verojatnostnyx-reshenij.3243/#post-31553). Полагаю, что люди, которые идут учиться на психологов, больше других склонны опираться на эмоции, а не на вероятность.
    Тукачев Ю.А. нравится это.
  5. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Да, Юра, я помню Вашу первую реакцию на этот тестик:

    "Очень легкий".

    А оказалось, что все-таки не для всех.
    И стоит учесть, что до 10 задания можно было на предыдущих
    еще немного на ходу поучиться, ведь по ходу дела
    люди получали ТОС (текущую обратную связь) о правильности
    ответа.


    Когда нас не понимают какие-то заказчики или рядовые
    "эйчары", мы нередко даже не подозреваем, какая
    каша у них в голове по поводу разговора про эффективность
    тех же самых тестов. Ведь тесты - это приближенный вероятностный
    инструмент, а вероятностного мышления нет. Мало людей,
    которые понимают, что хороший тест "снижает риск ошибок"
    на величину добавочной вероятности, которая буквально
    измеряется с помощью КД. Взгляните, как кандидат медицинских
    наук в Фейсбуке отчаянно со мной спорит, что "добавочная
    вероятность"- это... неправильный показатель прогностичности
    (эффективности вакцины).


    ВОЗ по сути не просвещает население (и от малокомпетентных
    руководителей санитарных служб разных стран), что множество
    одобренных ВОЗом лекарств (а также профилактических средств вроде
    различных вакцин от различных болезней) имеют коэффициент "абсолютного
    снижения риска" только в размере 7%, то есть КД=0,07. Люди
    слышат цифру КЭВ=90% , полученную по ПЕРЕКОШЕННОЙ ЧТС и неправильно
    ее интерпретируют как вероятность. Надо сказать, что 7% - это вполне приемлемый коэффициент, когда мы говорим об узкой группе больных, но в случае профилактических
    препаратов (вакцин), которые рекомендуются всем здоровым,
    происходит ошибка... на порядок. Впрочем, если число заболевших
    тем же самым КВ-19 , но не получивших официальный диагноз,
    уже приближается к 50 процентам, то показатели КЭВ и КД сближаются,
    но КЭВ становится... пониже, если его опять пересчитать.
    Но как доказать людям, что КД, рассчитанный корректно по таблицам ЧТС
    и грамотно понятый, уберегает от крайних позиций (от заблуждений),
    - вот это еще пока открытый вопрос. Я еще не научился объяснять,
    что коэффициент, который пригоден для работы с больными (с лекарствами),
    не может работать с большой группой здоровых (как профилактическое
    средство). Отношение вероятностей и разность вероятностей на асимметричных
    таблицах резко расходятся (!).


    Может быть, молодой и задорной энергии, например, у Никиты Александровича
    хватит для того, чтобы это объяснить, например, Юрию Петровичу Зинченко
    (или для начала его замам?).


    АШ




  6. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    А это реальные цифры по ковиду?
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр, здравствуйте.

    Я просто исписался весь, отвечая уже на этот вопрос много-много раз.
    Это упрощенные данные чтобы облегчить расчеты.
    Но... они отражают таблицу, построенную на базе данных по московской
    области, опубликованных на сайте РБК. На канале "думай человек"
    этим данным была посвящена моя отдельная статья. Но... не удается
    пока убедить людей почитать сразу цикл статей. Почему цикл? -
    Итак и идет вой о том, что в каждом статье "многа букав".
    Люди, даже обладающие аналитичепской подготовкой.
    не хотят потратить 1-2 часа для изучения материалов,
    хотят за пять минут разобраться в сложной и неодназначной
    картине, которые имеется во множестве разных массивов данных.
    Ну а что мы ждем от невежественных людей?


    Спасибо.

    С ув,
    АШ



    Тукачев Ю.А. нравится это.
  8. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Здравствуйте, Александр Георгиевич! Спасибо за пояснение. Я читал пару Ваших статей в Дзене. "Много букв" - мягко сказано. Это - обратная сторона профессионального преподавателя. Внимательно разбирал ту, что на основе Британской статистики. Не скажу, что написано просто и понятно.
  9. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    На мой взгляд, там написано подробно и понятным языком, а те, кто привык тексты больше чем в Твиттер не помещаются не читать, не поймут. Люди вообще разучились читать и думать. Одни эмоции, хейт и токсичность. Все это издержки повсеместного доступа к интернету.
  10. Уважаемый Александр Георгиевич!
    Ну а как назвать "профессора Сколково", он вежественный или нет, когда публикует вот такое:

    [​IMG]

    Я тут уже писал про Бурлачука, может быть помните. Я не хочу подвергать сомнению его профессиональный статус, человек он уважаемый, но то что и как он пишет, я для себя назвал словом "небрежность"*). "Большие дяди" (и тёти), ну, или считающие себя таковыми, не удосуживаются внимательно вычитать то, что за них пишут их аспиранты. Это, опять же, моё частное мнение. Но может быть дело в другом? В расфокусировке внимания? Сравните объем информации, получаемый среднестатистическим студентом 5 курса ТОГДА (50 лет назад) и сейчас. Хочется не пропустить ничего, но вчитываться во ВСЁ, что проходит мимо тебя интересного, нет никакой возможности. Мы научились быстро читать. Даже не так. Мы разучились читать, но научились оценивать проходящую мимо информацию: интересно / неинтересно, и научились делать поспешные выводы на основе того, что "оценили", просмотрев фрагментарно.

    *) - готов на фактах аргументировать "небрежность Бурлачука"
    Коклина С.Н. нравится это.
  11. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    А причем тут график? Вне контекста это может многих ввести в заблуждение. Этот график -- подготовленная иллюстрация к докладу (выступлению), а не график из научной статьи. Это ИЛЛЮСТРАЦИЯ ОПРЕДЕЛЕННЫХ тезисов одного человека по совершенно другой теме!

    Прошу также воздержаться оценок достижений определенных людей.

    Последнее редактирование: 26 ноя 2021
    Шмелев А.Г. нравится это.
  12. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Александр Владимирович, а в чём проявилась небрежность Бурлачука?

    Вам наверняка известно, что в учебнике "Общая психодиагностика" под ред. А.А. Бодалева, В.В. Столина была допущена опечатка в формуле поправки Спирмена-Брауна, и эта опечатка потом разошлась по многим интернет-ресурсам. Вот это чья небрежность? Авторов, редактора, корректора или кого-то ещё? Умаляет ли это научные заслуги авторов? На мой взгляд, нет.
    Можете привести подобные примеры в отношении Бурлачука?
  13. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Согласна.
  14. Ярославцева Е.И.

    Ярославцева Е.И. Локомотив

    Коллеги, я думаю, что же эта таблица так много вызывает проблем?
    Может быть следует искать в различиях, особенностях восприятия стандартизованного и обычного знания.
    Я не читала всю ветку, потому что углубления идут не в писхологию человека, а в интерпретацию результатов. А куда делся субъект, берущий в свой интеллектуальный портфель инструмент? Его потеряли? Упустили из поля зрения...

    Я на каком-то этапе эту таблицу усваивала, и ничего особо сложного в ней не было. Да и нет. Соотношения в принципе простые. Многие даже в обиходе такой пользуются, не понимая, зачем это загонять в таблицу.
    Но когда, она "как матрешка", еще вкладывается в такие же или более сложные формализации, то обыденность отлетает, что не позволяет опереться на личный опыт, а требует изысканных формализованных приемов, знаний. И когда через некоторое время снова сталкиваешься с этой простой таблицей, в голове уже нет ощущеня, что получаемым представлениям можно в жизни доверять. Надо всю память обновлять и снова отбрасывать реальность. Одним словом, надо еёй или пользоваться постояннрго, либо каждый раз "править" своё восприятие.
    Возможно, у такой простейшей таблицы есть более успешные модели, которые не требуют прощаться в динамичным жизненным восприятием? Может можно было бы ТАК поставить вопрос? И поискать причину, как же сделать более человекомерным предлагаемый инструмент. Почему он выпадает, не уживается как только выходишь в живое событийное пространство? Может есть какие-то еще аналоги этого интеллектуального инструмента для решения существующих вопросов. Ведь невозможно всем работать одним и тем же инструментом - все разные. Их должно быть много, например, для левшей и правшей да и более тонких различий...