1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

А знаете ли Вы что такое низкая прецизионность тестов на коронавирус?

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 28 июн 2020.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Здравствуйте, коллеги.

    Мы уже разбирали ранее такие характеристики методов медицинской диагностики как "чувствительность" и "специфичность". Сегодня хотелось бы помочь Вам разобраться с тем, что такое "прецизионная точность" на базе тех же самых ЧТС, которым мы столько внимания уделяем в открывшейся вчера летней психометрической школе.

    Когда Анна Попова говорит о том, что точность тестов на коронавирус достигает только ... 40 процентов и появляется 60 процентов ошибок, то говорит она не о показателе Accuracy (общая точность по матрице ошибок), а именно о Precision (точности положительного прогноза). Хотя, увы, эти термины в переводе на русский практически не различаются. См. более подробные формулы и наиболее полную сводку терминов для разных показателей вот в этой статье в англоязычной Википедии:

    https://en.wikipedia.org/wiki/Confusion_matrix

    При каких же условиях высокие значения Сензитивности и Специфичности (в районе 0,96), как и высокая Accuracy 0,96 могут нам давать низкую прецизионность - ниже 50 процентов? - Это при тех условиях, когда прогнозируемое целевое событие (зараженность человека коронавирусом) является РЕДКИМ событием и в матрице частот 2 на 2 возникает асимметрия по краевым частотам - по столбцам.

    Пусть ЧТС для теста на коронавирус выглядит так:

     
    КВИ+
    (реально заражены)

    КВИ -
    (реально здоровы)

    Тест +
    (по тесту заражены)
    А B

    Тест -
    (по тесту здоровы)
    CD
    И при обследовании 10 миллионов человек получаем следующие частоты на месте клеточек матрицы (значения в тысячах):


     
    КВИ+
    (реально заражены)

    КВИ -
    (реально здоровы)

    Тест +
    (по тесту заражены)
    А =190 тысячB= 300 тысяч

    Тест -
    (по тесту здоровы)
    C = 10 тысячD = 9500 тысяч
    Показатель прецизионности - это А/(А+B). (Увы, его часто путают с показателем сензитивности А/(А+С) ).

    Как видим, в таблице прецизионность оказывается ниже 40 процентов, а более 60 процентов - это ложные позитивные результаты теста, которые при повторном тестировании не подтверждаются. При этом сензитивность (чувствительность) равна 0,95, а специфичность и того выше - примерно 0,97.

    В этих условиях получаем следующей парадокс, который без повторного контрольного тестирования (через 2 дня) превращается в настоящий "клондайк" для желающих отчитаться о "страшном росте уровня зараженности населения". Чем больше проводится таких тестов, тем больше растет число зараженных, ибо доля ошибок - "ложных положительных тестов" очень велика (в общей численности положительных результатов).

    Когда в мае надо было продолжить "домашний арест" (извините,политику самоизоляции), то число зараженных ТЕСТ+ легко можно было нарастить путем резкого наращивания числа тестов, потому что в эту категорию попадают не только "истинно-зараженные" люди типа А, но и "здоровые с положительным тестом" типа В.

    Такие причуды в "матрице ошибок" (более бизнесовое название для ЧТС) возникают именно тогда, когда наблюдается резкая асимметрия в численности двух выборок - зараженных (А+C) и здоровых (B+D). Обратите внимание, что чаще всего в ходе экспериментальной обкатки метода диагностики группы больных и здоровых берутся примерно равными по численности и никаких парадоксов с низкой прецизионностью в этом случае не возникает вовсе, так как в этом случае прецизионность счастливым образом совпадает с accuracy (общей точностью метода), но в реальной жизни, когда заболевание редкое, то... и так появляется еще одно основание для распространении КОВИД-ПАНИКИ. Ведь СМИ все время кормят нас сообщениями о количестве новых зараженных, но не делают поправки на то, сколько проведено тестов. А надо бы сообщать долю зараженных, у которых повторился позитивный диагноз, от общей доли протестированных (А+B).
    Последнее редактирование: 28 июн 2020
  2. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Мне эта версия кажется весьма вероятной. Но рекомендую быть осторожнее с любыми сообщениями на эту тему, т.к. начала активно применяться ч. 9 ст. 13.15 КоАП. Посмотрите судебную практику - людей и за меньшее штрафовали на 30 000 руб.
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Никита,

    я не утверждаю наверняка, что произошел подлог. Я ставлю вопрос так: кто же все-таки попадает в нашей официальной статистике в число зараженных - те, кто с первого раза дал положительный тест, или те, кто подтвердил это со второго раза? Это только лишь зараженные (включая так называемых "бессимптомных") или это все-таки именно больные? Ведь уже признано во всех странах, что по мере затухания эпидемии и наращивания популяционного (коллективного) иммунитета все время растет доля "бессимптомных".

    Еще одна важная "мораль" из этих моих выкладок такова: нельзя безотчетно принимать информацию о "точности в процентах", ибо, как мы видим, структура матрицы ошибок допускает множества совершенно разных "показателей точности в процентах", так что одни могут иметь высокие значения, а другие на той же самой матрице - низкие значения (!).

    Ваш АШ