Прокторинг, ошибки в криминалистической диагностике и ... ЧТС

Итак, коллеги, мы завершаем наш первый эксперимент по измерению валидности экспертных оценок, вынесенных на основании "прокторинга" - анализа видеозаписей выполнения тестов (экспериментальный проект ВУР в клубе КИТТ). Предварительные результаты обнадеживают, но... сейчас не о них пока идет речь.

Хотелось бы добиться обобщения понятий и процедур ЛОГИКО-ДИАГНОСТИЧЕСКОГО МЫШЛЕНИЯ. Без логико-диагностического мышления на самом деле в психодиагностике никуда, да и в любой диагностике, включая медицинскую. Недавно мы говорили здесь о "чувствительности и специфичности" - двух критериях для оценки эффективности медицинской диагностической методики (тестов на КОВИД). Говорили с использованием ЧТС - Четырехклеточной Таблицы Сопряженности.

А сегодня немного поговорим о том, как те же самые логико-статистические четырехклеточные таблицы помогают нам разобраться в ... криминалистической диагностике. На самом деле основной логикой здесь является понимание природы опять-таки не одной судебной-криминалистической ошибки, а двух ошибок. Если полезете в Википедию, то встретите там неправильное толкование того, что есть судебная ошибка. Там рассматривают только "ошибочное осуждение". Это понятно - это результат "оправдательного уклона" в нашей юридической политике и практике после 1991 года. На самом деле ошибок 2 и они по логике - те же самые ошибки, что и "пропуск", и "ложная тревога". Пропуск - это в данном случае "ложное оправдание". Если мы не допустили ни одной ошибки типа "ложная тревога", то есть ни одной ошибки типа "ложное осуждение" (не осудили ни одного невиновного), то это еще не значит, что мы отработали безупречно. На самом деле надо еще получить данные о том, сколько ошибок типа "пропуск" (или "ложное оправдание") мы допустили. В случае прокторинга - это признание честным респондентом того, кто на самом деле выполнял тест как "читер" (мошенник). Если из 100 честных мы признали честными все 100, но при этом из 100 мошенников мы признали читерами только 80, а 20 посчитали ошибочно честными, то это значит в терминах медицинской диагностики, что у нас при высокой чувствительности, на самом деле низкая специфичность. А общая точность ниже, чем 100, так как многовато ошибок типа "пропуск". В этом случае ФИ-коэффициент по ЧТС будет равен только лишь 0,82, что для криминалистической диагностики маловато, мягко говоря.



Вот как выглядит ЧТС, которая дает нам фи=0,82

	Честный	Читер
Признан честным	100	20
Признан читером	0	80

Если Вы хотите овладеть таким универсальным методом диагностического мышления, который базируется на ЧТС, записывайтесь на нашу летнюю Дистанционную ПсихоМетрическую школу

http://incht.tilda.ws/2020

Занятия начинаются 27 июня. Сейчас зарегистрировались на школу уже 41 человек.

Ваш АШ
P.S.

Справедливости ради следует признать, что в отличие от Википедии (один из инструментов "промывки мозгов" между прочим - под видом независимой народной энциклопедии) в серьезных работах ученых юристов и криминалистов, конечно, обсуджаются ошибки двух типов. Вот пример первой попавшейся мне такой статьи (по запросу в Яндексе):

https://cyberleninka.ru/article/n/sudebnye-oshibki-v-yurisdiktsionnom-yuridicheskom-protsesse
Важно подчеркнуть, что управление балансом ошибок первого рода ("пропусков") и второго рода ("ложных тревог") само по себе не может привести к повышению точности диагностики: при этом мы просто перебрасываем объекты из зоны "неопределенность" (те, которые не может однозначно распознать, ибо у них противоречивый набор признаков) то в категории "виновен" ("читер"), то в категорию "не виновен" (честный испытуемый). Что произойдет, например, с фи-коэффициентом, если мы подвинем критерий отсечения и из 20 читеров половина испытуемых перескочит в категорию "обнаруженные читеры" и таблица ЧТС примет такой вид:

	Честный	Читер
Признан честным	90	10
Признан читером	10	90

А фи-коэффициент останется примерно тем же самым =0,8.

Такое же значение примет и более простой в вычислительном плане коэффициента дискриминативности КД1.

Из каких же соображений исходят специалисты, если один тип ошибок однозначно считают более страшным и нежелательным, чем другой тип ошибок? - Они прямо вытекают из наших представлений о "цене" - размере тех издержек, которые порождают для системы разные ошибки. Они могут быть существенно разными. Если в обществе низкий уровень преступности, то ошибка типа "ложная тревога" (ложное осуждение) может быть более опасной, чем "пропуск". Но... увы, если в обществе высокая преступность и законопослушных граждан надо защищать в большей степени именно от преступников, а не от "обвинительного судопроизводства", то тогда страшней оказываются ошибки типа "пропуск". Чувствуете какой тут выход на острую политическую дискуссию о том, как достигается общественная безопасность? Опять она - "политика", будь она трижды неладна... Смотрите тогда мой телеграм-канал, где меня ничто не ограничивает (устав ЭСПП не действует) в том, чтобы обсждать политические аспекты криминалистической диаuностики.
Канал - Alexander Shmelyov.

Коллеги, ниже я публикую здесь мой ответ Леониду Чупрову, который я написал в телеграм-чате на его реплику "Не вижу", что означает, что на ФБ эта публикация фактически не доступна.

================

Леонид Федорович, а Вы пробовали зайти в группу TESTbyTEST на ФБ? Там публикацию можно увидеть. Мне-то давно понятно, что ФБ хамски не показывает много из моих публикаций на "общей ленте" - ни моим друзьям, ни моим подписчикам. А люди... многие просто НЕ различают до сих пор, где в ФБ они находятся - чем отличается общая лента от частной ленты какого-то частного лица или ленты группы. Всем нравится ФБ, потому что кажется легким. А он на самом деле обманывает людей, заманивая этой "легкостью" - РАЗНЫЕ режимы выглядят легкими, потому что одинаковые. Как следствие - невозможность один отличить от другого по внешним визуальным признакам (а глубже большинство и не смотрит). Пытаюсь уже 5 лет это объяснять коллегам... Увы! Бесполезно! Давайте этот диалог хотя бы перенесем на форум ЭСПП.

Леонид, спасибо.

Мои слова о визуальной неразличимости разных режимов в ФБ может подтвердить наш активист ЭСПП с большим стажем - Татьяна Барлас (@Барлас Т.В) . Буквально сегодня она предложила для группы TESTbyTEST по ошибке публикацию, которая совершенно по тематике не предназначалась для этой группы. Хорошо, что мы с ней быстро разобрались, что произошло, так что никто ни на кого не обиделся.

Ваш АШ

Леонид, Вы не в курсе, а мне когда-то еще в студенческие годы -в далекие 1970-е годы - приходилось писать софт ("программы распознавания") для криминалистической лаборатории. Это именно "техническая диагностика". Пользователи (химики-криминалисты) ценят, когда такая программа выдает сообщения о возможных гипотезах в терминах статистических ошибок типа "пропуск" и "ложная тревога" (в матстатистике это ошибки первого и второго рода). Логика диагностического мышления во всех только свиду разных областях на самом деле одна и та же, хотя терминология внешне различается. Возьмите любой стенд для диагностики исправности (читай - "готовности к работе") определенных узлов автомобиля, например, тормозной системы. И здесь ошибки могут быть допущены двух типов: "пропуск" - это признание пригодными для эксплуатации таких тормозов, которые надо менять, "ложная тревога"- запрет на эксплуатацию исправных тормозов.

Когда я писал известную Вам статью "Тестология - это не только психометрика",то я как раз все это имел в виду, но ... не выразил в тексте, так как не хотел увеличивать изначально долю такого текста, который нигде еще до этого не опубликован (требование рецензентов в Википедии - писать только том, что уже где-то опубликовано, но не о чем-то новом).

Ваш АШ

Леонид,

Вы склонны отрицать очевидное, как мне кажется. Любая диагностика нужна не сама по себе,
а для обоснования ДИАГНОСТИЧЕСКОГО ВЫВОДА. А это может быть, в случае бинарной
матрицы диагностических категорий либо позитивный вывод, либо негативный.
Ключевой вопрос любого криминалистического расследования (то есть расследования преступления)
заключается в том, совершал ли данный подозреваемой данное преступление или не совершал.
Что такое ДНК-диагностика факта отцовства или материнства? - Она тоже призвана ответить
на вопрос, является ли данный человек отцом данного ребенка или не является. Всевозможные
тонкие познания в отношении строения ДНК и различных методов сличения молекул, взятых
из разных организмов, в конце концов работают на один из двух возможных выводов.
Одни испытуемые точно пользуются шпаргалками, а другие - нет. Задача прокторинга (видеоконтроля достоверности) установить, кто есть кто.

С ув,
АШ