1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Прокторинг, ошибки в криминалистической диагностике и ... ЧТС

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 11 июн 2020.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, коллеги, мы завершаем наш первый эксперимент по измерению валидности экспертных оценок, вынесенных на основании "прокторинга" - анализа видеозаписей выполнения тестов (экспериментальный проект ВУР в клубе КИТТ). Предварительные результаты обнадеживают, но... сейчас не о них пока идет речь.

    Хотелось бы добиться обобщения понятий и процедур ЛОГИКО-ДИАГНОСТИЧЕСКОГО МЫШЛЕНИЯ. Без логико-диагностического мышления на самом деле в психодиагностике никуда, да и в любой диагностике, включая медицинскую. Недавно мы говорили здесь о "чувствительности и специфичности" - двух критериях для оценки эффективности медицинской диагностической методики (тестов на КОВИД). Говорили с использованием ЧТС - Четырехклеточной Таблицы Сопряженности.

    А сегодня немного поговорим о том, как те же самые логико-статистические четырехклеточные таблицы помогают нам разобраться в ... криминалистической диагностике. На самом деле основной логикой здесь является понимание природы опять-таки не одной судебной-криминалистической ошибки, а двух ошибок. Если полезете в Википедию, то встретите там неправильное толкование того, что есть судебная ошибка. Там рассматривают только "ошибочное осуждение". Это понятно - это результат "оправдательного уклона" в нашей юридической политике и практике после 1991 года. На самом деле ошибок 2 и они по логике - те же самые ошибки, что и "пропуск", и "ложная тревога". Пропуск - это в данном случае "ложное оправдание". Если мы не допустили ни одной ошибки типа "ложная тревога", то есть ни одной ошибки типа "ложное осуждение" (не осудили ни одного невиновного), то это еще не значит, что мы отработали безупречно. На самом деле надо еще получить данные о том, сколько ошибок типа "пропуск" (или "ложное оправдание") мы допустили. В случае прокторинга - это признание честным респондентом того, кто на самом деле выполнял тест как "читер" (мошенник). Если из 100 честных мы признали честными все 100, но при этом из 100 мошенников мы признали читерами только 80, а 20 посчитали ошибочно честными, то это значит в терминах медицинской диагностики, что у нас при высокой чувствительности, на самом деле низкая специфичность. А общая точность ниже, чем 100, так как многовато ошибок типа "пропуск". В этом случае ФИ-коэффициент по ЧТС будет равен только лишь 0,82, что для криминалистической диагностики маловато, мягко говоря.



    Вот как выглядит ЧТС, которая дает нам фи=0,82

     ЧестныйЧитер
    Признан честным10020
    Признан читером080
    Если Вы хотите овладеть таким универсальным методом диагностического мышления, который базируется на ЧТС, записывайтесь на нашу летнюю Дистанционную ПсихоМетрическую школу

    http://incht.tilda.ws/2020

    Занятия начинаются 27 июня. Сейчас зарегистрировались на школу уже 41 человек.

    Ваш АШ
    P.S.


    Справедливости ради следует признать, что в отличие от Википедии (один из инструментов "промывки мозгов" между прочим - под видом независимой народной энциклопедии) в серьезных работах ученых юристов и криминалистов, конечно, обсуджаются ошибки двух типов. Вот пример первой попавшейся мне такой статьи (по запросу в Яндексе):

    https://cyberleninka.ru/article/n/sudebnye-oshibki-v-yurisdiktsionnom-yuridicheskom-protsesse
    Важно подчеркнуть, что управление балансом ошибок первого рода ("пропусков") и второго рода ("ложных тревог") само по себе не может привести к повышению точности диагностики: при этом мы просто перебрасываем объекты из зоны "неопределенность" (те, которые не может однозначно распознать, ибо у них противоречивый набор признаков) то в категории "виновен" ("читер"), то в категорию "не виновен" (честный испытуемый). Что произойдет, например, с фи-коэффициентом, если мы подвинем критерий отсечения и из 20 читеров половина испытуемых перескочит в категорию "обнаруженные читеры" и таблица ЧТС примет такой вид:

     ЧестныйЧитер
    Признан честным9010
    Признан читером1090
    А фи-коэффициент останется примерно тем же самым =0,8.

    Такое же значение примет и более простой в вычислительном плане коэффициента дискриминативности КД1.

    Из каких же соображений исходят специалисты, если один тип ошибок однозначно считают более страшным и нежелательным, чем другой тип ошибок? - Они прямо вытекают из наших представлений о "цене" - размере тех издержек, которые порождают для системы разные ошибки. Они могут быть существенно разными. Если в обществе низкий уровень преступности, то ошибка типа "ложная тревога" (ложное осуждение) может быть более опасной, чем "пропуск". Но... увы, если в обществе высокая преступность и законопослушных граждан надо защищать в большей степени именно от преступников, а не от "обвинительного судопроизводства", то тогда страшней оказываются ошибки типа "пропуск". Чувствуете какой тут выход на острую политическую дискуссию о том, как достигается общественная безопасность? Опять она - "политика", будь она трижды неладна... Смотрите тогда мой телеграм-канал, где меня ничто не ограничивает (устав ЭСПП не действует) в том, чтобы обсждать политические аспекты криминалистической диаuностики.
    Канал - Alexander Shmelyov.
  2. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги, ниже я публикую здесь мой ответ Леониду Чупрову, который я написал в телеграм-чате на его реплику "Не вижу", что означает, что на ФБ эта публикация фактически не доступна.

    ================

    Леонид Федорович, а Вы пробовали зайти в группу TESTbyTEST на ФБ? Там публикацию можно увидеть. Мне-то давно понятно, что ФБ хамски не показывает много из моих публикаций на "общей ленте" - ни моим друзьям, ни моим подписчикам. А люди... многие просто НЕ различают до сих пор, где в ФБ они находятся - чем отличается общая лента от частной ленты какого-то частного лица или ленты группы. Всем нравится ФБ, потому что кажется легким. А он на самом деле обманывает людей, заманивая этой "легкостью" - РАЗНЫЕ режимы выглядят легкими, потому что одинаковые. Как следствие - невозможность один отличить от другого по внешним визуальным признакам (а глубже большинство и не смотрит). Пытаюсь уже 5 лет это объяснять коллегам... Увы! Бесполезно! Давайте этот диалог хотя бы перенесем на форум ЭСПП.
    Еремеев Б.А. и Чупров Л.Ф. нравится это.
  3. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Я здесь был.
    Хохлов Н.А. и Шмелев А.Г. нравится это.
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Леонид, спасибо.

    Мои слова о визуальной неразличимости разных режимов в ФБ может подтвердить наш активист ЭСПП с большим стажем - Татьяна Барлас (@Барлас Т.В) . Буквально сегодня она предложила для группы TESTbyTEST по ошибке публикацию, которая совершенно по тематике не предназначалась для этой группы. Хорошо, что мы с ней быстро разобрались, что произошло, так что никто ни на кого не обиделся.

    Ваш АШ
  5. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Вопрос. Какое отношение "пропуск", и "ложная тревога" имеют к криминалистике или к криминологии?
    Первая - прикладная юридическая наука, исследующая закономерности приготовления, совершения и раскрытия преступлений, возникновения и существования его следов, собирания, исследования, оценки и использования доказательств, а также разрабатывающая систему основанных на познании этих закономерностей специальных приёмов, методов и средств применяемых в ходе предварительного расследования для предупреждения, раскрытия и расследования преступлений, а также при рассмотрении уголовных дел в судах
    Вторая - социолого-правовая наука, которая изучает преступность, личность преступника, причины и условия преступности, пути и средства её предупреждения.
  6. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Леонид, Вы не в курсе, а мне когда-то еще в студенческие годы -в далекие 1970-е годы - приходилось писать софт ("программы распознавания") для криминалистической лаборатории. Это именно "техническая диагностика". Пользователи (химики-криминалисты) ценят, когда такая программа выдает сообщения о возможных гипотезах в терминах статистических ошибок типа "пропуск" и "ложная тревога" (в матстатистике это ошибки первого и второго рода). Логика диагностического мышления во всех только свиду разных областях на самом деле одна и та же, хотя терминология внешне различается. Возьмите любой стенд для диагностики исправности (читай - "готовности к работе") определенных узлов автомобиля, например, тормозной системы. И здесь ошибки могут быть допущены двух типов: "пропуск" - это признание пригодными для эксплуатации таких тормозов, которые надо менять, "ложная тревога"- запрет на эксплуатацию исправных тормозов.

    Когда я писал известную Вам статью "Тестология - это не только психометрика",то я как раз все это имел в виду, но ... не выразил в тексте, так как не хотел увеличивать изначально долю такого текста, который нигде еще до этого не опубликован (требование рецензентов в Википедии - писать только том, что уже где-то опубликовано, но не о чем-то новом).

    Ваш АШ





    Еремеев Б.А. нравится это.
  7. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Программа для специалиста - это одно, а диагностическое мышление специалиста-криминалиста - это другое. Помните, был период увлечения АРМ психолога. Программисты брали методички и писали АРМ для психолога, не соображая ни на йоту в психологии. Где они сейчас эти АРМ? Химик-криминалист - это еще не криминалист и не криминолог, как и прокурор-криминалист - это не прокурор.
    В медицине тоже существуют врачи, типа Врач-биохимик, врач-рентгенолог, но это не врачи терапевты или врачи-хирурги.
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Леонид,

    Вы склонны отрицать очевидное, как мне кажется. Любая диагностика нужна не сама по себе,
    а для обоснования ДИАГНОСТИЧЕСКОГО ВЫВОДА. А это может быть, в случае бинарной
    матрицы диагностических категорий либо позитивный вывод, либо негативный.
    Ключевой вопрос любого криминалистического расследования (то есть расследования преступления)
    заключается в том, совершал ли данный подозреваемой данное преступление или не совершал.
    Что такое ДНК-диагностика факта отцовства или материнства? - Она тоже призвана ответить
    на вопрос, является ли данный человек отцом данного ребенка или не является. Всевозможные
    тонкие познания в отношении строения ДНК и различных методов сличения молекул, взятых
    из разных организмов, в конце концов работают на один из двух возможных выводов.
    Одни испытуемые точно пользуются шпаргалками, а другие - нет. Задача прокторинга (видеоконтроля достоверности) установить, кто есть кто.


    С ув,
    АШ



    Еремеев Б.А. нравится это.
  9. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Александр Георгиевич, вы противоречите сами себе.
    Диагностика - только часть работы. Это технология. Технологии сходны независимо от предмета и цели исследования. Вы сами пишите "техническая диагностика".Химик-криминалист. Это лаборант-химик, а "криминалист" поскольку работает в отделе криминалистики следкома. Он и не криминалист, и не следователь. Уборщица, которая убирает в помещениях криминалистического отдела не является криминалистом.
    Это слегка напоминает анекдот (точнее юмореску): "Сама я по медицинской части. В аптеке работаю. Но совет могу дать не хуже иного врача".