1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

В поисках наглядной иллюстрации метода независимых экспертных оценок

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 23 июл 2019.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги, ниже я цитирую свое сообщение, которое сегодня опубликовал в группе TESTbyTEST на ФБ. Это была моя реакция на еще один запрос (в личку): почему, мол, я считаю, что рост числа экспертов в проекте ТЕЗАЛ-онлайн повышает объективность.

    Задумался по ходу дела вот над чем. А не провести ли нам такой наглядный эксперимент - по оценке "на глазок" линейных размеров отрезка. В отличие от оценки фотографий человека, линейную оценку длины отрезка прямой линии можно реализовать в режиме онлайн-тестирования.

    Например, оцените, какова длина в см. на вашем экране вот этой линии из знаков "равно":

    ===========================================

    Вы скажите, что на разных экран включен разный размер отображения этой линии? - Да! Но и это не беда, так как оценку можно произвести в других единицах: не в сантиметрах, а просто в числе знаков "равно".
    Можно просить оценить "на глазок", а не считать пальцем по экрану.
    Вот Вы можете это сделать точно (путем подсчета)?
    У Вас получилось число 43?
    Если не 43, то сколько?


    Ваш АШ



    Итак, коллеги на сегодня мы имеем 80 экспертов, которые зарегистрировались в проекте ТЕЗАЛ-ОНЛАЙН (!). Это очень неплохой результат. Но... чем больше, тем лучше. Почему? - Дело в том, что в любом краудсорсинг-проекте каждый новый эксперт позволяет подправить ошибки, которые совершили предыдущие эксперты. Как это понять? - Многим не понятно, как суммирование (усреднение) экспертных оценок позволяет сократить, а не увеличить количество ошибок в базе данных. На самом деле несущественные связи, которые установил один эксперт, другие не видят и не устанавливают, и это делает его суждение случайной ошибкой типа "ложная тревога" и это единичное суждение "выбывает из игры". А также существенную связь, которую один эксперт пропускает, большинство других видят, и это компенсирует ошибку типа "пропуск". Вот таким образом, множество экспертов позволяет нивелировать ошибки, и усредненное суждение ( с удалением выбросов - редких суждений) лучше приближается к объективной реальности по мере расширения экспертной выборки.

    Приведу такой простой НАГЛЯДНЫЙ пример. Допустим, Вам нужно на глазок оценить рост человека, который объективно равен 180 см. Если Вы всего лишь один оценщик, то Вы можете этот рост преуменьшить (скажите 178 см) или преувеличить (скажите 182 см). Если Вас трое пытаются "на глазок" оценить, то все трое тоже могут ошибиться в одну сторону - в сторону преуменьшения или преувеличения. Но... с большей вероятностью, все-таки один из троих ошибется в другую сторону. Если Вас 10 человек, то скорее всего примерно 5 ошибутся в сторону преувеличения, а еще 5 - в сторону преуменьшения. Поэтому 10 человек почти всегда гарантированно лучше оценят рост на глазок (интуитивно), чем 3 человека. Понятный пример?
    Последнее редактирование: 23 июл 2019
  2. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    А сталкивались Вы с ситуациями, когда среди множества экспертов с не очень высокой согласованностью оценок в результате кластерного анализа выделяется несколько групп, внутри которых согласованность очень высокая, а вот между собой они существенно различаются?
  3. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Никита,

    я начинал применение этого метода как раз с этого самого ожидания: что у меня будут получаться сгустки экспертов в многомерном пространстве оценок, которые между собой будут различаться сильно, а внутри - слабо (внутри кластеров все будут сходны). Но к моему удивлению, в ходе психосемантических исследований близости словесных значений я практически НЕ встречался с такой структурой данных (?!). Я провел по этому методу десятки (больше 40 - это точно) разных исследований за период более 40 лет (!). Я НЕ помню ни одного такого случая (!). Как правило, имеется достаточно многочисленный один кластер - это "планеты вокруг одного солнца", а все остальные - это разные "экзопланеты", которые все реже встречаются, чем больше удаление от "главной звезды", то есть один общий кластер доминирует настолько, что более мелкими скоплениями "планет" можно пренебречь. Я не помню, чтобы хотя бы один "Юпитер" мне встретился, у которого целое множество спутников (сейчас уже открыли 79). Как правило, 1-2 спутника и все (!). Как у Марса (Фобос и Демос), или как у нашей Земли (Луна).

    Извините, если я увлекся космической метафорой. Но мне кажется, что она повышает наглядность.

    АШ


    Последнее редактирование: 23 июл 2019
  4. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Я своим студентам приводил другой пример -- как принять решение о том, на какой фильм пойти в ближайшие выходные:
    Спросить 1-2 человек или 10, какая усредненная оценка фильма будет ближе к реальности?

    Ну и помните, мы в свое время проводили на форуме конкурс прогнозистов, где прогнозировали исход выборов (% голосов за кандидатов/партии). Если мне память не изменяет, то "коллективная оценка" в виде усредненного значения лучше всего соответствовало реальным результатам выборов, как и усредненная оценка нескольких социологических служб
  5. Орлова Е.А.

    Орлова Е.А. Модератор Команда форума

    Ох, Юра, ставлю лайк, но аналогии с кино это тонкий лед. 10 друзей скажут мне пойти на "Король Лев", "Алису" Тима Бертона или какой-нибудь "Форсаж", и только один посоветует сходить на странный непопулярный фильм с Хоакином Фениксом и попадет в точку. А может, так и вообще с экспертными оценками - все сложнее, чем кажется?

    Последнее редактирование: 24 июл 2019
    Хохлов Н.А. нравится это.
  6. Савин Е.Ю.

    Савин Е.Ю. Локомотив

    Гальтон, насколько я помню, проводил подобный эксперимент с оценками массы туши животного на ярмарке.
    Шмелев А.Г. и Тукачев Ю.А. нравится это.
  7. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Я том, что оценка фильма 10 экспертами, будет лучше отражать рейтинг фильма, чем на основании оценок 1-2 экспертов. Что касается "индивидуальных рекомендаций", то это несколько другая тема, но и в ней есть решения, в том числе самые простые, где в основе именно большинство.
    Орлова Е.А. нравится это.
  8. Орлова Е.А.

    Орлова Е.А. Модератор Команда форума

    Вот вторая часть - это очень интересно! Какой-то алгоритм вроде того, что использует Кинопоиск, когда в выдаче по фильму говорит "Вам также может понравиться"? И он довольно часто попадает в точку.
    В allmusic guide тоже есть свой механизм опросов и рекомендаций. Не знаю, как сейчас, а раньше там про каждого исполнителя или альбом устраивали опрос - просили соотнести с кучей прилагательных на инглише. Видимо, на этих оценках пользователей потом и строились аналогичные подстановки "Вам также может понравиться".
    Шмелев А.Г. нравится это.
  9. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Коллаборативная фильтрация https://habr.com/ru/post/150399/
    Шмелев А.Г. и Орлова Е.А. нравится это.
  10. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Женя,

    не стоит путать 2 РАЗНЫХ вида информации:

    1) Информация, отражающая некоторые типичные свойства и связи.
    Про это я здесь пишу.


    2) Информация, которая содержит индивидуальные рекомендации.
    К этому виду относится рекомендация посмотреть фильм, который
    отражает именно Ваши вкусы. Это вообще несколько о другом.



    Первый вид информации: больше всего население России съедает
    картошки (столько-то кг на человека в год), на втором месте - хлеб и т.п.


    Второй вид информации: Вам лично не подходит картошка, Вам
    больше подойдут макароны.


    Ваш АШ



    Последнее редактирование: 24 июл 2019
    Орлова Е.А. и Тукачев Ю.А. нравится это.
  12. Орлова Е.А.

    Орлова Е.А. Модератор Команда форума

    О, эта разница мне как раз понятна, я отвечала прицельно на слова Юры: "как принять решение о том, на какой фильм пойти в ближайшие выходные" - это же именно про индивидуальные рекомендации, ваш второй тип. На информацию 1 типа в этом случае можно вообще не полагаться.

  13. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Нет, не про индивидуальные рекомендации, речь именно шла о том, стоит ли идти на фильм на основе "рейтинга" фильма. В данном случае, рейтинг -- это оценка нескольких человек (10 экспертов лучше, чем 1-2).
    Я например не смотрю в кинотеатрах фильмы с рейтингом меньше 6.

  14. Орлова Е.А.

    Орлова Е.А. Модератор Команда форума

    А я пойду, если там играет мой любимый актер, даже на рейтинг смотреть не буду, рейтинг тут, пожалуй, последнее дело.
    Тукачев Ю.А. нравится это.