1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Этап пилотного тестирования по проекту НБО и ... соинвестирование в этот процесс

Тема в разделе 'Шмелев А.Г.', создана пользователем Шмелев А.Г., 25 авг 2018.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    mos-nbo.jpg


    Уважаемые коллеги,

    Итак, по проекту НБО сработало довольно-таки дружно 25 наших коллег-соавторов, которые взаимно оценили качество 170 вопросов и отобрали 110 для пилотной версии.

    Напоминаем для тех, кто еще не участвовал, НБО - проект коллективной разработки "Народного Биографического Опросника".

    Мы начинаем новый этап нашего экспериментального проекта НБО. Это этап привлечения инвесторов (или СОинвесторов):

    http://services2.ht-line.ru/r.php?E8EO4D

    Инвестировать в проект НБО можно двумя способами:

    1) Деньгами (приобретая льготный абонемент на запуск этого теста),
    2) Натурой - приглашая тестируемых для выполнения пилотной версии.


    Дело в том, что в наше время в серьезных случаях (какими являются психометрические тесты) краудсорсинг с трудом выживает без... краудфандинга. Требуются хотя бы небольшие средства для компенсации усилий профеальных исполнителей, которых приходится привлекать, чтобы продукт получился не совсем...гм... любительским.

    Мы - инновационный центр "Гуманитарные технологии" - прикрутили к кабинету-проекту НБО платежную систему и готовы собирать совсем небольшие Интернет-платежи за доступ к годичному абонементу про этой методике - дающему право на 40 запусков данного теста в течение года.

    Подробности можно узнать, если Вы пройдете регистрацию (вход) по указанной ссылке.

    Соавторам уже не нужно проходить по этой ссылке регистрацию, ибо... они уже ее прошли.


    С ув,
    АШ
    Последнее редактирование: 10 сен 2018
  2. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, коллеги, какие у нас "вести с полей" после вчерашнего первого полного дня,
    посвященного пилотному тестированию?


    Вспоминается бессмертные изречения "лед тронулся" и "процесс пошел".
    То есть особых ярких достижений у нас "почти" нет, но уже появилось 36 протоколов -
    36 человек выполнили пилотную версию НБО. А самое приятное, что большинство
    из этих 36 - это приглашенные респонденты. Кем приглашенные? - Нашими соавторами
    - партнерами в коллективном проекте!


    Вот как выглядит статистическая сводка по активности наших "активистов-оценщиков"
    (расшифровка цифр ниже):


    1. Медведовская 20 16
    2. Гаврилова Анастасия Геннадьевна 6 1
    3. Завоеванная Наталья 1 1
    4. Кувшинова Олеся Леонидовна 5 4
    5. Михеев Юрий 2 2
    6. Низовских Нина Аркадьевна 3 2
    7. Орлова Женя 1 0
    8. Савин Евгений Юрьевич 1 1
    9. Семенова Светлана Николаевна 5 0

    Как видим, уже 9 наших соавторов приняли роль "Активист-оценщик" и начали
    кого-то приглашать. Первая цифра - число приглашенных (для которых созданы
    временны учетные карточки), вторая цифра - число выполнивших тест.


    Видим, что наметился явный лидер в этом деле - это Надежда Медведовская
    (поапплодируем). И это в самом деле первое яркое событие на данном этапе.
    Как и почему Надежде удалось уже привлечь 20 человек,
    причем 16 уже прошли тест? - А потому, что Надежда разместила на своей
    "стене" в социальной сети персональную (характерную именно для нее - для
    Надежды) гиперссылку для саморегистрации участников на тест.


    Советуем действовать как Надежда.
    И тогда мы соберем не 36, а в 10 раз больше протоколов!
    Причем очень быстро.


    Ваш АШ
  3. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Александр Георгиевич,

    Сначала прочитала "Завоеванная 11". И обрадовалась. Радость моя была секундной. Смею предположить, что аудитория, читающая ленту Н.В. Медведовской, более мотивирована проходить тесты. Остальным повезло поменьше. Как думаете , будет сильно нагло, если воспользовавшись правами администратора группы КУМа на ФБ, я размещу там ссылочку?
    Кисленко В.В. нравится это.
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Да, Наташа, воспользуйтесь правами администратора этой группы.
    Но... не забудьте, что ФБ не слишком помогает в таких случаях.
    А именно: получают информацию об этом сообщении вовсе не все
    члены группы, а только подписчики Завоеванной, которые одновременно
    являются членами группы. Вот так ФБ "оберегает" своих пользователей
    от информационного "перебора"...


    Ваш АШ


  5. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    А, знаете, похоже, нет. Я не помню, к какому выводу мы с Вами пришли, когда задались этим вопросом, но..Там лайкают мои посты люди, которые мне неизвестны....Разместила. Интересно, насколько это поможет
  6. Низовских Н.А.

    Низовских Н.А. Локомотив

    Александр Георгиевич, коллеги, я думала, что и пробное тестирование - это закрытая работа. Теперь вот выложила информацию в контакте. Пригласила пройти тест и написать разработчикам о своих, неучтенных в тесте, жизненно важных событиях, которые могут оставлять заметный след в формировании личности, отражают личность, характеризуют ее (чтобы эти события можно было учесть в последующих версиях теста). Вот получится тогда действительно Народный Биографический Тест)))
    Забыла только указать, что тестирование надо пройти до 28 августа. Напишу еще выпускникам нашей магистратуры. Успеха проекту!
    С пожеланием светлого,
    Нина Аркадьевна
  7. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Да, Нина Аркадьевна, Вы очень точно поняли замысел проекта.
    Он именно в этом и состоит, что мы на последующих этапах
    будем расширять круг участников-респондентов и получать
    от них не только оценочные отклики, но и предложения по
    расширению "банка событий" для следующей версии НБО.


    Спасибо за понимание и поддержку проекта!

    Ваш АШ


  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Коллеги (в данном случае обращаюсь именно к соавторам),

    самые первые результаты показывают очевидные недостатки нашей первой попытки
    создания тест-опросника в режиме "коллективного сетевого творчества".


    Если не усложнять инструкцию для авторов, не повышать объема работы
    и не вводить ограничений, то получается... то, что получается. Попросили
    сделать минимальное количество вопросов (только ОДИН) на один фактор
    и... получили жуткий перекос в сторону одного полюса по некоторым факторам.
    Например. у нас только 4 суждения работают на полюс "ОРГАНИЗОВАННОСТЬ"
    и более 20 в сыром банке - на полюс ИМПУЛЬСИВНОСТЬ (казалось бы научным
    работникам самим должна быть присущей именно ОРГАНИЗОВАННОСТЬ,
    но в данном случае это не сработало - запоминаются больше события жизни,
    когда к неприятным последствиям приводила импульсивность).


    Ну и что же в результате? - А в результате получается перекос в интерпретации
    баллов по этому фактору номер 3 в системе "Большая пятерка". Работает,к
    как я вижу, известная поговорка: "Не ошибается тот, кто ничего не делает".
    Более активные люди, которые участвуют в коллективных проектах (как
    наши соавторы НБО) много совершают вообще разных поступков - и плохих,
    и хороших, и удачных, и неудачных. Получается, чем человек активней,
    тем больше он может вспомнить своих собственных импульсивных действий.
    Полюс Импульсивность срастается с Активностью (с Экстраверсией, если хотите).
    А полюс Организованность срастается с Пассивностью. И это не единственное
    следствие тех особенностей, которые создала упрощенная схема разработки
    тестовых заданий, которую мы применили для первой "народной" версии.


    Значительным оказался и перекос в сторону полюса "Тревожность" (мало
    суждений-событий, указывающих на "Стабильность").


    Профессиональный разработчик глубже прорабатывает план разработки,
    чтобы обеспечить содержательную валидность измеряемых психологических
    факторов: он прорабатывает "фасетки" (подфакторы), ставит задачу
    сбалансировать полюса, да не просто создать равное количество прямых
    и обратных пунктов, но уравновесить и те, и другие (и прямые, и обратные)
    по фактору социальной желательности. Без этого инструмент работает...гм...
    "неожиданно" (будем использовать такое мягкое слово).


    Но... мы же не ради "Большой пятерки" это все затеяли, правда?
    А скорее ради банка самих событий! Интересно посмотреть, какие
    события являются диагностичными (разделяют людей). Правда?


    Ваш АШ
    Последнее редактирование: 26 авг 2018
  9. Александр Георгиевич, спасибо за комплименты.))
    Думаю, люди, которые прошли тест по моей ссылке, в основном не из ФБ, а с социофорума, там большая аудитория и много заинтересованных, можно сказать, профессиональных любителей тестирования (на такие форумы люди приходят с целью лучше разобраться в себе и научиться пользоваться эффективными психологическими методиками). Даю ссылку на моё объявление, там уже есть пара критических замечаний (хотела выложить их на обсуждение в закрытом блоге, но никак не могу туда попасть, прямой ссылки у меня нет, а перейти туда из своей учётной записи в клубе КИТТ почему-то не получается):
    http://www.socioforum.su/viewtopic.php?f=31&t=73984
    Никитина И.А. нравится это.
  10. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Надежда,

    спасибо, что Вы рассказали про социофорум.

    Чтобы попасть на закрытый блог, Вам надо зайти по указанной выше ссылка на свою ЛС (личную страницу)
    в кабинете-проекте CON-NBO, а на этой личной странице кликнуть на "Методическую поддержку".
    Кроме того в вашей почте должно скопиться немало оповещений с этого закрытого форума,
    но они, очевидно, попали в спам-папку....


    Ваш АШ


    Последнее редактирование: 26 авг 2018
    Медведовская Н.В. нравится это.
  11. Александр Георгиевич, спасибо, я зашла на свою ЛС, в блоге покамест всё пусто, а в личном кабинете скопилась 31 карточка участников, большинство уже прошли тестирование. Нужно сделать отметки в поле "разрешить доступ к результатам", чтобы они увидели, что у них получилось - или они и так видят свои результаты?
  12. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Надя, пусто - это в кабинете-проекте, где ведется тестирование. Он назван TEST-NBO.
    А Вы зайдите в кабинет CON-NBO.
    Это точно по ссылке:


    http://services2.ht-line.ru/r.php?MQ05S8


    Медведовская Н.В. нравится это.
  13. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, коллеги,

    я только что провел опрос моих подписчиков на ФБ по одному из вопросов,
    включенных в НБО, чтобы сравнить выборки. Вопрос такой: "Вы теряли мобильный телефон?". Ниже цитирую текст, который я написал на ФБ. "Здесь" в этом контексте означает на самом деле "там"...


    ======================================================================

    Итак, коллеги, а Вы говорите, статистика - это еще хуже, чем гнусная ложь... [​IMG]:) Мы здесь получили уже примерно такой же расклад в частоте событий, что дали и респонденты, отвечавшие на опросник НБО. Правда, там побольше респондентов - 71, а здесь ответили около 50 (точно - 49). Но распределение удивительно похожее. В случае НБО: это 65 процентов ответов "ни разу", 28 процентов - "один или два", 7 процентов - "неоднократно". А здесь 66 процентов ответов "ни разу", 20 процентов - "один или два". 14 процентов - "неоднократно". Видимо, маргинальные ответы в сети выглядят немножко более привлекательными.
    Последнее редактирование: 26 авг 2018
  14. Низовских Н.А.

    Низовских Н.А. Локомотив

    Александр Георгиевич, коллеги, я хочу обратить внимание на то, что тест "народный", но некоторые вопросы не очень подходят для тех, кто живет в глубинке, и чей опыт существенно отличается от опыта разработчиков теста. Человек, например, отрицательно ответил на вопросы "путешествовал ли он автостопом" и "забывал ли свои вещи на таможне", и мы ему приписываем баллы за организованность. Но, может быть, этот человек вообще никогда не путешествовал. Было бы хорошо, на мой взгляд, посмотреть на формулировки вопросов НБО и с этой позиции. Рада, что два человека из моих респондентов, написали мне, что это очень интересный тест. Одна из них, правда, озадачилась тем, что результаты по двум тестам, призванным измерять одно и то же, у нее существенно различаются. Я ответила ей, что тест НБО в разработке. Согласна с Александром Георгиевичем, что приведение теста в полное (абсолютное) соответствие с большой пятеркой - не самоцель. Хотя это тоже интересно. Мне, например, очень интересно, что получится при факторизации с "непривязанными" к пятерке вопросами.
    С уважением и признательностью за эту интересную работу,
    Низовских Нина Аркадьевна
  15. Завоеванная Н.С.

    Завоеванная Н.С. Администратор Команда форума

    Нина Аркадьевна, очень точное замечание. Поэтому на одну шкалу должны работать разные вопросы и их должно быть штук так 10-20, примерно. У нас, к сожалению, они не охватывают все полюсы шкалы, не сбалансированы. Об этом Александр Георгиевич говорил ранее. Надо было просить сочинить два вопроса - прямой и обратный. Правда, наверное, число желающих упало бы...
    Кстати, знаю человека, который живет в нашей глубинке и путешествовал по Америке, совершенно спокойно.:) Но это , конечно, не значит, что конкретный вопрос про таможню работает на шкалу импульсивность-организованность. Это покажет коэффициент дискриминативности (различительной, т.е. диагностической способности вопроса). Его рассчитают по итогам пилотного тестирования.
  16. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Итак, коллеги,

    прошли 2 полных дня нашего пилотного этапа в проекте НБО.
    Вот какие у нас "вести с полей" на данный момент (утро понедельника
    27 августа).


    Методику прошли уже больше 100 человек (103). Это уже кое-что!
    Кроме Надежды Медведовской мы должны поблагодарить за активное
    привлечение респондентов Митин Ольгу Валентиновну, которая
    пригласила уже 38 человек, выполнивших методику (!).


    А вот как выглядит полная таблица (см. ниже). Из 25 авторов в роли активистов
    (приглашающих других) замечены пока только 14 человек. В левой
    колонке - сколько приглашено, в правой - сколько прошли тест.


    Можно ли что-то сказать о психометрических достоинствах нашей пилотной
    версии НБО? - Увы, они ничем не отличаются в лучшую сторону от стандартной
    пилотной версии. Количество вопросов по каждой шкале, по которым получен
    значимый коэффициент дискриминативности (КД), не превышает ПОКА одной трети
    - от 9 до 11 вопросов из 15-17. Это даже ниже того уровня, которого добивается
    опытный разработчик тестов с первой попытки (у него, как правило, 75-80 процентов
    удачных тестовых заданий в таком жанре как "Большая пятерка"). Так что мы
    имеем уровень ... начинающих студентов. Но...не следует забывать 2 важных момента:


    1) События жизни - это несколько особый объект для стандартизованного самоотчета и самооценки.
    У всех эти события погружены в несколько особенный контекст жизненных
    обстоятельств (что видно из множества комментариев на эту тему). Личностные
    черты "прорываются" через эти обстоятельства с меньшим весом причинности.
    Поэтому однородность шкал, построенных на событиях, естественным образом
    должна быть НИЖЕ, чем однородность шкал, построенных, например, на
    личностных прилагательных (как в методике ПЕНТА, которую, кстати,
    прошли уже 59 человек из нашей выборки, то есть большая часть из тех,
    кто прошли НБО-110).


    2) В данном случае опросник НБО-110 - это плод работы не одного и не двух
    авторов, и большого коллектива из 25 соавторов (!). Это не могло не сказаться
    на повышении разнородности материала (хотя и дублирующих тем появилось
    много).


    Так что с учетом выше изложенного мы получили вполне, нормальный ожидаемый
    результат по уровню однородности шкал


    А факторный анализ как же? - спросите Вы. А вот факторный анализ проводить
    еще рановато. Надо накопить не менее 300 протоколов по тесту НБО-110 - так,
    чтобы размер выборки примерно в 3 раза превосходил размер массива по числу
    вопросов (тестовых заданий).


    Сегодня поактивней начнем приглашать эйчаров, чтобы за 2 дня набрать
    побольше испытуемых. Хотя... планки в 300 человек достичь будет явно не просто.
    Возможно, придется задействовать участников КИТТ.


    Ваш АШ



    1.Медведовская Надежда34 27
    2.Барлас Татьяна5 4
    3.Гаврилова Анастасия Геннадьевна6 3
    4.Завоеванная Наталья5 4
    5.Кроник Александр A1-
    6.Кувшинова Олеся Леонидовна9 7
    7.Митина Ольга Валентиновна39 38
    8.Михеев Юрий3 3
    9.Низовских Нина Аркадьевна5 5
    10.Орлова Женя1 1
    11.Савин Евгений Юрьевич1 1
    12.Семенова Светлана Николаевна5-
    13.Чистопольская Ксения Анатольевна2 1
    14.Шмелев Александр Георгиевич7 7
  17. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Нина Аркадьевна,

    Наташа вполне справедливо заметила, что в наше время люди из глубинки тоже попадают на таможню.
    Поменьше таких людей и пореже, но все-таки они есть. А давайте, забегая вперед, посмотрим на статистику
    ответов по этому вопросу ("Забывали ли Вы важные вещи при таможенном досмотре"). Оказалось, что
    неоднократно это совершал только 1 человек из 107, а еще 13 из 107 выбрали ответ "один или два раза".
    При таком положении КД мог даже зацепиться за уровень, близкий к значимому. Но... он оказался 0,05
    - близким к нулю. И мы видим, что Нина Аркадьевна права - ее критика этого вопроса согласуется
    с полученным КД. Этот вопрос -реальный "кандидат" на вылет из будущей рабочей версии НБО.
    Так что... одно дело - умозрительные споры и предположения, а другое - веская эмпирика.
    Вот это хотелось бы показать всем коллегам - и тем, кто не принял в проекте НБО непосредственного
    участия, но входит в ЭСПП.


    Ваш АШ


    Последнее редактирование: 27 авг 2018
  18. Барлас Т.В.

    Барлас Т.В. Модератор Команда форума

    Мне уже второй человек пишет, что не может зайти с телефона. Что с этим делать?
  19. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Татьяна, здравствуйте.

    Это не новая проблема.
    Мои рекомендации:


    1) Сообщить, что система рассчитана на КОМПЬЮТЕРЫ, но на многих
    портативных гаджетах система работает (я лично и мои коллеги
    работают и на Андроидах, и на IOS, что стоит на Айпаде). Просто...
    не все телефоны оснащены стандартными (популярными) ОС.
    Можно поинтересоваться, что у них за версия ОС стоит и что
    за браузер? Например, ОПЕРА-Мини с нашей программой HT-LINE
    не дружит.


    2) Сообщить, что для выбора гаджета на ЛС в нашей системе
    предусмотрен кратчайший пробный тест из 4 искусственно-простых
    вопросов (про Волгу и Москву). Если человек проходит и получает
    результат, то значит все в порядке и можно выполнять длинный
    тест НБО из 110 вопросов.


    3) У современного человека при желании есть много возможностей
    выбирать подходящее устройство для выполнения тестов - не только
    телефон.


    Ваш АШ




    Никитина И.А. нравится это.
  20. Барлас Т.В.

    Барлас Т.В. Модератор Команда форума

    Люди даже не могут войти: комментарий дословно "Зайти с телефона у меня тоже не получается: не возможно напечатать ФИО, только адрес эл.почты.". Наверное остается только посочувствовать