Этап пилотного тестирования по проекту НБО и ... соинвестирование в этот процесс

Уважаемые коллеги,

Итак, по проекту НБО сработало довольно-таки дружно 25 наших коллег-соавторов, которые взаимно оценили качество 170 вопросов и отобрали 110 для пилотной версии.

Напоминаем для тех, кто еще не участвовал, НБО - проект коллективной разработки "Народного Биографического Опросника".

Мы начинаем новый этап нашего экспериментального проекта НБО. Это этап привлечения инвесторов (или СОинвесторов):

http://services2.ht-line.ru/r.php?E8EO4D

Инвестировать в проект НБО можно двумя способами:

1) Деньгами (приобретая льготный абонемент на запуск этого теста),
2) Натурой - приглашая тестируемых для выполнения пилотной версии.

Дело в том, что в наше время в серьезных случаях (какими являются психометрические тесты) краудсорсинг с трудом выживает без... краудфандинга. Требуются хотя бы небольшие средства для компенсации усилий профеальных исполнителей, которых приходится привлекать, чтобы продукт получился не совсем...гм... любительским.

Мы - инновационный центр "Гуманитарные технологии" - прикрутили к кабинету-проекту НБО платежную систему и готовы собирать совсем небольшие Интернет-платежи за доступ к годичному абонементу про этой методике - дающему право на 40 запусков данного теста в течение года.

Подробности можно узнать, если Вы пройдете регистрацию (вход) по указанной ссылке.

Соавторам уже не нужно проходить по этой ссылке регистрацию, ибо... они уже ее прошли.


С ув,
АШ

Итак, коллеги, какие у нас "вести с полей" после вчерашнего первого полного дня,
посвященного пилотному тестированию?

Вспоминается бессмертные изречения "лед тронулся" и "процесс пошел".
То есть особых ярких достижений у нас "почти" нет, но уже появилось 36 протоколов -
36 человек выполнили пилотную версию НБО. А самое приятное, что большинство
из этих 36 - это приглашенные респонденты. Кем приглашенные? - Нашими соавторами
- партнерами в коллективном проекте!

Вот как выглядит статистическая сводка по активности наших "активистов-оценщиков"
(расшифровка цифр ниже):

1. Медведовская 20 16
2. Гаврилова Анастасия Геннадьевна 6 1
3. Завоеванная Наталья 1 1
4. Кувшинова Олеся Леонидовна 5 4
5. Михеев Юрий 2 2
6. Низовских Нина Аркадьевна 3 2
7. Орлова Женя 1 0
8. Савин Евгений Юрьевич 1 1
9. Семенова Светлана Николаевна 5 0

Как видим, уже 9 наших соавторов приняли роль "Активист-оценщик" и начали
кого-то приглашать. Первая цифра - число приглашенных (для которых созданы
временны учетные карточки), вторая цифра - число выполнивших тест.

Видим, что наметился явный лидер в этом деле - это Надежда Медведовская
(поапплодируем). И это в самом деле первое яркое событие на данном этапе.
Как и почему Надежде удалось уже привлечь 20 человек,
причем 16 уже прошли тест? - А потому, что Надежда разместила на своей
"стене" в социальной сети персональную (характерную именно для нее - для
Надежды) гиперссылку для саморегистрации участников на тест.

Советуем действовать как Надежда.
И тогда мы соберем не 36, а в 10 раз больше протоколов!
Причем очень быстро.

Ваш АШ

Александр Георгиевич,

Сначала прочитала "Завоеванная 11". И обрадовалась. Радость моя была секундной. Смею предположить, что аудитория, читающая ленту Н.В. Медведовской, более мотивирована проходить тесты. Остальным повезло поменьше. Как думаете , будет сильно нагло, если воспользовавшись правами администратора группы КУМа на ФБ, я размещу там ссылочку?

Да, Наташа, воспользуйтесь правами администратора этой группы.
Но... не забудьте, что ФБ не слишком помогает в таких случаях.
А именно: получают информацию об этом сообщении вовсе не все
члены группы, а только подписчики Завоеванной, которые одновременно
являются членами группы. Вот так ФБ "оберегает" своих пользователей
от информационного "перебора"...

Ваш АШ

А, знаете, похоже, нет. Я не помню, к какому выводу мы с Вами пришли, когда задались этим вопросом, но..Там лайкают мои посты люди, которые мне неизвестны....Разместила. Интересно, насколько это поможет

Да, Нина Аркадьевна, Вы очень точно поняли замысел проекта.
Он именно в этом и состоит, что мы на последующих этапах
будем расширять круг участников-респондентов и получать
от них не только оценочные отклики, но и предложения по
расширению "банка событий" для следующей версии НБО.

Спасибо за понимание и поддержку проекта!

Ваш АШ

Коллеги (в данном случае обращаюсь именно к соавторам),

самые первые результаты показывают очевидные недостатки нашей первой попытки
создания тест-опросника в режиме "коллективного сетевого творчества".

Если не усложнять инструкцию для авторов, не повышать объема работы
и не вводить ограничений, то получается... то, что получается. Попросили
сделать минимальное количество вопросов (только ОДИН) на один фактор
и... получили жуткий перекос в сторону одного полюса по некоторым факторам.
Например. у нас только 4 суждения работают на полюс "ОРГАНИЗОВАННОСТЬ"
и более 20 в сыром банке - на полюс ИМПУЛЬСИВНОСТЬ (казалось бы научным
работникам самим должна быть присущей именно ОРГАНИЗОВАННОСТЬ,
но в данном случае это не сработало - запоминаются больше события жизни,
когда к неприятным последствиям приводила импульсивность).

Ну и что же в результате? - А в результате получается перекос в интерпретации
баллов по этому фактору номер 3 в системе "Большая пятерка". Работает,к
как я вижу, известная поговорка: "Не ошибается тот, кто ничего не делает".
Более активные люди, которые участвуют в коллективных проектах (как
наши соавторы НБО) много совершают вообще разных поступков - и плохих,
и хороших, и удачных, и неудачных. Получается, чем человек активней,
тем больше он может вспомнить своих собственных импульсивных действий.
Полюс Импульсивность срастается с Активностью (с Экстраверсией, если хотите).
А полюс Организованность срастается с Пассивностью. И это не единственное
следствие тех особенностей, которые создала упрощенная схема разработки
тестовых заданий, которую мы применили для первой "народной" версии.

Значительным оказался и перекос в сторону полюса "Тревожность" (мало
суждений-событий, указывающих на "Стабильность").

Профессиональный разработчик глубже прорабатывает план разработки,
чтобы обеспечить содержательную валидность измеряемых психологических
факторов: он прорабатывает "фасетки" (подфакторы), ставит задачу
сбалансировать полюса, да не просто создать равное количество прямых
и обратных пунктов, но уравновесить и те, и другие (и прямые, и обратные)
по фактору социальной желательности. Без этого инструмент работает...гм...
"неожиданно" (будем использовать такое мягкое слово).

Но... мы же не ради "Большой пятерки" это все затеяли, правда?
А скорее ради банка самих событий! Интересно посмотреть, какие
события являются диагностичными (разделяют людей). Правда?

Ваш АШ

Надежда,

спасибо, что Вы рассказали про социофорум.

Чтобы попасть на закрытый блог, Вам надо зайти по указанной выше ссылка на свою ЛС (личную страницу)
в кабинете-проекте CON-NBO, а на этой личной странице кликнуть на "Методическую поддержку".
Кроме того в вашей почте должно скопиться немало оповещений с этого закрытого форума,
но они, очевидно, попали в спам-папку....

Ваш АШ

Надя, пусто - это в кабинете-проекте, где ведется тестирование. Он назван TEST-NBO.
А Вы зайдите в кабинет CON-NBO.
Это точно по ссылке:

http://services2.ht-line.ru/r.php?MQ05S8

Итак, коллеги,

я только что провел опрос моих подписчиков на ФБ по одному из вопросов,
включенных в НБО, чтобы сравнить выборки. Вопрос такой: "Вы теряли мобильный телефон?". Ниже цитирую текст, который я написал на ФБ. "Здесь" в этом контексте означает на самом деле "там"...

======================================================================

Итак, коллеги, а Вы говорите, статистика - это еще хуже, чем гнусная ложь... Мы здесь получили уже примерно такой же расклад в частоте событий, что дали и респонденты, отвечавшие на опросник НБО. Правда, там побольше респондентов - 71, а здесь ответили около 50 (точно - 49). Но распределение удивительно похожее. В случае НБО: это 65 процентов ответов "ни разу", 28 процентов - "один или два", 7 процентов - "неоднократно". А здесь 66 процентов ответов "ни разу", 20 процентов - "один или два". 14 процентов - "неоднократно". Видимо, маргинальные ответы в сети выглядят немножко более привлекательными.

Нина Аркадьевна, очень точное замечание. Поэтому на одну шкалу должны работать разные вопросы и их должно быть штук так 10-20, примерно. У нас, к сожалению, они не охватывают все полюсы шкалы, не сбалансированы. Об этом Александр Георгиевич говорил ранее. Надо было просить сочинить два вопроса - прямой и обратный. Правда, наверное, число желающих упало бы...
Кстати, знаю человека, который живет в нашей глубинке и путешествовал по Америке, совершенно спокойно. Но это , конечно, не значит, что конкретный вопрос про таможню работает на шкалу импульсивность-организованность. Это покажет коэффициент дискриминативности (различительной, т.е. диагностической способности вопроса). Его рассчитают по итогам пилотного тестирования.

Итак, коллеги,

прошли 2 полных дня нашего пилотного этапа в проекте НБО.
Вот какие у нас "вести с полей" на данный момент (утро понедельника
27 августа).

Методику прошли уже больше 100 человек (103). Это уже кое-что!
Кроме Надежды Медведовской мы должны поблагодарить за активное
привлечение респондентов Митин Ольгу Валентиновну, которая
пригласила уже 38 человек, выполнивших методику (!).

А вот как выглядит полная таблица (см. ниже). Из 25 авторов в роли активистов
(приглашающих других) замечены пока только 14 человек. В левой
колонке - сколько приглашено, в правой - сколько прошли тест.

Можно ли что-то сказать о психометрических достоинствах нашей пилотной
версии НБО? - Увы, они ничем не отличаются в лучшую сторону от стандартной
пилотной версии. Количество вопросов по каждой шкале, по которым получен
значимый коэффициент дискриминативности (КД), не превышает ПОКА одной трети
- от 9 до 11 вопросов из 15-17. Это даже ниже того уровня, которого добивается
опытный разработчик тестов с первой попытки (у него, как правило, 75-80 процентов
удачных тестовых заданий в таком жанре как "Большая пятерка"). Так что мы
имеем уровень ... начинающих студентов. Но...не следует забывать 2 важных момента:

1) События жизни - это несколько особый объект для стандартизованного самоотчета и самооценки.
У всех эти события погружены в несколько особенный контекст жизненных
обстоятельств (что видно из множества комментариев на эту тему). Личностные
черты "прорываются" через эти обстоятельства с меньшим весом причинности.
Поэтому однородность шкал, построенных на событиях, естественным образом
должна быть НИЖЕ, чем однородность шкал, построенных, например, на
личностных прилагательных (как в методике ПЕНТА, которую, кстати,
прошли уже 59 человек из нашей выборки, то есть большая часть из тех,
кто прошли НБО-110).

2) В данном случае опросник НБО-110 - это плод работы не одного и не двух
авторов, и большого коллектива из 25 соавторов (!). Это не могло не сказаться
на повышении разнородности материала (хотя и дублирующих тем появилось
много).

Так что с учетом выше изложенного мы получили вполне, нормальный ожидаемый
результат по уровню однородности шкал

А факторный анализ как же? - спросите Вы. А вот факторный анализ проводить
еще рановато. Надо накопить не менее 300 протоколов по тесту НБО-110 - так,
чтобы размер выборки примерно в 3 раза превосходил размер массива по числу
вопросов (тестовых заданий).

Сегодня поактивней начнем приглашать эйчаров, чтобы за 2 дня набрать
побольше испытуемых. Хотя... планки в 300 человек достичь будет явно не просто.
Возможно, придется задействовать участников КИТТ.

Ваш АШ

1.	Медведовская Надежда	34	27
2.	Барлас Татьяна	5	4
3.	Гаврилова Анастасия Геннадьевна	6	3
4.	Завоеванная Наталья	5	4
5.	Кроник Александр A	1	-
6.	Кувшинова Олеся Леонидовна	9	7
7.	Митина Ольга Валентиновна	39	38
8.	Михеев Юрий	3	3
9.	Низовских Нина Аркадьевна	5	5
10.	Орлова Женя	1	1
11.	Савин Евгений Юрьевич	1	1
12.	Семенова Светлана Николаевна	5	-
13.	Чистопольская Ксения Анатольевна	2	1
14.	Шмелев Александр Георгиевич	7	7

Нина Аркадьевна,

Наташа вполне справедливо заметила, что в наше время люди из глубинки тоже попадают на таможню.
Поменьше таких людей и пореже, но все-таки они есть. А давайте, забегая вперед, посмотрим на статистику
ответов по этому вопросу ("Забывали ли Вы важные вещи при таможенном досмотре"). Оказалось, что
неоднократно это совершал только 1 человек из 107, а еще 13 из 107 выбрали ответ "один или два раза".
При таком положении КД мог даже зацепиться за уровень, близкий к значимому. Но... он оказался 0,05
- близким к нулю. И мы видим, что Нина Аркадьевна права - ее критика этого вопроса согласуется
с полученным КД. Этот вопрос -реальный "кандидат" на вылет из будущей рабочей версии НБО.
Так что... одно дело - умозрительные споры и предположения, а другое - веская эмпирика.
Вот это хотелось бы показать всем коллегам - и тем, кто не принял в проекте НБО непосредственного
участия, но входит в ЭСПП.

Ваш АШ

Мне уже второй человек пишет, что не может зайти с телефона. Что с этим делать?

Татьяна, здравствуйте.

Это не новая проблема.
Мои рекомендации:

1) Сообщить, что система рассчитана на КОМПЬЮТЕРЫ, но на многих
портативных гаджетах система работает (я лично и мои коллеги
работают и на Андроидах, и на IOS, что стоит на Айпаде). Просто...
не все телефоны оснащены стандартными (популярными) ОС.
Можно поинтересоваться, что у них за версия ОС стоит и что
за браузер? Например, ОПЕРА-Мини с нашей программой HT-LINE
не дружит.

2) Сообщить, что для выбора гаджета на ЛС в нашей системе
предусмотрен кратчайший пробный тест из 4 искусственно-простых
вопросов (про Волгу и Москву). Если человек проходит и получает
результат, то значит все в порядке и можно выполнять длинный
тест НБО из 110 вопросов.

3) У современного человека при желании есть много возможностей
выбирать подходящее устройство для выполнения тестов - не только
телефон.

Ваш АШ

Люди даже не могут войти: комментарий дословно "Зайти с телефона у меня тоже не получается: не возможно напечатать ФИО, только адрес эл.почты.". Наверное остается только посочувствовать