1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Оценка наркотизации

Тема в разделе 'Общие вопросы', создана пользователем Бузова М.В., 7 фев 2018.

Страница 2 из 3
  1. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Накал дискуссии означает - тема очень актуальная и "чувствительная". Ольга Афанасьевна, я, пожалуй, соглашусь с тем, что обида автора - это его личное дело. На другую чашу весов положена безопасность клиентов, культура и корректность исследования, валидность научных выводов, престиж отечественной психологии, наконец. Но также важно, чтобы "кровь" не лилась в пустую. Надо, чтобы, подобные вашему, рейтинги методик становились достоянием общественности.Я представляю такую картину: на видном месте на факультетах психологии помещается список "методик нон грата". Утопия?
    В нашей специальной периодике не приняты публичные дискуссии на страницах журналов. Пока что риск попасть под удар критики коллег на публичной площадке, фактически, равен нулю.
    Яньшин П.В., 8 фев 2018
    #21
  2. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Спасибо за комментарий. Действительно, чаша весов довольно чувствительна. Думаю, никто из нас не захочет употреблять в пищу некачественные продукты, а уж намерено "кормить" ими родных и близких (в частности, студентов), за которых мы несем персональную профессиональную ответственность, - это вообще кощунство. Так почему мы должны позволять им использование подобного профессионального инструментария, заведомо ориентируя их на недостоверные или профанированные результаты. Ведь это может так автоматизироваться, что и до профессионального цинизма не далеко.
    Повторюсь - я подобный подход (использование низкокачественной диагностической продукции) рассматриваю как профессиональное преступление.
    Для студентов у нас существует так называемая "Антибиблиотека профессионала", куда "складываются" не только методики сомнительного качества, но и методические пособия, технологии и т.п.
    По поводу нулевого показателя на публичной площадке, позволю себе не согласиться, существует такая возможность - журнал "Вестник рецензента", да и ряд других научных журналов к этому готов.
    Белобрыкина О.А., 8 фев 2018
    #22
    Яньшин П.В. нравится это.
  3. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Вопрос этики, как мне кажется, - бесконечная тема. Хотел бы вернуться к своему вопросу: не кажется ли Вам, что нельзя все психодиагностические методики "складывать в одну корзину". Например, в том же информационном письме УМО, на которое Вы сослались, есть следующая оговорка:"Это требование не распространяется на идиографические методы, основанные на качественном анализе, описании редких психических явлений или особых категорий испытуемых и др." В этом смысле я говорил о "деликатности и нетривиальности темы". Суицидальный риск, виктимность, жестокость, наркотизация - это именно "особые категории испытуемых" и "редкие испытуемые". К оценке техник, направленных на измерение таких качеств, следует применять какие-то иные критерии, нежели те, что сформировались для измерения уровня интеллекта и тому подобных стационарных и социально одобряемых качеств.
    Яньшин П.В., 8 фев 2018
    #23
  4. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Я с вами полностью согласна. Например, критерий валидности не применишь на идеографический методики и тогда содержательный аспект потребует более пристального внимания. Но это не означает, что проективные методы не требуют профессиональной оценки, а если учесть, что сегодня ими, опять-таки, только ленивый не пользуется, то для профессиональный целей качественно-содержательный анализ методики не повредит (лучше перебдеть, чем недобдеть). И по поводу особых категорий испытуемых - тут уж вообще предельное внимание требуется, иначе ярлыков навешаем - мало не покажется (вспомните прецедент с диагностикой склонности к употреблению ПАВ методикой Кетелла, непонятно откуда взявшимся и кем разработанным вариантом, причем выставленной на сайте МИНОБРА. Когда ее в школы принудительно спустили и психологов обязали ее провести, 99 % подростков попали не просто под подозрение, там такой прессинг педагогический начался - всех поголовно наркоманами начали называть).
    Ну а по поводу иных критериев - вопрос открытый (мы, например, особое внимание уделяем формулировкам утверждений, ведь иные могут и спровоцировать актуализацию потребности). Если у вас есть какие-то предложения, буду признательна (допускаю, что можем что-то недооценивать).
    И все-таки то, что студенты научаются анализировать инструментарий, считаю очень важной профессиональной компетенцией.
    Белобрыкина О.А., 8 фев 2018
    #24
  5. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Начну с конца: критическая оценка инструментария - это необходимая компетенция, как, пользуюсь Вашей аналогией, - умение распознать качество пищи. Помню, что на практикуме МГУ у нас, студентов, в обязательном порядке требовали критиковать каждую изучаемую экспериментальную процедуру. Это как прививка от глупости. Про идеографические методы (проекция) - особая тема, особенно проективный рисунок. Без прохождения специального практикума и сертификата их просто следует запретить к использованию. С минобровским Кеттеллом, кажется, разобрались - кто старое помянит...
    Про актуализацию потребность - серьезный аргумент. По этому поводу существует много исследований (правда, в ином ключе). И зарубежные, и мои данные говорят в пользу того, что прайминг-эффект от нескольких предъявлений стимула не дает стойких последствий. Тут, скорее всего, действуют эффекты сенсибилизации и защиты, сформулированные Дж. Брунером. Опасно длительное многократное предъявление. Например, навряд ли следует опасаться того, что анкета на склонность к наркотизации, не содержащая пресуппозиций о наличии такой склонности, повысит риск самой наркотизации. Но опасно формулировать вопрос так: "Часто ли ты потребляешь наркотик?", "Сколько раз ты мучил животных?". Если в анкете есть подобные пресуппозиции, - ее сходу следует браковать.
    Мои предложения. В Самаре мы предпочли использовать метод, основанный на задержке скорости реакции в ответ на диагностически важные сочетания стимулов при компьютерном предъявлении. В "Психологическом журнале" приняли в работу мою статью (выход публикации пока под вопросом). В "Вопросах психологии" статья пока тоже "вылеживается". Если интересно, могу прислать рукописи и факсимиле других публикаций.
    Яньшин П.В., 8 фев 2018
    #25
  6. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Когда поначалу Ольга Афанасьевна выкатила длинный список методик, большая часть которых известна, возможно, только авторам и их ближайшим сотрудникам, с ярлыками «психометрически не состоятельна», казалось, что речь идет просто о полемическом и эмоциональном «перегибе», но по сути, возможно, все так и есть.
    Но когда вслед за этим появился альтернативный список («приличных», то бишь, видимо, психометрически состоятельных) методик, о многих из которых я знаю не понаслышке, «вечер перестал быть томным». Отчетливо запахло вкусовщиной (в лучшем случае), приправленной любовью к НЕпсихометрическим тестам (которые, очевидно, ВНЕ критики?) и появились вопросы.
    За ответами я обратился к недавно отрекламированному выпуску журнала PEM, включающему экспертизу опросника СОП А.Орла (Солоницына М.А, Питайкина А.А., Лимонченко Р.А. Диагностическая информативность методики «Определение склонности к отклоняющемуся поведению» (А.Н. Орел): проблемы практического применения //PEM: Psychology. Educology. Medicine. – 2016. – № 2; URL http://pem.esrae.ru/12-136)
    Пытался разглядеть в этой пространной статье хоть небольшую крупицу собственно психометрического анализа данных, полученных с помощью методики (правильно, «психометрически несостоятельной») и не нашел. А что же в ней есть? Семантический анализ формулировок (с точки зрения здравого смысла) и детальная инвентаризация того, какой пункт в скольких шкалах участвует. Если по таким же лекалам выпекались оценки и всех прочих методик, то единственный правомерный вывод по результатам подобных, с позволения сказать, «экспертиз» должен быть таким: «Ну не нравится мне эта методика, и все тут!»
    И не нужно примешивать к этому психометрику – она здесь и рядом не стояла. Тем паче - навешивать уничижительные ярлыки; у Вас для этого нет никаких оснований (это отнюдь не исключает того, что методики действительно не комильфо…).
    Да, опросник СОП был представлен в ряде публикаций (Клейберг, Менделевича и др.) с многочисленными ошибками. Их можно было исправить (что я и сделал) и применять. Имею к настоящему времени из разных источников порядка 40 тыс. протоколов и, конечно, детальную психометрическую оценку методики на различных выборках. Бывает немало методик намного хуже, должен сказать.
    Почему ряд пунктов участвует в более чем одной шкале? Во-первых, в опроснике эксплицитно присутствует 2 интегральных шкалы, вбирающих пункты из нескольких первичных. Во-вторых, основание для участия одного и того же пункта-симптома в более чем одной шкале – хорошо известное явление коморбидности. Ну и, наконец, при модификации эту область пересечения я постарался снизить (хотя и не до нуля).
    Кстати: сведения о «блестящей» психометрике опросника ценностных портретов в версии Карандашева и еще более блестящей психометрике методике СИ Гилфорда и Салливена интересующиеся могут почерпнуть на моем блоге этого форума. И еще: почему бы Вашим студентам не заняться подсчетом участия пунктов в различных шкалах в «приличной методике» СМИЛ?
    С уважением, К.Сугоняев
    Сугоняев К.В., 8 фев 2018
    #26
    Хохлов Н.А. нравится это.
  7. Кроник А.А.

    Кроник А.А. Лидер Команда форума

    Статью нашел: "Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth"
    https://www.nature.com/articles/s41562-017-0234-y
    https://static-content.springer.com...-y/MediaObjects/41562_2017_234_MOESM1_ESM.pdf
    https://www.nih.gov/news-events/nih-research-matters/machine-learning-identifies-suicidal-youth

    Акуратность предсказания = 91%.
    Вот только МRI ещё нужен.
    Кроник А.А., 9 фев 2018
    #27
    Бузова М.В. и Яньшин П.В. нравится это.
  8. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Была бы очень благодарна, если пришлете работы (ознакомлюсь сама и ребятам, с вашего разрешения, дам материал на ознакомление). А те, которые (надеюсь) будут опубликованы, тоже буду ждать (смотреть на сайтах журналов.
    По поводу проективной диагностики полностью с вами согласна, но это из области фантастики, поэтому со студентами использую прием "страшилок"в том числе с долей юмора, показывая множество ошибок и ятрогенных выводов по результатам проективных методик (например, ВИКТОРИЯ РАЙХЕР. НАЛЕВО СКАЗКУ ГОВОРИТ; Про детские психологические тесты и т.п.)
    Белобрыкина О.А., 9 фев 2018
    #28
  9. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Спасибо за ссылки
    Белобрыкина О.А., 9 фев 2018
    #29
  10. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Наверное, эти тексты будут интересны и инициатору этой ветки, о которой мы позабыли в пылу полемики.
    Это ссылка на результаты МОТЕКС на этом сайте. http://forum.ht-line.ru/threads/monehks-oficialnye-rezultaty-maj-2015.1050/
    Было бы интересно, как оценили бы эту методику Ваши студенты.
    Далее - ссылки на Яндекс-диск:
    https://yadi.sk/i/5F-dVt9WZRbpw
    https://yadi.sk/i/UtIo4csL3B2muN
    https://yadi.sk/i/Q6pNfZtG3B2mtj
    https://yadi.sk/i/gowhC9qd3B2mt5
    https://yadi.sk/i/5Wo_wdLw3GfxiW
    https://yadi.sk/i/CCpqS-xm3B2owe
    https://yadi.sk/i/SqBd4Qly3B2msA
    https://yadi.sk/i/5F-dVt9WZRbpw
    https://yadi.sk/i/5F-dVt9WZRbpw
    Прикрепляю и презентация на конкурсе в Сочи:

    Вложения:

    Яньшин П.В., 9 фев 2018
    #30
    Попова О.С., Завоеванная Н.С. и Хохлов Н.А. нравится это.
  11. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Убедительная просьба не передергивать и не гиперболизировать информация. Я обозначала методики как "информативные и вполне приличного качества", а не как "блестящие психометрически".
    Вкусовщины и оценки "нравится/не нравиться" в данном случае нет никакой (у меня, кстати совершенно иные "пристрастия" - "Пиктограмма" А.Р.Лугия, 10 слов А.Н.Леонтьева, методика Л.С.Выготского-Л.С.Сахарова), у нас задача другая - помочь студентам овладеть психодиагностикой на ПРОФЕССИОНАЛЬНОМ уровне (а не на уровне салона Анны Павловны Шерер) и, соответственно с этим, дать им рабочий инструментарий, с помощью которого, они смогут писать объективные и содержательно адекватные заключения, а не "сочинения на вольную тему" типа "что бы это значило?"
    Требование операционализации никто не отменял, а она, по крайней мере реально представлена в обозначенном списке "приличных" методик и уже от нее мы "пляшем", анализируя качество верификации. Психометрические показатели методики мы теоретически оцениваем, в том числе, и по представленным в источнике статистическим данным (например, насколько адекватно типу методики, выборочной совокупности и пр., выбран статистический критерий, каков тип валидности, надежности, какие типы норм заданы и т.п.). Вы, видимо, очень бегло прошлись по статье, иначе бы обратили внимание, что определить ряд психометрических показателей методики СОП не удалось именно по причине отсутствия в анализируемых источниках данных о валидности, надежности и т.п. Кроме того, если нарушена содержательная часть (в том числе и в формулировках утверждений, и в отнесенности их к конкретным или смежным шкалам), то и 100 тыс протоколов не спасут - циферки и весьма приличные вы всегда получите, а они и скоррелируются, и факторные нагрузки дадут, и любые другие необходимые матэквиваленты. Я своими глазами видела как проходила русскоязычная стандартизация зарубежных методик по нарциссизму - протоколов видимо-невидимо, причем все получены в добровольно-принудительном порядке (вместо занятий обязательная диагностика и попробуй студент откажись - не видать ему зачета (экзамена), ну и пр. "обещалки"). То, что не вписывалось в систему аргументации "нормального нарциссизма" (видимо, авторы-стандартизаторы пытались оправдать свой выдающийся нарциссизм, придав ему значение нормы), придавали нужное значение соответствующими цифирками.
    И еще, насколько мне известно, доработка (исправление ошибок) методик предполагает получение разрешения от автора (я, в свое время списывалась с В.В. Столиным, получая у него разрешение (а потом одобрение) на исправление ключа в ТОРО, а вот по формулировкам он мне рекомендовал обратиться к А.Я.Варга, но она не откликнулась). По сути работа оказалась бессмысленной (уточненный ключ с некорректными формулировками отдельных утверждений не спасли особо информативность методики).
    На ваш блог обязательно загляну и ознакомлюсь с материалами. И, конечно, же проведем повторную проверку СМИЛ (допускаю, что могли что-то пропустить)
    Белобрыкина О.А., 9 фев 2018
    #31
    Завоеванная Н.С. и Яньшин П.В. нравится это.
  12. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Будет время, обязательно посмотрю
    Белобрыкина О.А., 9 фев 2018
    #32
  13. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Посмотрела ваш Блог, Константин Владимирович. С материалами познакомилась (правда, пока бегло). Информация впечатляющая, даже завидки берут - это как вам удается для статистической проверки такое количество данных собирать (правда, редко где обозначено, сколько респондентов мужского, а сколько женского пола, возрастной диапазон выборки, да и выборки в большинстве своем специфические (насколько я поняла, представители властных структур и курсанты военных или МВД вузов), что, соответственно будет влиять на психометрические показатели и последующую экстраполяцию данных. Замечу, что на репрезентативность и экстраполяционный ресурс методики мы со студентами тоже обращаем внимание, когда есть для этого данные). Так как у нас с выборками всегда глобальная проблема (иногда для курсовых и ВКР набрать оптимальную выборку сложно), то при анализе методик, как я уже отмечала, мы проводим т.н. теоретический анализ представленных (или указываем на их отсутствие) статистических данных. И я убеждена, что если студент научается этому, то он уже "вооружен" и вестись "на бренд" (в вашей терминологии) уже так легко не будет.
    Лично мне не хватило информации об источниках (кроме тех случаев, где она либо в обсуждении на форуме представлена, либо о них вскользь упоминается по тексту), из которых брались для анализа методики. Наверно, соглашусь, что для ряда методик действительно источник не имеет значения, но когда есть возможность выбора (как например, с вариантом Е.Ксенофонтовой), то лучше владеть этой информацией.
    Обозначьте, на какой конкретно ветке расположена информация о психометрике теста Люшера (я не нашла).
    И еще вопрос, можно ли, с вашего разрешения, ваши статьи (О ПМ качестве... и 16 ФЛО) дам для ознакомления студентам (разместив их в методическом обеспечении дисциплины на своей вузовской странице)?
    Белобрыкина О.А., 10 фев 2018
    #33
    Яньшин П.В. нравится это.
  14. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Ольга Афанасьевна, конечно же я не против того, чтобы добротная эмпирика (ДАННЫЕ, не автор!), представленная в упомянутых Вами статьях, стала известна Вашим студентам. Разумеется, я писал эти работы в надежде, что кто-то ими заинтересуется. Поскольку (как стало особенно очевидно в последнее десятилетие) многое из публикуемого в психологических (не только) журналах, мягко говоря, не вполне соответствует действительности (ниже приведу ряд ссылок на статьи, в которых этот вывод сформулирован гораздо более жестко), заслуживают внимания, как мне кажется, выводы 1) сделанные на основе больших массивов данных; 2) неоднократно воспроизведенные на разных выборках; 3) психометрическому анализу предшествует анализ качества (достоверности) исходных данных.
    Именно это я пытаюсь делать.

    Вы спрашиваете о психометрике (хотя это слово едва ли уместно здесь в полном объеме) методики Люшера. Некоторые сведения на сей счет я представлял в дискуссии "Валидность методик цветовой диагностики" (блог Л.Н.Собчик) в августе 2016 года (5 страница). Кстати, этот эпизод имел продолжение: через несколько месяцев я подготовил статью о методике, основанную на более представительных данных, но... уже второй год ищу, где ее опубликовать: магия "бренда" работает...

    Качественными психометрическими анализами (в том числе критическими; в том числе содержащими предложения по реструктуризации шкал и улучшению психометрических характеристик методик, но никогда не ниспровергающими их безапелляционно) изобилуют многие англоязычные журналы, например, Journal of Personality Assessment, Assessment и др. К сожалению не могу привести в пример отечественную публикацию такого же качества, но уверен - они есть, просто я не знаю пока.

    Теперь обещанные ссылки:
    Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. Retrieved from http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124
    Bakker, M., Van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7(6), 543–554.
    Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11),1359–1366. http://dx.doi.org/10.1177/0956797611417632

    С уважением, К.Сугоняев

    P.S. Бога ради, не воспитывайте из студентов хунвейбинов в сфере психодиагностики; рекомендуйте применять более корректные формулировки. Например: "нарративный анализ текста методики позволяет предположить наличие проблем с содержательной валидностью таких-то шкал... Более определенные выводы относительно психометрических характеристик методики могут быть сделаны только после анализа результатов ее применения на целевой популяции, указанной автором..."
    Как-то так мне видится
    Сугоняев К.В., 10 фев 2018
    #34
    Завоеванная Н.С. и Кринчик Е.П. нравится это.
  15. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Спасибо, Константин Владимирович.
    Замечания (P.S.) приму к сведению. На блог Л.Н.Собчик зайду. По поводу публикации - могу предложить опубликовать вашу статью в РИНЦевском журнале или в сборнике нашей конференции Современная реальность в социально-психологическом контексте (у нас есть раздел "Психодиагностика в девиантологии: проблемы психометрической и содержательной состоятельности современных методов и методик", если вас не смутит ее т.н. "провинциальность" ).
    И вопрос у меня сохраняется, могу ли я ваши статьи представить студентам (разместить их на моей вузовской стр. Думаю, если еще кто-то из читателей с ними познакомиться, то это только на пользу).
    Белобрыкина О.А., 11 фев 2018
    #35
    Кринчик Е.П. нравится это.
  16. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Возможно 1-й абзац моего предыдущего поста оказался излишне витиеватым? Мне казалось, что в нем содержится утвердительный ответ на Ваш вопрос о возможности представить статьи студентам...
    Повторюсь: я не против. То есть, ответ - "да".

    Что касается Вашего предложения об опубликовании статьи.
    Прежде всего - спасибо.
    Оговорюсь: меня интересует не столько статус издания, сколько шансы на то, что число прочитавших статью может приблизиться хотя бы к одной сотой от числа применяющих методику в организационном контексте.
    Еще: мой текст не имеет никакого отношения к девиантологии; скорее - к организационной психологии.
    Так что я пока еще некоторое время поищу варианты. Если не выгорит - обращусь.

    Еще хотелось бы высказаться по поводу наименования темы (хотя, кажется, я уже делал это на другой ветке форума). Формулировка ("оценка наркотизации") указывает на продолжающиеся попытки возложить на психологов функции, которые должны выполнять медики и правоохранительные органы. Задача психологов, как мне кажется, должна ограничиваться выявлением психологических предпосылок аддиктивного поведения и разработкой таких психологических средств и методов работы с людьми (подростками, потом будет поздно), которые бы удержали их от вступления на сей пагубный путь. Ну и разработка методов психологической реабилитации тех, кто пытается вырваться из паутины, конечно. Но не "оценка наркотизации"!

    С уважением, К.Сугоняев
    Сугоняев К.В., 11 фев 2018
    #36
    Завоеванная Н.С., Бузова М.В., Кринчик Е.П. и ещё 1-му нравится это.
  17. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Разговор о личных блогах подтолкнул мою мотивацию. Модераторы! Подскажите, пожалуйста, как мне создать свой блог? Очень захотелось. Можно?
    Яньшин П.В., 11 фев 2018
    #37
    Завоеванная Н.С. нравится это.
  18. Белобрыкина О.А.

    Белобрыкина О.А. Локомотив

    Спасибо огромное за разрешение.
    По поводу публикации -я могу гарантировать (если публикация будет журнальная), что далеко не один человек прочтет вашу статью - только у нас на кафедре несколько человек работают в области оргпсихологии, да еще и студентам будем вписывать работу в методобеспечение, и я точно знаю, что преподаватель, читающий эту дисциплину, будет плотно работать с материалами на практических или ЛПЗ с ребятами.
    Белобрыкина О.А., 11 фев 2018
    #38
    Сугоняев К.В. нравится это.
  19. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Пётр Всеволодович, сделал Вам персональный раздел: http://forum.ht-line.ru/forums/janshin-p-v.110/
    Можете там создавать новые темы.
    Хохлов Н.А., 11 фев 2018
    #39
    Яньшин П.В. нравится это.
  20. Бузова М.В.

    Бузова М.В. Участник

    Ольга Афанасьевна, поняла что вы профессионально погружены в проблематику психодиагностики. Можно ли у Вас, как специалиста, заказать анализ (как делают Ваши студенты) методик " Исходная оценка наркотизации "Латышева и др. и Опросник ГРН https://yadi.sk/i/0S5INI3N3SJRjg. Мне важно опираться на мнения специалистов и иметь аргументы при обсуждении вопроса о массовом мониторинге подростков по одной из данных методик.
    Бузова М.В., 12 фев 2018
    #40
Страница 2 из 3