1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Экспериментальная проверка некоторых теоретических положений соционики. Сравнительный анализ текстов

Тема в разделе 'Общие вопросы', создана пользователем Прокофьев В.Г., 20 окт 2021.

Статус темы:
Закрыта.
  1. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    К слову об экспериментах в соционике. Тема понемногу затихла, но ...
    Они есть и они продолжаются. И есть результаты.
    На сайте НИИ Соционики опубликована новая статья:
    "Экспериментальная проверка некоторых теоретических положений соционики. Сравнительный анализ текстов эссе «Что для Вас время?»

    При определении психологического типа личности одна из важных составляющих процесса – селекция типологических особенностей на фоне других факторов, влияющих на работу психики. Поэтому необходимым элементом комплексной диагностики является использование проективных методик, позволяющих минимизировать влияние жизненного, профессионального опыта, привычных стереотипов испытуемых. За время более чем двадцатилетней практики психолого-соционического консультирования в НИИ Соционики был собран впечатляющий архив комплектов материалов (более 2500), состоящих из результатов 5-ти проективных методик: 3-х рисуночных тестов и 2-х эссе.
    В настоящий момент эти собранные материалы было решено использовать для решения самой на наш взгляд актуальной задачи в соционике - объективной экспериментальной проверке теоретических положений соционики. Из архива эссе были произвольным образом взяты по 35 текстов, написанных представителями типов ИЛЭ и ЛИЭ на тему «Что для Вас время?». Сама тема данной проективной методики очевидно настраивает испытуемых на преимущественное использование аспекта «интуиция времени» («белая интуиция», БИ). Поэтому было очевидно, что при анализе эссе именно по этому аспекту мы сможем получить максимум информации. У обоих типов БИ сильная, трехмерная, но

      • у ИЛЭ она 7-я (ограничительная),

      • у ЛИЭ – 2-я (творческая).
    Кроме того, мы получили результаты сравнений и по другим типологическим особенностям выбранных ТИМов

    Необходимо подчеркнуть важность и перспективность этого подхода в том, что данном исследовании были разработаны диагностические маркеры оценки только объективных параметров, т.е. независимых от субъективных интерпретаций эксперта.
    <a
    Последнее редактирование модератором: 12 дек 2021
  2. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Виктор Григорьевич, здравствуйте.

    Это, конечно, хорошо, что НИИ Соционики стремится выполнять и публиковать свои исследовательские работы. Но... взгляните, пожалуйста, на тему этой ветки. У меня,
    честно говоря, не связалось ваше исследование с понятием "прогностическая валидность".
    Может быть, я что-то не разглядел?


    Что касается продолжения сотрудничества в сравнении прогностических возможностей разных моделей. Тут хотели взять на себя инициативу такие люди как Роман Коваленко. Я был бы рад, чтобы так и случилось, так как других занятий хоть отбавляй.

    С ув,
    АШ



  3. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Добрый день, Александр Георгиевич.
    Да в статье есть такая фраза:
    "Данная статья иллюстрирует продолжение нашей исследовательской программы, посвященной объективной количественной оценке влияния типологических предрасположенностей на проявления, реакции психики людей".
    И по тексту статьи тема прогнозов (их достоверности) раскрыта и обобщена в таблице 21.
    "Сводная таблица использованных маркеров, отсортированная по уменьшению их достоверности"


    Пока Роман Коваленко инициативу не берет, я решил проявить свою.
    Представленная статья - плод серьезного исследования. Я проводил его больше года. Частично эти материалы были озвучены в докладе на конференции в НИИ Соционики в апреле этого года.
    Если Вы считаете, что статья не по теме ветки, мне удалить мой пост?
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Виктор Григорьевич,

    мне кажется, что НЕ НАДО удалять ваш пост.
    Было бы лучше, если бы Вы пояснили, какой именно
    вид валидности при этом Вы проверяете. Не все виды
    валидности связаны с прогнозированием, как известно.
    Их в общей сложности разные специалисты нынче насчитали
    до двух десятков разные (!).


    С ув,
    АШ



    Завоеванная Н.С. нравится это.
  5. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Виктор Григорьевич,

    извините, если мой вопрос является следствием неправильного прочтения
    ваших текстов (поверхностного). Но ... я просто не понимаю, как Вы
    получили цифры в правой колонке, названной Вами "Достоверность маркера".
    К вопросу про Валидность и Достоверность. Я в своих многочисленных
    текстах по психометрике наделяю термин "Достоверность" особым содержанием:
    это свойство, указывающее на степень защиты методики от фальсификаций.
    Можно рассматривать Достоверность как особый вид валидности, а можно
    выделять в отдельное свойство. Заметно, что Вы все еще не находите времени
    (и желания?) почитать какие-нибудь учебники по психодиагностике и-или
    психологическому тестированию. Вы себе можете представить такую ситуацию,
    как какой-нибудь психолог "забрел" в физику и начал путать в элементарной
    механике понятия "мощность" и "ускорение", "вес" и "масса" и так далее. Чтобы
    Вы посоветовали этому человеку? - Почитать учебники, правда ведь? А не
    изобретать собственную терминологию. Я при этом вовсе не только мои
    учебники имею в виду. Например. во всем мире изучают "психологическое
    тестирование" по книгам Анны Анастази. Ее учебник дважды переводился
    на русский язык.


    Ваш АШ
  6. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Александр Георгиевич, спасибо за ваши ответы, но судя по формату последнего, мою текущую попытку приглашения к совместной деятельности можно назвать неудачной.
    Поэтому не смею дальше отнимать ваше драгоценное время и время коллег дискуссией в этой теме.

    С уважением Виктор Григорьевич Прокофьев
  7. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Виктор Григорьевич, я прочитал статью. Результаты интересные, но везде приводятся только процентные значения. Есть ли данные о статистической значимости? В случае четырёхклеточных таблиц напрашивается указание сензитивности, специфичности, положительной и отрицательной предсказательной силы. Хотелось бы на это посмотреть.
    Прокофьев В.Г. нравится это.
  8. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Я бы ещё добавил. По выявленным Вами маркерам желательно провести дискриминантный анализ и выявить, с какой вероятностью можно предсказать наличие у человека того или иного типа на основе анализа текстов.
    Прокофьев В.Г. нравится это.
  9. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Никита Александрович, пока всего этого нет. Это публикация первого, но тем не менее достаточно трудоемкого шага в большом исследовании.
    Первая попытка операционализации ИМЕННО ОБЪЕКТИВНЫХ маркеров типологических проявлений.
    У меня самого к этой работе еще очень много вопросов. И я планирую (по мере накопления данных для формирования разумной аргументации) отвечать на них.
    На данный момент для себя я получил первый главный ответ: в рассмотренной относительно локальной ситуации было ОБЪЕКТИВНО зарегистрировано наличие устойчивых типологических асимметрий работы психики, и есть смысл продолжать исследования в данном направлении.
    Чем мы сейчас и занимаемся. Уже протранскребированы по 35 эссе ЛИИ и ИЛИ. И они будут подвергнуты аналогичному анализу (естественно с дальнейшим усовершенствованием алгоритмов выработанной методики).

    Большое спасибо, Никита Александрович, за ваши замечания.
    Собственно, получить профессиональную обратную связь от коллег - в этом и была одна из моих целей размещения здесь ссылки на статью.
    Формулирование ответов на появившиеся у Вас вопросы существенно ускорит мои шаги по дальнейшему совершенствованию методики, ее углублению и повышению прозрачности для коллег.
  10. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Я благодарю Никиту Хохлова, что он помогает Виктору Григорьевичу (и мне тоже)
    с обратной связью по поводу его исследования.


    Виктор Григорьевич, Вы не обижайтесь на меня, но в самом деле трудно
    преодолевать разноязыкость нашего с Вами диалога: у психологов-тестологов
    принято обсуждать методики на определенном языке, которым соционики,
    как правило, просто НЕ считают нужным овладевать. А это прежде всего
    язык обыкновенного не слишком сложного учебника статистики.


    К сожалению, большинство психологов, получив слабую статистическую
    подготовку (она и раньше была слабой в педвузах, а сейчас еще сильней
    упала), тоже не владеют этим языком. Поэтому я вынужден заниматься
    постоянно просветительской деятельностью (как и мои коллеги, но я
    - в большем объеме, ибо постоянно это все преподавал в МГУ). Здесь
    на форуме я тоже написал немало текстов и про таблицы 2 на 2 тоже -
    про то, о чем здесь написал Никита Александрович. Но... эти тексты
    мои оппоненты, как правило, не читают. Чем острей оппоненты не
    соглашаются с какими-то моими тезисами, тем точней я уверен в том,
    что они... ничего такого не читали. Почему из участников весенней команды
    по совместному пробному исследованию мне было легче всего общаться
    с Андреем Парфеновым? - Потому что он сам не только овладел статметодами, но
    и преподает их студентам-психологам в СпбГУ. К слову, у Никиты Хохлова
    тоже уже накопился изрядный опыт разговора со студентами-психологами
    по поводу навыков анализа ЧТС - четырехклеточных таблиц сопряженности
    (это в МГУ).


    Ваш АШ
    Последнее редактирование: 28 окт 2021
    Прокофьев В.Г. нравится это.
  11. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Александр Георгиевич, я ни в коем случае не навязываю Вам обсуждение моей текущей деятельности. Вы высказывали интерес к соционике, я имея новую информацию, только лишь опубликовал ее на вашем ресурсе. Да, у меня нет психологического академического образования, тем более "психолого-тестологогического", но есть диплом радио-физика и опыт проведения экспериментов по выбранной специальности. В последние годы я накопил опыт (более чем 10-тилетний) экспериментальной работы в соционике и чуть более короткий в психолого-соционической консультативной практике.
    На данный момент, я очень благодарен Никите Александровичу за реальную помощь в моем КОНКРЕТНОМ случае. Это снимает с меня необходимость "поступать на психологический факультет для просеивания массы информации в поиске необходимых сегодня методик". Я воспользуюсь представленной информацией и через некоторое время поговорю с Вами и вашими коллегами об этом конкретном эксперименте на вашем языке психологов-тестологов (конечно, если сама тема для Вас будет по прежнему актуальной).
    Я всю жизнь (после института) самостоятельно собирал, углублялся и успешно осваивал именно ту информацию, которая мне была необходима для моей деятельности. И в этом я очень критичен. Я не готов поглощать знания ВООБЩЕ.
    Сейчас моя задача - операционализация соционики. В том числе методическая.
    Кстати, тема статистической значимости меня уже увлекла. Еще раз спасибо.
    Шмелев А.Г. и Прокофьева Т.Н. нравится это.
  12. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Добрый всем день!
    Да, это не просто, давно покинув ВУЗ, начинать изучение очередного "иностранного" языка. То, что мне сейчас необходимо, в институте я "проходил" (подобно тому, как и иностранный в школе). В своей профессиональной сфере мне требовались несколько другие подходы к статистическим методам обработки сигналов.
    Но "лиха беда начало".
    В качестве первого шага по оценке статистической значимости результатов определился с интервалами группирования, построил частотные распределения для нескольких маркеров.
    Эти первые подходы к задаче показали, что для большинства собранных маркеров данные стандартизованных выборок лежат вне области гауссовых распределений. Максимум (и среднее значение) их частотного распределения находятся вблизи 0-вой частоты (в том числе, в силу их присутствия не во всех текстах испытуемых), т.е не имеют сходства с колоколообразной нормальной кривой. Это сокращает инструментальный выбор, но не исключает другие методические подходы.
    Рассмотрев и оценив (пока) некоторые из них, я провел первое практическое исследование, выбрав в качестве наиболее подходящего инструмента (с учетом конкретной ситуации) U-критерий Манна-Уитни.Что получилось?
    Статистическая значимость результатов оказалась (при применении стандартизированного подхода: p=0.05, p=0.01) недостаточной для подтверждения гипотезы различий между текстами выбранных типов.
    Так, на примере маркера использования глаголов совершенного вида в качестве диагностических маркеров признака "процесс-результат" при начальной "процентной" обработке были получено
    "Таблица 8. Сравнение количеств, использованных глаголов несовершенного/совершенного вида

    Сравниваемые параметры

    ИЛЭ

    ЛИЭ

    Количество глаголов несовершенного вида

    177

    152

    Количество глаголов совершенного вида

    40

    78

    Достоверность маркера по глаголам несовершенного вида

    54%

    Достоверность маркера по глаголам совершенного вида

    66%
    ..."
    При проверке статистической значимости результатов по U-критерию Манна-Уитни были получены
    U эмп =512, что существенно выше для соответствующих уровеней значимости
    U-кр (0,05) =471
    U-кр (0,01) =413
    Т.е. на данный момент результат (который ходе сравнения средних значений был достаточно ярко обозначен) не может считаться статистически значимым.
    Но это только первый шаг в этом исследовании.
    Я естественно продолжу эту работу, благо уже готовы данные для других типов, которые позволят увеличить выборку числа испытуемых, продолжить операционализацию описаний маркеров и т.д. И я освоил основные азы статметодов (Теперь углубляюсь. К стати читаю, в том числе вашу книгу, Александр Георгиевич) .
    Считаю проведение этих исследований и получение значимых результатов очень важным и необходимым шагом в своей дальней работе.

    Никита Александрович, Александр Георгиевич, еще раз спасибо за конструктивное сотрудничество.
    Прокофьева Т.Н. и Хохлов Н.А. нравится это.
  13. Хохлов Н.А.

    Хохлов Н.А. Администратор Команда форума

    Рекомендую вот этот учебник - там подробно описаны основные математико-статистические методы.
    Ермолаев-Томин О.Ю. Математические методы в психологии: учебник для бакалавров. - 4-е изд., перераб. и доп. - М.: Издательство Юрайт, 2012. - 511 с.
  14. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Значимые и статистически значимые это не одно тоже. Корреляция между рождаемостью и гнездованием аистов является статистически значимой, но это не значит, что аисты приносят детей.

  15. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Спасибо, Никита Александрович!
  16. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Резонно!
    Работаем, будут и "дети"
  17. Пантюхин С.С.

    Пантюхин С.С. Локомотив

    Критерий Манна-Уитни, как мне кажется, не используется в решении таких задач, хотя допускаю, что я не вполне понял задачу (нет описания процедуры, выборок и т.д.).

    В классическом виде критерий Манна-Уитни, как и большинство других критериев для сравнения независимых выборок, предполагает данные минимум в порядковой шкале, наличие двух случайных выборок из одной популяции, и, как ни странно, распределение, близкое к нормальному. У нас почему-то часто считают, что можно сравнивать какие угодно 2 выборки, и без разницы, какое в них распределение.

    У вас я вижу сравнение количеств. Было бы проще, если бы это были доли (из 1000 глаголов 123 были такими, а остальные 877 - такими-то).

    Если учебник Ермолаева по мат.методам не сильно отличается от его учебника по мат.статистике, то рекомендовать бы его я не стал. Он частично построен на учебнике Сидоренко с тем же мифическим критерием Фишера, там нет расчетов доверительных интервалов, расчетов размера эффекта.
    Тукачев Ю.А. нравится это.
  18. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Добрый вечер, Сергей Сергеевич.
    Спасибо за ответ.
    На самом деле, чем дальше вникаю, тем более понимаю сложность достижения поставленной цели.
    До сих пор оценка этих предрасположенностей во время диагностики типа проводится экспертным методом - путем интерпретации экспертом смыслов сказанного испытуемым. (Соционические тесты в силу их слабой валидности не рассматриваем).
    В данном же исследовании мы (практически впервые в соционике) попытались внести и проверить возможность опоры при диагностике на объективные данные.
    Основная проблема (на данный момент) в большом количестве нулевых данных в выборке (характерные маркеры в значительном количестве собранных эссе часто просто отсутствуют).
    Для оценки статистической значимости из разных маркеров я выбрал один из зафиксированных, как обладающий наиболее выраженной асимметрией при минимальном количестве нулевых значений.
    Если коротко суть:
    Есть 35 испытуемых одного соционического типа и 35 другого.
    Каждый написал эссе "Что для вас время?" (всего - 70 эссе).
    ***********************************************
    Из соционической теоретической модели следует, что испытуемые первого типа предрасположены к фокусировке внимания на процессах (на самих действиях, на их течении, на их свойствах, параметрах и т.п.).
    Испытуемые второго типа предрасположены к фокусировке внимания на результатах действий (на качестве, количестве, свойствах, параметрах и т.п.) выданного "на гора" продукта.
    ************************************************

    Эта асимметрия в обработке информации психикой в соционике носит в соционике название - признак «процесс-результат».
    По очевидной логике рассматриваемый признак должен был отразиться в таком показателе, как асимметрия в количествах использованных глаголов несовершенного/совершенного вида.
    На первом этапе исследования сравнение средних значений по двум выборкам (по двум типам) показало, что выдвинутое предположение справедливо. Асимметрия была получена и соответствовала выдвинутой гипотезе.

    Было бы проще! Но к выше уже упомянутой проблеме, оказалось, что и в той, и в другой выборке (и того и другого типа) было зафиксировано существенное преобладание глаголов несовершенного вида над глаголами совершенного вида. Асимметрия же проявилась при сравнении количеств глаголов совершенного вида между двумя выборками (двумя типами).
    Это привело к необходимости сравнивать не
    n«совершенного вида» к N-n«несовершенного» в одной выборке, а только
    n«совершенного вида» в одной выборке c m«совершенного вида» в другой.
    Это еще более сократило объемы несущих полезную информацию данных.
    И эта проблема присутствует у большей части рассмотренных мною в статье маркеров.
    Мне трудно оценивать (на данном этапе моего только еще освоения практических статистических подходов) достоверность той или иной информации, но в интернете на самом деле много классификационных таблиц, в которых U-критерий Манна-Уитни относится к непараметрическим критериям (исходящим из того, что распределение данных неизвестно)
    Т.е., к первоначальной задаче выхода на анализ сравнительных объективных оценок типологических проявлений, добавилась достаточно не тривиальная задача оценки их статистической достоверности.

    Вложения:

  19. Пантюхин С.С.

    Пантюхин С.С. Локомотив

    Виктор Григорьевич!
    Я уже говорил, что 2 отличающиеся группы не вполне корректно сравнивать обычными методами статистики. И у меня много возражений против самой идеи сравнивать словоупотребление у людей разных типов на основе одного эссе. У испытуемых может быть плохо развита письменная речь (эссе могут писать далеко не все), могут быть периоды разного уровня работоспособности (у меня с недосыпа словарь беднее в разы), поэтому стоило бы собрать хотя бы несколько эссе.
    В отношении анализа данных основная проблема у вас - открытые вопросы, мы с вами уже по этому поводу говорили. Это большой удар по надежности (повторное эссе не даст таких же результатов). Тут лучше или кодировать ответы каждого участника в дихотомической шкале, тогда у вас получится четырехклеточная таблица, и можно использовать хи-квадрат критерий или точный тест Фишера, или критерий отношения правдоподобия Уилкса. Или можно попробовать ввести какую-то шкалу с числом элементов от 1 до 5 или от 1 до 10, где 1 - использование глаголов только одного вида, 5 (или 10) - использование глаголов только другого вида, все остальные варианты обозначают соотношение одних и других (на основе пропорции: Число элементов шкалы*количество глаголов одного вида/общее число глаголов). В этом случае можно попробовать критерий Манна-Уитни. Он плохо работает при использовании данных в шкале с малым числом элементов и при наличии одинаковых рангов. И если распределение в группах будет разным, то надо смотреть на что оно похоже, разный характер распределения в выборках - серьезный аргумент против применения традиционных двухвыборочных критериев.

    По критерию Манна-Уитни могу выложить свой вариант инструкции с расчетом размера эффекта, получением значения медианы Ходжеса-Лемана и доверительных интервалов для нее.
    Последнее редактирование: 28 ноя 2021
    Тукачев Ю.А. и Прокофьев В.Г. нравится это.
  20. Прокофьев В.Г.

    Прокофьев В.Г. Активист

    Добрый день, Сергей Сергеевич.
    Поясните, пожалуйста, что значит: «отличающиеся группы»
    Это две группы испытуемых, выполнивших одно и то же задание, в одних и тех же условиях
    Я с Вами согласен. Наш подход - это не просто сбор информации, а сбор заведомо избыточного объема данных. Предмет нашего исследования - устойчивые свойства психики, обусловленные определенными предрасположенностями (возможно врожденными). А наше поведение вербальное и не вербальное, как вы правильно отметили, обусловлено в том числе целым рядом других факторов
    ***************************************************
    «Наблюдая за клиентом, мы видим его реакции, как связанные с проявлением его типа информационного метаболизма, так и обусловленные его уникальным жизненным опытом:

    • успехами, неудачами, которые не всегда детерминированы работой его сильных или слабых функций;
    • накопленными знаниями, эрудицией, словарным запасом;
    • осознанным учетом прошлого опыта (например, профессионального);
    • выработанными навыками (как результатом воспитания в семье, прохождения учебы, тренингов, работой по личностному росту);
    • накопившимися привычными реакциями на знакомые ситуации;
    • проявлениями воли клиента (его текущими желаниями, целями, планами, намерениями);
    • пережитыми психологическими травмами;
    • возрастом, полом, местом жительства и т.д.;
    • наконец, частоколом штампов социально желательного «правильного» или, наоборот, «маргинального» поведения»

    *******************************************************
    Цитата из нашей статьи Прокофьева Т.Н., Прокофьев В.Г. «Психологические аспекты соционического интервью. Введение»

    Поэтому сейчас у нас методика типологической диагностики - это структурированный ("глубоко эшелонированный") ИССЛЕДОВАТЕЛЬСКИЙ инструмент, содержащий несколько проективных методик – 3 рисунка, 2 эссе, а также структурированное интервью, в основе которого открытые и по большей части сформулированые, как проективные, вопросы.

    Открытые вопросы, как и проективные методики – это часть нашего инструментария повышения соотношения «СИГНАЛ/ШУМ», т.е. для максимального подавления выше перечисленных в цитате «шумов».
    Да, согласен одно эссе не может служить надежным диагностическим инструментом. По поводу используемой нами методики типологической диагностики я уже сказал выше.

    Спасибо за конкретные предложения. Обязательно сфокусируюсь на них.
    Это очень помогает в моей текущей деятельности, а она направлена на поэтапное решение двух задач:
    1. представить объективные доказательства наличия устойчивых структурированных свойств психики, обусловленных соционической моделью;
    2. разработать программно-аппаратный диагностический комплекс (как эффективное «подспорье» эксперта-консультанта)
    Да, это было бы интересно.
    На всякий случай вид и содержание данных, полученных в нашем эксперименте

    Коды испытуемых ИЛЭ

    Количество глаголов совершенного вида у ИЛЭ

    Коды испытуемых
    ЛИЭ

    Количество глаголов совершенного вида у ЛИЭ

    A1_15

    5

    C3_11

    10

    A1_23

    4

    C3_9

    9

    A1_24

    4

    C3_24

    7

    A1_31

    3

    C3_12

    6

    A1_32

    3

    C3_28

    6

    A1_38

    3

    C3_4

    6

    A1_12

    2

    C3_16

    5

    A1_25

    2

    C3_5

    4

    A1_7

    2

    C3_8

    4

    A1_11

    2

    C3_36

    3

    A1_9

    2

    C3_6

    3

    A1_33

    2

    C3_7

    3

    A1_8

    2

    C3_21

    2

    A1_21

    2

    C3_22

    2

    A1_36

    1

    C3_23

    2

    A1_17

    1

    C3_27

    2

    A1_34

    1

    C3_3

    2

    В1_2

    1

    C3_35

    2

    A1_2

    1

    C3_19

    1

    A1_20

    1

    C3_30

    1

    A1_1

    1

    C3_32

    1

    A1_6
    -
    В1_1

    1

    A1_10
    -
    C3_1
    -

    A1_13
    -
    C3_10
    -

    A1_27
    -
    C3_13
    -

    A1_14
    -
    C3_14
    -

    A1_3
    -
    C3_15
    -

    A1_18
    -
    C3_18
    -

    A1_19
    -
    C3_2
    -

    A1_4
    -
    C3_20
    -

    A1_5
    -
    C3_25
    -

    A1_22
    -
    C3_26
    -

    A1_26
    -
    C3_29
    -

    A1_29
    -
    C3_31
    -

    A1_35
    -
    C3_33
    -
    Последнее редактирование: 28 ноя 2021
Статус темы:
Закрыта.