Выборка это в психологии: Понятие выборки в психологии. Репрезентати́вность и нерепрезентативность выборки. Примеры *

Содержание

Понятие выборки в психологии. Репрезентати́вность и нерепрезентативность выборки. Примеры *

Любое психологическое исследование строится на том, что автор проекта осуществляет некий эксперимент или наблюдение за конкретной группой лиц, предварительно определив цель мероприятия, объект, методологию и пр.

Любое психологическое исследование строится на том, что автор проекта осуществляет некий эксперимент или наблюдение за конкретной группой лиц, предварительно определив цель мероприятия, объект, методологию и пр.

Прежде чем реализовать свои планы: будь то опрос, анкетирование, беседа или наблюдение, важно правильно определить объект исследования. В большинстве психологических изысканий авторы научной работы изучают поведение, общение, особенности развития и иные действия конкретных индивидов или группы лиц. Притом испытуемых делят на несколько групп по схожим признакам (пол, возраст, привычки и пр.). Именно такие группы объектов называют в психологии выборками.

Какие выборки бывают?

Выборка в психологии означает выбор конкретных элементов или группы для проведения исследования из конкретного множества.

Выборочный метод исследования позволяет конкретизировать причины определенных процессов, явлений, поведения и следствий. Притом при оценке результатов исследования в отношении конкретной группы в дальнейшем исследователь может распространить действие собственной гипотезы на большую область с учетом определенных условий и критериев.

Проведение исследования

Исследовать полностью все человечество для определения некоего направления, тенденции просто нереально. Поэтому выборка – актуальный способ для проведения качественного исследования, позволяющая выявить нужные закономерности или получить данные об их опровержении.

Эксперты выделяют следующие разновидности выборок в психологических исследованиях:

  • Узкие и широкие. Здесь вид зависит от числа испытуемых или количества выборок в одних экспериментах достаточно проанализировать 2 группы лиц, а в других и 5 будет мало.
  • Зависимые и независимые. В данном случае исследователь отмечает, как действия одной группы влияют на ход событий в другой выборке, т.
    е. существуют ли определенные связующие элементы, сказывающиеся на жизни испытуемых каждой группы.
  • Репрезентативная и нерепрезентативная. О данном термине мы говорим чуть позже (в этой же статье).

По сути, выборка – это целевая аудитория эксперимента, призванная помочь исследователю в достижении намеченной цели.

Как происходит формирование выборки?

Процесс формирования выборки напрямую зависит от темы и цели исследования, а также определения объекта исследования. Для начала автору научной работы нужно определить:

  • Что он намерен изучать?
  • Какие материалы потребуются ему для исследования?
  • Какие требования будут предъявляться к объекту исследования?
  • Какие методы и методики пригодятся?

Как только автор сумеет ответить на эти вопросы, он приступит к конкретным действиям: планирование эксперимента, разработка плана мероприятий и критериев оценки и пр.

Формируем выборку для исследования

Самым важным этапом является определение выборки. Ученый должен понять, какие группы подлежат анализу и оценке, по каким критериям подбирать испытуемых (возраст, пол, работа образование, привычки, состояние здоровья и пр.), что брать во внимание (какие факторы оказывают воздействие) и пр.

В большинстве случаев при формировании выборки в психологическом исследовании учитывают:

  • Объем выборки: количество испытуемых объектов в каждой группе, количество групп. Данный параметр определяется исходя из цели и задач исследований, предполагаемых мероприятий, возможно сравнение со схожими экспериментами;
  • Индивидуальные качества объекта: наличие определенных навыков, умений, личностных характеристик;
  • Дополнительные критерии: пол, возраст, опыт работы, привычки и пр.;
  • Критерии выборки: однородность (соответствие конкретному признаку), разнородность (обычно анализируется одна группа лиц, не имеющих между собой явных сходств или различий, для проверки конкретно правила/теории).

Все условия и параметры, предъявляемые по отношению к испытуемым лицам и выборке в целом, способствуют тому, что исследователь в дальнейшем сможет собрать максимум полезных и достоверных данных для анализа.

Что значит репрезентативность выборки?

Репрезентативность представляет собой такое свойство выборки, которое позволяет распространить полученные результаты исследования, проведенного в отношении частных подгрупп, на всю генеральную совокупность. Данное правило успешно распространяется на качественные и количественные исследования при условии их грамотной реализации.

Что такое репрезентативность выборки?

Если распространить полученные результаты исследования невозможно на более широкий круг, то такая выборка будет нерепрезентативной.

Фактически репрезентативность выборки демонстрирует связь выборки с генеральной совокупностью.

Приведем пример репрезентативной и нерепрезентативной выборки.

Допустим, Вы провели социологический опрос населения. Ключевой вопрос исследования – устраивает ли Вас текущий уровень зарплаты? Допустим, в опросе приняло участие 100 человек. В результате Вы получили следующие данные: 18% респондентов негативно относятся к жаре, более 70% — положительно, 12% — затруднились ответить. В данном виде невозможно распространить результаты опроса на всех людей, так как в нем могли принять участие и неработаюшие люди, и иждивенцы и пр. Значит, данная выборка нерепрезентативна.

Проведение исследования

Но если изначально принять определенные критерии по отношению к выборке: объектом исследования могут быть только трудоустроенные лица в возрасте 18-65 лет, то полученные результаты уже будет можно распространить на все население в целом. В данном случае выборка будет считаться репрезентативной.

Таким образом, чтобы результаты исследования были не просто узкими и частными, но и ими можно было пользоваться в дальнейшем. Важно, чтобы выборка была репрезентативной. Для этого необходимо устанавливать грамотные и правильные параметры по отношению к испытуемым, исходя из целей и задач научной работы.


Образовательный центр DissHelp.ru

DissHelp.ru — консультации по выполнению студенческих работ, профессиональная работа с текстом, переводы. Информационное сопровождение

Подписаться на наш канал

Все что необходимо знать студенту и аспиранту теперь в одном месте

Сервис помощи студентам

База образцов дипломных и курсовых работы. Все студенческие работы в одном месте! Скидки!!

Заказать написание

Последние комментарии

Типы выборок в психологических исследованиях — Практическая психология на Aboutyourself.ru

Автор Татьяна в . Опубликовано Психологические эксперименты и исследования Последнее обновление: 05/01/2016

При изучении человеческого разума и поведения в большинстве случаев исследователям не достаточно данных каждого отдельного человека.
Вместо того чтобы работать с конкретными людьми, они отбирают группу людей, которые представляют в эксперименте население в целом или какую-то его часть. Только если выборка по-настоящему представляет население, исследователи могут обобщить для него результаты.

Типы выборок

В психологических и социологических исследованиях ученый используют, как правило, следующие типы выборок.

Вероятностная выборка

Этот метод отбора подразумевает шанс для каждого человек в популяции быть выбранным. Это гарантирует, что все подгруппы с равной долей вероятности могут оказаться представленными в выборке. Вероятностная выборка также бывает нескольких типов:

  • Простая вероятностная выборка. Исследователи случайным образом выбирают участников, зачастую используя компьютерные программы или генератор случайных чисел.
  • Многоуровневая выборка. Предполагает разделение населения на подгруппы по какому-либо признаку и последующий случайный выбор участников из каждой подгруппы (таким образом обеспечивается большая статистическая точность).
  • Районированная выборка. Предполагает деление население на небольшие кластеры, часто основанные на географических параметрах, из которых затем случайным образом выбираются люди. Например, представьте, что вы пытаетесь сделать исследование, в которое хотите включить чиновников вашего региона. Сбор данных с каждого, во-первых, сложен (вряд ли каждый из них будет рад уделить вам время), а во-вторых, отнимет много времени и сил. Используя метод районированной выборки, вы случайным образом отбираете нужное количество объектов (администраций, управлений и т.д.) в вашем регионе, а затем собираете данные с каждого «слуги народа», работающего в этих объектах.

Невероятностная выборка

Использование невероятностных выборок означает, что не у всех представителей популяции есть шанс быть отобранными в исследование. Одна из проблем, связанных с этим типом выборок, заключается в том, что отобранные участники могут отличаться от остальной популяции, так что результаты таких исследований не всегда представляется возможным обобщать.

Выделяют несколько типов невероятностных выборок:

  • Выборка по доступности. Предполагает включение в исследование всех, у кого есть возможность принять участие. Если вы выступили добровольцем в исследовании, которое проводилось на факультете психологии в вашем университете, то, скорее всего, вас отобрали именно по критерию доступности.
  • Целенаправленная выборка. Включает людей, которые отвечают определенным критериям. Например, маркетологи интересуются тем, как продукцию их клиента воспринимают женщины в возрасте от 18 до 35 лет — именно поэтому они проводят исследования для которых целенаправленно ищут женщин, соответствующих данному возрастному критерию.
  • Квотная выборка. Подразумевает включение в исследование подгруппы в пределах популяции, пропорциональной данной популяции в рамках определенных признаков. Наиболее наглядным примером такой системы может служить распространенная схема формирования парламента (не исследование, но все же): количество мест, которое получает каждая партия, пропорционально количеству проголосовавших за нее людей — то есть, такой состав парламента боле менее точно отражает политические настроения в обществе.
    В исследованиях всё точно так же: ученым может понадобиться определенное соотношение среди респондентов мужчин и женщин, правых и левых, интровертов и экстравертов.

Ошибки в процессе формирования выборки

Поскольку выборка, естественно, не может включать в себя всех представителей популяции, могут возникать ошибки. Различия между популяцией и конкретными её представителями в выборке называют ошибками выборки.

Невозможно узнать наверняка, насколько большой может быть разница между населением и выборкой. Несмотря на это, исследователи могут статистически оценить её величину.

Стоит отметить, что чем больше размер выборки, тем менее значительной оказываются ошибки; если выборка стремится к численности, равной численности популяции, вероятность того, что в ней будут отражены все подгруппы населения, возрастает. Единственный способ полностью устранить ошибки выборки — собрать данные всего населения, что зачастую слишком трудно и отнимает много времени.

Есть что сказать? Оставть комментарий!:

Психология выборки: определение, примеры и типы

Прогуливаясь по торговому центру, человек с планшетом просит вас ответить на несколько вопросов. Вы отвечаете своим мнением, и спрашивающий записывает его. Теперь вы только что стали частью выборки населения в психологии. Но что это значит?

  • Сначала определим, что означает выборка в психологическом исследовании.
  • Далее мы сосредоточимся на стратифицированной выборке населения, используемого в исследованиях.
  • После этого мы определим другие методы выборки в психологии.
  • Наконец, мы определим и поймем, какие отклонения и обобщения могут возникнуть при выборке.

Sample in Psychology Definition

Некоторые исследования нацелены на всю человеческую популяцию, в то время как другие интересуются только меньшей группой, например, людьми определенных возрастных групп или определенных профессий и так далее.

В психологии популяцию также называют целевой популяцией. Популяция – это группа людей, интересующая исследователя.

Обычно исследователи не могут привлечь все население для участия в своих исследованиях. Поэтому исследователи вместо этого выбирают небольшую группу населения, называемую выборкой . Этот метод в психологии называется выборкой .

Собранная выборка должна представлять совокупность, в которой исследователи заинтересованы сделать обобщения о совокупности. В идеале исследователи хотели бы выбрать образец с наибольшим числом 9.0021 репрезентативность и минимальное смещение . Затем исследователи могут с большей уверенностью обобщать результаты для целевой группы населения.

Но какая разница между популяцией и выборкой? Разве это не одно и то же? Нет, они разные! Помните, что популяция — это целых групп, к которым пришли исследователи. Иными словами, выборка представляет собой конкретную группу , для которой собираются данные.

Виды выборки в психологии

В рамках психологических исследований можно проводить два различных типа выборки — вероятностную и невероятностную.

Вероятностная выборка означает, что каждый член совокупности имеет шанс быть выбранным и используется в основном в количественных исследованиях. Что, если вы хотите получить результаты, которые представляют все население? Эти желаемые результаты могут быть достигнуты при использовании вероятностной выборки. Вероятность позволяет исследователям сделать убедительный вывод обо всей интересующей группе.

При вероятностной выборке, если бы у вас была популяция из 100 человек, у каждого человека был бы шанс быть выбранным 1 из 100!

В невероятностной выборке индивидуумы отбираются на основе неслучайных критериев. Использование невероятностной выборки означает, что не все лица имеют равные шансы быть включенными. Невероятностная выборка считается более дешевым вариантом и намного проще. В то время как дешевый и простой звучит отлично для исследователей, существует высокий риск выборки (это означает, что выводы, сделанные о населении, основаны на взятых выборках, и выводы будут считаться ограниченными).

Исследовательские и качественные исследования используют маловероятностную выборку, где целью является не проверка гипотезы о широкой совокупности, а вместо этого создание первоначального понимания недостаточно изученной совокупности (обычно также небольшой).

Выборка друзей, коллег или покупателей в магазине — все это примеры невероятностной выборки.

Стратифицированная выборка в психологии

Стратифицированная выборка — это выборка, в которой исследователи отбирают участников в соответствии с их частотой в целевой популяции. Исследователь определяет различные группы, составляющие целевую совокупность, и рассчитывает пропорции, необходимые для того, чтобы сделать выборку репрезентативной.

Идентифицированные группы называются слоями (или подгруппами), такими как пол или возраст. Участники выбираются случайным образом из каждой страты пропорционально их встречаемости в популяции. Следовательно, выборка должна отражать относительный процент подгрупп в совокупности.

  • В отличие от случайной выборки, этот метод с большей вероятностью представляет базовую совокупность, но он ограничен нашим пониманием того, какие подгруппы важны.
  • Однако полное представление невозможно, поскольку стратификация несовершенна. У исследователей может не быть полной информации о составе их целевой группы.
  • Стратифицированная выборка требует много времени. В результате мы редко видим стратифицированную выборку в психологических исследованиях.

Методы выборки в психологии

Несмотря на то, что стратифицированные методы выборки кажутся наиболее предпочтительными, существует несколько различных типов в зависимости от проводимого исследования: возможность , добровольная, случайная и систематическая.

Методы выборки Психология: выборка возможностей

Пример возможности — это образец, который набирается на основе всех доступных.

Мы можем получить выборку возможностей, спросив представителей населения, заинтересованы ли они и готовы ли они участвовать в исследовании.

  • Оценка — это самый быстрый и удобный способ получить образец, поскольку участники набираются в зависимости от наличия возможности.
  • Однако может возникнуть неизбежная систематическая ошибка, поскольку выборка, по сути, выбирается самостоятельно.
  • Выборка по возможности подвергалась критике за недостаточную репрезентативность и плохую обобщаемость для целевой совокупности.

Вы берете образец однокурсников из библиотеки. Вы используете возможность студентов, пришедших из библиотеки, в качестве вашей группы выборки.

Методы формирования выборки Психология: добровольная выборка

Добровольная выборка представляет собой выборку, набираемую путем самостоятельного отбора. Другими словами, участники самостоятельно выбирают и связываются с исследователем. Мы получаем добровольные образцы через сарафанное радио или рекламу.

  • Выборка добровольцев — это быстрый и недорогой способ привлечь большое количество потенциальных участников.
  • Однако добровольная выборка также сопряжена с риском систематической ошибки, как и случайная выборка, поскольку выборка, по сути, формируется самостоятельно.

Вы смотрели шоу талантов по телевидению, например конкурсы вокалистов? Когда ведущий просит домашнюю аудиторию, вас, отправить текстовое сообщение вашего любимого певца, это пример добровольной выборки.

Недостаток здесь в том, что только зрители, у которых есть твердое мнение о том, кто должен стать победителем, отправят свои голоса. Волонтеры могут быть привлечены лично, в Интернете или через публичные публикации. Исследователи, использующие добровольную выборку, обычно прилагают мало усилий для контроля состава выборки.

Рис. 1 Отправка текстовых сообщений для голосования за следующую популярную сенсацию является добровольной выборкой.

Методы формирования выборки Психология: случайная выборка

Случайная выборка — это такая выборка, в которой все в целевой совокупности имеют равные шансы быть отобранными.

Одним из возможных методов отбора случайной выборки является метод лотереи. Исследователи присваивают номер каждому потенциальному участнику, а затем создают список случайных чисел, чтобы выбрать участников для случайной выборки.

  • Случайная выборка, пожалуй, лучший метод выборки, поскольку он, скорее всего, обеспечит наиболее репрезентативную выборку и обобщающие результаты.
  • Кроме того, случайные выборки свободны от предвзятости со стороны исследователя, так как исследователь не влияет на выбор участников.
  • Тем не менее, даже случайная выборка необъективна, если выбранные лица отказываются от участия.
  • Более того, случайную выборку трудно получить, потому что процесс найма требует времени и ресурсов.

Методы выборки Психология: систематическая выборка

A систематическая выборка выбирает участников по набору шаблонов.

Чтобы составить систематическую выборку, можно составить список всех членов генеральной совокупности, а затем определить желаемый размер выборки. Если вы разделите количество людей в целевой совокупности на желаемый размер выборки, вы получите число, которое мы называем n. Если вы выберете каждое n-е имя, вы получите систематическую выборку нужного размера. Например, если вы собираетесь составить выборку из 100 студентов университета с 1000 студентов, n = 1000/100 = 10, вы можете взять каждое десятое имя.

  • Систематическая выборка — это объективный метод, который может значительно снизить предвзятость исследователя.
  • Однако, как и в случае случайной выборки, систематическая выборка сопряжена с риском систематической ошибки, если выбранные лица отказываются участвовать.
  • Кроме того, систематическая выборка требует полного списка населения, который трудно получить и отнимает много времени.

Методы выборки Психология: добровольная выборка

Добровольная выборка — это когда исследователи ищут добровольцев для участия в исследованиях. Волонтеры могут быть привлечены лично, в Интернете или через публичные публикации. Исследователи, использующие добровольную выборку, обычно прилагают мало усилий для контроля состава выборки.

Вы когда-нибудь шли по оживленной улице, когда кто-то звал вас, чтобы пройти опрос по некоторым конкретным вопросам, таким как местные органы власти или изменения в обществе? Человек, проводящий опрос у добровольцев, использует добровольную выборку.

Смещенная выборка в психологии: определение

Смещение выборки происходит, когда некоторые члены выборочной совокупности с большей вероятностью будут отобраны в выборку, чем другие. Систематическая ошибка выборки ограничивает возможность обобщения результатов выборки, потому что это угроза внешней валидности (особенно валидности популяции).

Рис. 2 Задавание вопросов опроса только этим учащимся было бы необъективной выборкой, если бы гипотеза требовала опроса всей школы.

Опрос учащихся старших классов, проводимый для измерения употребления запрещенных наркотиков подростками, будет необъективным. Но почему это так? Это обследование не включает другие группы населения, такие как учащиеся, обучающиеся на дому, или бросившие школу. Выборка также является необъективной, если некоторые члены недопредставлены или перепредставлены по сравнению с другими в популяции, и в этом случае это учащиеся, которые учатся дома, или те, кто никогда не заканчивал школу.

Обобщение происходит при применении результатов исследования к более широкой целевой группе. Он основан на предположении, что результаты исходной выборки будут одинаковыми для всех остальных представителей целевой группы. Это можно увидеть у учащихся, обучающихся на дому, в предыдущем примере.

Психология выборки – основные выводы

  • В психологии популяция также называется целевой популяцией. Популяция – это группа людей, интересующая исследователя.
  • В рамках психологических исследований можно проводить два различных типа выборки — вероятностную и невероятностную.
  • Стратифицированная выборка — это выборка, в которой исследователи отбирают участников в соответствии с их частотой в целевой популяции.
  • В то время как стратифицированный метод выборки кажется наиболее предпочтительным, существует несколько различных типов в зависимости от проводимого исследования: случайный , добровольный, случайный и систематический.
  • Смещение выборки происходит, когда некоторые члены генеральной совокупности с большей вероятностью будут отобраны в выборку, чем другие.

Методы выборки — Центр психологии

В психологии метод выборки — это способ, с помощью которого исследователь получает участников, которые примут участие в его исследовании. Выборка всегда берется из «целевой совокупности» исследователя

Целевые совокупности:

в Великобритании» или «молодые люди, живущие в Бристоле». В конце исследования исследователь хочет сделать заявление об этой группе людей. Этот исследователь, очевидно, не может изучить всех людей в целевой группе (в целевой группе слишком много людей). Вместо этого исследователь выбирает меньшую группу, называемую образец.

Методы формирования выборки:

В идеале эта выборка должна быть репрезентативной для всего изучаемого населения, чтобы можно было сделать обобщения по совокупности. Существует ряд методов выборки, которые исследователи используют для получения выборки из целевой совокупности. Важно, чтобы эти выборки были репрезентативными целевой совокупности. Рассмотрите сильные и слабые стороны каждого метода выборки, чтобы оценить, будет ли этот метод давать репрезентативную выборку.

Выборка возможностей: Выборка возможностей состоит из всех, кто желает и готов принять участие во время проведения исследования. Выборки возможностей являются наиболее распространенным методом выборки, используемым в психологических исследованиях.
   
+ БЫСТРО, УДОБНО И ЭКОНОМИЧНО:  Например, этим исследователям просто нужно обратиться к лицам, которые входят в целевую группу, и сразу же спросить их об участии в исследовании. является положительным, поскольку требуется меньше планирования и подготовки, что приводит к меньшему количеству задержек в процессе исследования и меньшему количеству денег. МОЖЕТ БЫТЬ НЕРЕпрезентативным:  Например, если исследование в центре города проводится в рабочее время, эта выборка не будет представлять лиц, которые работают, учатся в школе, колледже и т. д. Это проблематично, поскольку означает, что выборка не может быть обобщены на всю популяцию, что означает, что эти выборки могут быть недостаточно валидными для популяции.
Случайная выборка: Случайная выборка дает каждому человеку из целевой группы равные шансы быть выбранным. Каждому имени присваивается номер, а затем список случайных чисел используется для выбора образца либо вручную, либо с помощью компьютера.
   
+МОЖЕТ БЫТЬ ПРЕДСТАВИТЕЛЬНЫМ:  Например, каждый член целевой совокупности имеет равные шансы быть отобранным как часть выборки, что делает выборку более репрезентативной, тогда как выборка возможностей учитывает только тех, кто доступен в данный момент. Это положительно, потому что случайные выборки с большей вероятностью будут иметь высокую валидность генеральной совокупности, поскольку каждый в целевой совокупности является частью процесса выборки. — МОЖЕТ БЫТЬ НЕРЕПРЕЗЕНТАТИВНЫМ : Например, случайно может быть выбрано непропорциональное количество студенток колледжа.
Добровольная выборка В нее входят лица, добровольно вызвавшиеся принять участие в исследовании. Исследователи могут рекламировать участников на досках объявлений университета или в газетах.
   
+ БЫСТРО, УДОБНО И ЭКОНОМИЧНО:  Например, исследователь, изучающий память, может рекламировать участников, и участники должны выдвигать свою кандидатуру для участия в исследовании. требуется подготовка, и поэтому это приводит к меньшему количеству задержек в процессе исследования и меньшим затратам денег. МОЖЕТ БЫТЬ НЕРЕПРЕЗЕНТАТИВНЫМ:  Например, было высказано предположение, что добровольцы, как правило, моложе, общительнее и увереннее в себе, чем неволонтеры. Это проблематично, поскольку означает, что результаты исследования с использованием этого метода выборки нельзя обобщать. для всей целевой популяции, и поэтому метод может быть недостаточно валидным для популяции.
Стратифицированная выборка В популяции выделяются подгруппы (или страты) (например, мальчики и девочки, возрастные группы (10–12 лет, 13–15 лет). пропорционально их встречаемости в популяции. Отбор из страт осуществляется с использованием случайного метода. .Это положительный результат, поскольку стратифицированные выборки с большей вероятностью будут иметь высокую валидность в отношении генеральной совокупности, поскольку все в целевой совокупности имеют равные возможности быть отобранными, а выборка пропорциональна целевой совокупности, что делает выборку более репрезентативной для целевой совокупности9. 0233 — ОЧЕНЬ ВРЕМЯ: Например, исследователи сначала должны определить подгруппы, затем провести случайную выборку этих подгрупп и, наконец, связаться с участниками. Это проблематично, потому что этот процесс очень длительный. сравнению с другими методами отбора проб, что может привести к задержкам в исследованиях.
Систематическая выборка Используйте заданную систему для выбора каждого участника, например, выберите каждого 6-го, 14-го, 20-го (или любого другого) человека из телефонной книги. Этот числовой интервал применяется последовательно.
   
+ МОЖЕТ БЫТЬ ПРЕДСТАВИТЕЛЬНЫМ:  Например, все участники отбираются с использованием беспристрастной и объективной системы, что означает, что выборка должна быть репрезентативной для целевой совокупности. с большей вероятностью будет иметь высокую валидность для населения, что делает выборку более репрезентативной для целевой группы, а это означает, что результаты исследования могут быть распространены на целевую группу.

About the Author

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Related Posts