К методу опроса относятся укажите все правильные варианты ответов: Простые правила, чтобы извлечь максимум из онлайн-опроса — Маркетинг на vc.ru

Простые правила, чтобы извлечь максимум из онлайн-опроса — Маркетинг на vc.ru

Анастасия Хапалова, UX-исследователь AIC, делится правилами проведения опросов для их максимально четкой последующей интерпретации

3156 просмотров

Кастдев (custdev – customer development) или «развитие клиента» становится все более популярным подходом к ведению бизнеса и развитию продукта. По сути он заключается в том, что вы фокусируетесь не на идее продукта как таковой, а на потребностях и проблемах клиента, тестируя прототипы на потенциальных потребителях, в процессе выявляя инсайты с помощью опросов, глубинных интервью и прочих видов исследований.

Наша команда Human Experience в AIC проводит исследования самыми разными методами — от интервью до карточных сортировок и дата-аналитики. Но опросный — один из самых часто применяемых, и не только у нас. Крупные компании нанимают агентства, компании поменьше проводят исследования инхаус, знаю даже некоторых ИП, которые запускали опросы, чтобы лучше понять своих клиентов.

Я уж не говорю об учебных проектах студентов школ по продакт-менеджменту. Так в моей фейсбучной ленте каждый день встречается несколько опросов.

Популярность опросного метода объясняется скоростью запуска и широтой охвата: собрал анкету в каком-нибудь бесплатном сервисе, задал все нужные вопросы и получил сразу несколько десятков или сотен ответов – хороший статистический срез, чтобы количественно подтвердить или опровергнуть гипотезы!

Но есть нюанс: скорость и охват — да, но отнюдь не простота реализации. В отличие от интервью, при опросе вы не общаетесь с респондентом лично, не видите его настроения, не можете переспросить, чтобы вернее истолковать его ответ. Нужно очень тщательно продумывать и вопросы, и варианты ответов, что с максимальной гарантией получить нужную информацию и не исказить результаты исследования.

Как любителю правильных формулировок, мне захотелось составить простой и понятный каждому чек-лист, который поможет избежать самых популярных ошибок и сделать опрос, точно отвечающий поставленной задаче.

Но только я задумалась о том, как это сделать, мне попалась чудесная статья исследователя Рея Пойнтера, автора книг “Справочник по исследованиям онлайн среды и социальных медиа: инструменты и методы для исследователей” и “Справочник по исследованиям рынка мобильных устройств: инструменты и методы для исследователей”. Потому не буду изобретать велосипед и попробую ограничиться вдумчивым и близким к тексту изложением материала с некоторыми авторскими отступлениями. С уверенностью позволяю себе такую вольность, будучи опытным профессионалом в UX-исследованиях и лингвистом по образованию.

Итак, начнем с главного правила.

Главное правило — всегда будут исключения

Одним из распространенных исключений является случай, когда клиент хочет использовать альтернативную формулировку вопроса. Если клиенту известно, почему вы предпочитаете свою версию и если его версия не имеет существенных недостатков, тогда вам лучше использовать вариант, который предпочитает клиент.

Четыре базовых правила для опросов

• Люди должны понимать, о чем их спрашивают

• Люди должны быть готовы ответить на вопрос

• Люди должны иметь возможность ответить на вопрос

• Вы должны понимать, как интерпретировать ответы

Другие полезные правила

1. Опрос должен хорошо работать на мобильных устройствах – никогда не запускайте исследование, не проверив его на смартфоне. Если вы работаете с клиентом, попробуйте настоять на том, чтобы он протестировал опрос именно с мобильного устройства перед запуском.

2. В вариантах ответов должен быть хотя бы один вариант для всех респондентов на случай, если варианты выше не подходят его ситуации. Так опрос будет достаточно исчерпывающим. То есть, возможно, стоит добавить такие варианты, как:

— “Я не знаю”

— “Затрудняюсь ответить” или “Ничего из перечисленного”

— “Другое”

3. Если вы предлагаете выбрать один вариант ответа, у респондента не должно быть возможности выбрать несколько вариантов. Поэтому предусмотрите заранее, чтобы чисто технически респондент не мог кликнуть на другие варианты ответа.

4. Избегайте наводящих вопросов (примеры будут дальше).

5. Старайтесь быть интуитивно понятными – избегайте длинных вопросов и ответов.

6. Собирайте персональные данные только в том случае, если они действительно очень нужны (и тогда соблюдайте все необходимые протоколы и правила по их хранению).

7. Собирайте только те данные, которые вам необходимы, чтобы у респондента не возникало вопросов, почему это вообще вас интересует.

8. Старайтесь использовать протестированные варианты вопросов/ответов/шкал. Новые формулировки ad-hoc должны быть протестированы перед запуском (мое примечание: как минимум попросите коллег/знакомых пройти опрос и дать обратную связь по понятности формулировок).

9. Задавайте вопросы только в том случае, если это действительно необходимо. Старайтесь не использовать открытые вопросы, где респонденты должны сами набирать текст ответа.

10. Старайтесь делать опросы короткими. 5 минут – отлично, 10 минут – допустимо, более 15 минут – скорее всего, слишком много, чтобы обеспечить высокое качество ответов.

Лайфхак — ВСЕГДА задавайте финальный открытый вопрос

Рей пишет, что последние 20 лет он практически каждое исследование заканчивал определенным вопросом: “

Хотите ли вы что-либо добавить по этой теме или прокомментировать сам опрос? Напишите свой ответ в поле ниже?”

Так, по его мнению, можно понять настроение участников опроса, получить информацию о возможных проблемах с анкетой и ценные инсайты, которые помогают сфокусироваться при анализе. Рей утверждает, что ответы на этот вопросы он читает в первую очередь, когда приступает к изучению результатов.

Частично, на мой взгляд, это решает проблему личного контакта, о которой я писала вначале, и нивелирует когнитивные искажения от эмоционального состояния респондента (об особенностях проведения исследования с эмоционально напряженными респондентами уже писала моя коллега Валерия Курмак).

Примеры типичных проблем и возможные решения

Не понятно, о чем спрашивают

Вопрос

Как часто вы встречаетесь с ошибкой 404 во время поиска информации в интернете?

Проблема – далеко не все знакомы с понятием “Ошибка 404”.

Вариант получше

Как часто вы переходите по ссылке в процессе поиска информации в интернете, а страница не работает?

Важно!

Такая формулировка не полностью соответствует понятию “Ошибка 404” (ссылки могут не открываться по другим причинам), но людям проще ответить при такой формулировке – это постоянный компромисс, баланс между требующейся информацией и способностью респондентов отвечать на конкретный вопрос.

Слишком сложная задача

Вопрос

Сколько единиц алкоголя вы потребляете в среднем в месяц?

Проблема – многие не поймут, как перевести бутылку пива или бокал вина в единицу алкоголя. Кроме того, если респондент вообще употребляет алкоголь, ему, скорее всего, будет сложно вспомнить, сколько раз он выпивал за последний месяц, не говоря уже о каких-то средних значениях.

Вариант получше

Сколько бокалов алкогольных напитков вы употребили за последнюю неделю?

• Ни одного
• 1 – 3
• 4 – 7
• 8 – 12
• 13 – 20
• Более 21
• Затрудняюсь ответить

Важно!

Варианты ответов необходимо корректировать исходя из задач конкретного вопроса. Например, если вам критично выявить разницу между одним и двумя напитками, тогда вам нужны соответствующие отдельные варианты ответов, в противном случае разделять не стоит. Возможно, в вашем исследовании вам может потребоваться больше или меньше промежутков. Так или иначе, старайтесь избегать ситуации, когда респонденты сами указывают значения, так как это приводит к многочисленным ошибкам в дальнейшем анализе результатов опроса.

В альтернативной версии вопрос измеряет не единицы алкоголя, а бокалы. Так мы одинаково оцениваем и маленький, и большой бокалы вина, и бокал пива 0,3, и 0,5, и все приравниваем к единице алкоголя. Это менее точно, но соответствует той точности, которую способен транслировать респондент. Если же вам действительно так важно разобраться в единицах алкоголя, вы должны предоставить респондентам инструкцию для их определения.

В вопросе используется временной отрезок “последняя неделя”, а не условный месяц. Исследователю важно узнать усредненное значение, но практика показывает, что людям сложно говорить о чем-то среднестатистическом. Если вы беспокоитесь о том, что получите значение привязанное к конкретной неделе, вы можете задать дополнительный вопрос. Например: количество алкоголя, которое вы употребили было

а) гораздо меньшим, чем обычно,

б) меньшим, чем обычно,

в) таким, как обычно,

г) бóльшим, чем обычно,

д) гораздо бóльшим, чем обычно?

Мало кто готов честно отвечать на прямо поставленный вопрос негативного характера

Вопрос

Вы обманываете руководство, когда отчитываетесь о своих представительских расходах?”

Проблема – вопрос наводящий, слово “обманываете” содержит резко негативную коннотацию. Люди, которые честно отчитываются о расходах в большинстве своем правдиво ответят на вопрос. А вот те, кто завышают свои расходы правду не скажут. Частично это обусловлено социально приемлемым смещением, а также наводящим характером вопроса.

Вариант получше

В таких компаниях, как ваша, какой процент сотрудников, по вашему мнению, завышают свои представительские расходы?

• 81% – 100%
• 61% – 80%
• 41% – 60%
• 21% – 40%
• 1% – 20%
• Таких нет

Важно!

Такой проективный подход к постановке вопроса (мое примечание: когда во избежание уклонения от ответа кандидату предлагается оценить не себя или свои действия, а окружающих в целом или какого-то персонажа) поддерживают исследования, которые показывают, что люди лучше анализируют поведение других, чем собственное (см. Mark Earls, HERD).

Длинный список интервалов с процентами сотрудников, которые обманывают компанию, позволит респондентам выбрать подходящий ответ и не фокусироваться на социально желательном ответе “Таких нет”.

Риск двусмысленной интерпретации (проблема “и/или”)

Вопрос

Был ли этот курс полезным и интересным?

Проблема – если вы получите отрицательный ответ, мы не сможем понять, какой из двух эпитетов курсу не подходит. Был ли он неинтересным или, может быть, бесполезным, а, может, одновременно и бесполезным, и неинтересным?

Вариант получше

Этот курс был

• интересным (Да/Нет)
• полезным (Да/Нет)”

Важно!

Если у вас более длинный список признаков, рассмотрите возможность одновременно показать весь список и дайте респонденту выбрать все подходящие качества. Также не забудьте вариант “Ничего из перечисленного”.

Недостаточно вариантов ответа

Вопрос

Какое мясо вы предпочитаете?

• Говядину
• Курицу
• Свинину

Проблема – не все едят мясо, а если и едят, то могут предпочитать что-то другое. В этом вопросе нет варианта ответа, который бы делал список исчерпывающим.

Вариант получше

Какое мясо вы предпочитаете?

• Говядину
• Курицу
• Свинину
• Ничего из перечисленного

Важно!

Вариант “Ничего из перечисленного” – один из способов сделать ответы исчерпывающими. Также возможны формулировки “Затрудняюсь ответить”, “Не относится ко мне”, “Другое (указать)”. Выбор варианта будет меняться от вопроса к вопросу и от проекта к проекту.

Ненужное противопоставление

Вопрос

Вы – … (выберите один ответ)

• качественный исследователь
• количественный исследователь
• ни то, ни другое.
• Не уверен

Проблема – кто-то может захотеть ответить, что он является И качественным, И количественным исследователем.

Вариант получше 1 (множественный выбор)

Вы – … (выберите все подходящие для вас варианты)

• качественный исследователь
• количественный исследователь
• ни то, ни другое.
• Не уверен

Вариант получше 2 (сохраните единственный выбор, но добавьте варианты ответа)

Какое описание лучше всего вам подходит?

• качественный исследователь
• количественный исследователь
• и то, и то
• ни то, ни другое.
• Не уверен

Важно!

Как и в других случаях, выбор альтернативы будет зависеть от того, что необходимо узнать исследователю.

Наводящие вопросы

Вопрос

Вы предпочитаете французское вино немецкому?

• Да
• Нет
• Не предпочитаю ни один из вариантов
• Не знаю

Проблема – мы наводим на мысль о том, что французское вино лучше немецкого, из-за порядка слов и скрытого смысла. Глагол “предпочитать” подразумевает, что варианты не равнозначны и есть более и менее удачная альтернатива.

Вариант получше

Что вы предпочитаете?

• Французское вино
• Немецкое вино
• Не предпочитаю ни один из вариантов
• Не знаю

Порядок вариантов ответа должен быть случайным.

Важно!

Есть и другие варианты, как вопрос может становится наводящим, например, при использовании слов со скрытым смыслом. В примере ранее был вопрос “Вы обманываете руководство, когда отчитываетесь о своих представительских расходах?”, и это тоже наводящий вопрос, так как слово «обманываете» имеет скрытый смысл. Тут присутствует негативная оценка такого действия, по сравнению, например, с “Вы корректно информируете руководство?”. Про то, как с помощью вопросом некоторые манипулируют респондентами можно почитать здесь.

На этом, конечно, возможный список ошибок не заканчивается, но, если избежать этих, каждый опрос точно станет лучше.

Могу честно сказать, что в той или иной форме эти ошибки проскакивали и в моей работе. Скорее всего, невозможно полностью избежать ситуацию, в которой респонденты как-то неверно будут трактовать вопрос. У каждого человека есть особенности мышления, которые сложно предугадать даже многократно протестировав опрос. Однако, я буду часто возвращаться к этому материалу, чтобы убедиться, что самые базовые правила были соблюдены.

В статье Рея мне очень понравилось, с каким уважением автор относится ко времени и трудозатратам респондентов, и это безусловно очень правильно. Ведь сама суть custdev заключается в том, чтобы слушать и слышать клиентов тех продуктов, которые мы создаем. Человек, который совершенно бескорыстно захотел помочь вам и поделиться своим опытом, не должен испытывать фрустрацию и злиться, не понимая, чего от него хотят, и не обязан тратить свое время, отвечая на вопросы, которые не преследуют конкретной цели, а просто добавлены, как говорится, до кучи.

Респонденты – это и есть наши клиенты, и в момент исследования мы должны обеспечить максимальный комфорт и удобство. Именно в этом случае возникнет ситуация win-win, в которой исследователь сможет получить всю необходимую информацию для взвешенных решений.

Как провести опрос и узнать что-то новое

К блогу

Дата публикации: 6 сентября 2022

Содержание

• МЕТОД ОПРОСА
• КАК ПРОВЕСТИ ОПРОС
• ЧТО МОЖНО УЗНАТЬ ИЗ ОПРОСА
• СОСТАВЛЯЕМ ВОПРОСЫ
• КАК ИСПОЛЬЗОВАТЬ ДАННЫЕ
• ОГРАНИЧЕНИЯ МЕТОДА
• СКОЛЬКО ЛЮДЕЙ НУЖНО СПРОСИТЬ

---

МЕТОД ОПРОСА

При разработке продукта нам часто нужно узнавать мнение пользователей (будущих, потенциальных). Если не уделять этому внимания, то можно сделать продукт, который никому не нужен и который не будет пользоваться популярностью.

Самый простой способ узнать мнение — это спросить человека, что он думает по определенному вопросу. По сути это и есть опрос: когда вы общаетесь с человеком и у вас есть заранее подготовленный список продуманных вопросов.

По определению этот метод похож на интервью или глубинное интервью. В интервью мы тоже опрашиваем людей по вопросам из списка. Однако интервью, как правило, проводится с небольшим количеством людей (до 50) и преследует другие цели. Хотя интервью тоже иногда относят к методам опроса.

Мы же будем разбирать такой метод опроса как анкетирование. Анкетирование дает нам количественное представление о ситуации. Анкетирование — это список вопросов, который может дать нам представление о мнении определенного среза людей по ряду вопросов. Если правильно собирать данные, то можно собирать их постоянно и следить, как изменилась динамика с течением времени.

КАК ПРОВЕСТИ ОПРОС

Для проведения опроса нам потребуется формализованный список вопросов, который мы хотим задать нашим респондентам. Список вопросов должен быть один для всех респондентов, но может немного меняться, если мы опрашиваем немного разные группы пользователей

Список вопросов из анкеты мы можем задавать очно и дистанционно.

Очный опрос. Опрос проводится лично с помощью анкеты тогда, когда у вас есть доступ к большому количеству представителей аудитории лично. Вы заранее готовите анкету, распечатываете её или открываете на планшете, ПК. При таком виде опроса вы лично видите с кем говорите, иногда это может привести к интервью. Крайне трудоемкий способ, поэтому применяется редко, например, когда у вас нет другой возможности опросить людей.

Дистанционный опрос. Способ, когда вы рассылаете свою анкету или публикуете её прямо на сайте. Часто при этом используются специальные сервисы, в которых сразу можно анализировать данные. Метод имеет чуть большее количество ограничений, чем личный опрос, но компенсирует скоростью работы и легким анализом. Ограничения мы затронем дальше, но главное из них — невозможность уточнить вопрос, когда мы получаем ответ.

ЧТО МОЖНО УЗНАТЬ ИЗ ОПРОСА

Когда вы начинаете работать над проектом и до конца не представляете, кто ваши клиенты или потенциальные клиенты, какие у них мотивы и стремления, какие цели они преследуют, то почти любой способ исследований принесет много информации. Лучший способ узнать много новой информации — это глубинное интервью, но оно крайне затратно, и иногда невозможно провести его быстро.

Узнать новую информацию можно и опросом. Если вы понимаете общую направленность продукта или услуги, но не понимаете множество аспектов деятельности ваших пользователей, то об этом можно спросить. Опрос в этом случае может носить не количественный, а качественный характер. То есть важнее получить не цифры, а сами варианты ответов. Например, вас интересует какие книги продукт-менеджеры читают для саморазвития. Мы предполагаем, что они читают книги для саморазвития (мы почти в этом уверены). Также допустимым будет вопрос “Как вы развивались в профессии последние пару лет?”, хотя такие вопросы больше свойственны интервью. Его можно сделать вариантами ответов и пунктом “Другое” или открыты Таким образом мы узнаем, как они развиваются и читают ли они книги, если читают, то можно узнать какие.. Вы сможете узнать новую информацию только если зададите открытый вопрос, но на открытый вопрос никто не любит отвечать.

Проверить свою гипотезу. Вы уже знаете всю общую информацию о ваших пользователях, но есть отдельные моменты, которые нужно уточнить. Здесь уже важны будут цифры и соотношение ответов. Например, вы знаете, что ваши пользователи внимательно изучают характеристики товара перед покупкой, но на что они смотрят и по каком параметры выбирают, вы не знаете. Есть более 20 характеристик, по которым можно выбрать. Вы можете узнать, какую информацию ваш респондент смотрел перед покупкой такого товара ранее. Тогда вы включаете в свой опрос список характеристик, которые есть у вашего товара, и просите респондентов указать, какие из них наиболее важны для них

Узнать положение дел. Самые популярные опросы — это третий тип. Мы хорошо знаем с кем говорим, мы знаем, как делить аудиторию на группы, но нам интересно соотношение ответов в группе. Есть несколько типов вопросов, которые можно задать, чтобы выяснить положение дел:

• Социально-демографические вопросы. Когда вам нужно разделить вашу аудиторию по какому-то популярному критерию: возраст, пол, место жительства или мнения. У вас есть жесткий список вопросов и ответов на них (ответить другим способом нельзя).
• Поведенческие вопросы. Когда вам нужно понять, как человек поступал, поступает или поступит в определенной ситуации. Например, каким телефоном он пользуется, какие функции использует чаще.
• Оценочные вопросы. Нужны тогда, когда вы хотите узнать насколько хорошо или плохо обстоят дела. Популярные примеры данной группы — это NPS опрос, CEI и CSI. Данные вопросы можно задавать как большим группам, так и малым. Например по NPS на сайте вы можете судить, насколько ваша компания близка к успеху, по CSI — насколько ваш продукт отвечает потребностям пользователей, а в случае с CES или SEQ можно оценить индивидуальное взаимодействие.

Данные виды опросов в чистом виде используются довольно редко. Часто один вид наслаивается на другой или дополняет его.

СОСТАВЛЯЕМ ВОПРОСЫ

Самый очевидный способ составить опрос — это сразу написать вопросы. И это самая частая ошибка. Для начала вы должны сформулировать и записать цель опроса. Цель опроса — это результат, который вы хотите получить. Например, вы хотите узнать, как нужно изменить ваш продукт, чтоб он стал более востребован у пользователей. Либо вы хотите изменить фильтры в каталоге продукции (а возможно и способ выбора), но не уверены, что делать.

Когда у нас есть цель, то наступает время составлять общие исследовательские вопросы (программные вопросы). Это конкретные вопросы, ответ на которые поможет достичь цели. Например, если вы хотите узнать какие, изменения нужно делать в первую очередь, то это исследовательский вопрос, а не вопрос для респондентов. Респонденты могут понять его не как вы и преследовать другие цели при исследовании. Еще примерами хороших исследовательских вопросов могут быть: нужен ли функционал, который вы собираетесь разрабатывать; будут ли пользоваться новым способом оплаты, который вы хотите подключить; почему они не используют один из способов отправки информации, который вы сделали. То есть исследовательский вопрос — это набор гипотез, ответ на которые должен помочь достичь цель исследования.

Вопросы для респондентов — это конечные вопросы, которые вы будете задавать. Ответы на эти вопросы должны подтвердить или опровергнуть ваши гипотезы. Даже если ответы — это ряд чисел от 1 до 5. Вопросы должны быть написаны тем языком, на котором говорит человек, который будет отвечать на вопрос. То есть если ваша аудитория — это обычные люди со средним уровнем компьютерной грамотности или ниже, то использование профессиональных терминов из вашей среды недопустимо. Например, на вопрос “Интересна ли вам подводка в наших статьях?” можно получить очень странные ответы, которые после нельзя будет интерпретировать. Если же у вас опрос среди профессионального сообщества, то такие термины допустимы.

Хороший вопрос для респондентов:

• Должен быть краток и непротиворечив, и должен касаться только чего-то одного.
• Должен быть о конкретной ситуации.
• Не должен содержать подсказку или каким-либо образом склонять к какому-то ответу.
• Должен содержать пояснение, если есть подозрения, что человек может быть вне контекста или может не понять вопроса.

Хорошие варианты ответов должны:

• Не пересекаться друг с другом.
• Иметь множественный выбор, если важно узнать все понятия, или один ответ, если интересно самое важное (популярное).
• Использовать шкалы (от 1 до 5 или 10) с подсказками в начале, в конце и, желательно, в середине. Сами шкалы должны быть симметричны.
• Содержать ответ “Другое”, если у вы не уверены, что вы включили все возможные ответы.

При составлении вопросов лучше обращаться к прошлому опыту респондентов, если это невозможно, то спрашивать: “Как вы это делаете обычно”.

Если вопрос крайне деликатный, то используйте косвенные вопросы. Если вы думаете, что значимая часть респондентов будет врать, то дублируйте вопрос, используя противоположные формулировки.

КАК ИСПОЛЬЗОВАТЬ ДАННЫЕ

Когда вы откроете результаты опроса и обработаете их, то вы можете понять, что у вас появилось еще больше вопросов. Ваши новые вопросы станут более глубокими, только задав их вы уже поймете больше о ваших пользователях. Поэтому часто после опроса хочется проверить новые гипотезы.

Для этого вам нужно обратиться к цели вашего исследования и исследовательским вопросам. Нужно посмотреть, получилось ли узнать ответ на эти вопросы. Иногда вы можете получить еще больше данных, чем изначально предполагали.

Следующим шагом может быть серия глубинных интервью, так как захочется более подробно уточнить некоторые данные, которые вы получили. Либо сразу можно перейти к юзабилити тестированию, если вы узнали, что пользователи имеют потребность, но не могут удовлетворить её в помощь вашего продукта.

Вы можете сразу понять, какие изменения нужно сделать в продукте, чтобы он стал более востребованным или более удобным для ваших пользователей. Иногда имеет смысл составить список изменений продукта, а иногда стоит устроить “тестирование концепции”: то есть разработать прототип и провести его исследование на ваших пользователях.

В любом случае итог опроса — это список дальнейших шагов, и нужно быть к этому готовым. Даже если в итоге вы получили цифровые показатели (например, индекс удовлетворенности), то ваша задача — понять, как можно их улучшить в будущем.

ОГРАНИЧЕНИЯ МЕТОДА

Нужно помнить, что люди не всегда говорят правду. Если вы даете вознаграждение за опрос, то люди могут подумать, что от ответов зависит то, получат они деньги или нет. Некоторые могут отвечать более позитивно, так как не хотят обидеть людей, которые у них спрашивают. Поэтому к числовым оценкам нужен всегда особенный подход.

Другие респонденты могут думать о себе лучше “чем оно на самом деле”, поэтому если вы спрашиваете: “Будете ли вы бегать по утрам”, то многие ответят, что хотя это делать, но это не означает, что будут. Поэтому в таких вопросах нужно быть осторожным не пытаться использовать социально желательные ответы.

Нельзя быть уверенным, что вы и ваш респондент одинаково понимаете вопрос. Возможно, что вы используете специальные термины или намекаете на какой-то ответ. Отчасти это можно решить предварительными прогонами вопросов на знакомых, но уверенными до конца быть никогда нельзя.

В очном исследовании вы всегда можете уточнить, почему человек поступил так или иначе, ответил так или иначе, а еще дополнительными вопросами вытащить “всю правду”. В удаленном опросе такое невозможно.

Люди всегда спешат, и, как правило, не мотивированы заполнять вашу длинную анкету. Если на заполнение вашей анкеты уходит более 20 минут, то вы можете получить только половину ответов от исходной группы. Иногда лучше провести два небольших опроса, чем один, но большой.

СКОЛЬКО ЛЮДЕЙ НУЖНО СПРОСИТЬ

Когда вы научитесь проводить опрос, то одним из первых вопросов будет “Сколько людей спрашивать?”. Ответ на этот вопрос всегда сложный. Для начала нам нужно понять, а сколько бы мы могли спросить людей вообще, если бы у нас не было никаких ограничений.

Генеральная совокупность — это максимальное количество людей, которых вы могли бы опросить. Например, вы хотите узнать мнение пользователей о своем проекте. Ваша аудитория в год 1 000 000 — это и есть генеральная совокупность. Путем нехитрых математических операций можно выяснить, что вам нужно 384 человека, чтобы с 95% вероятностью и 5% отклонением получить ответы на свои вопросы. Если нам нужна вероятность 99% c 5% отклонением, то нам нужно опросить 665 человек.
Эти цифры можно посчитать на калькуляторе. И еще немного про цифры.

Данная выборка должна быть случайной. Иначе данные могут не отражать реальной картины. Сделать выборку случайной сложно, но если правильно проводить исследование, то можно получить правильные результаты. Выборка должна быть консистентная. Если она не консистентная, то для каждой группы пользователей нужно считать отдельную выборку.

Оповестим, когда откроется запись

Как написать хороший отчет

Станислав Визнер, аналитик-исследователь в VK.

1 час 30 минут

Карточная сортировка

Алмара Кулиева, когнитивный психолог, младший научный сотрудник UX лаборатории НИУ ВШЭ.

2,5 часа

письменных вопросов для опроса | Pew Research Center

Возможно, наиболее важной частью процесса опроса является создание вопросов, которые точно измеряют мнения, опыт и поведение людей. Точная случайная выборка будет потрачена впустую, если собранная информация построена на шатком фундаменте двусмысленных или предвзятых вопросов. Создание хороших показателей включает в себя как написание хороших вопросов, так и организацию их для формирования анкеты.

Разработка анкеты представляет собой многоэтапный процесс, требующий одновременного внимания ко многим деталям. Разработка анкеты сложна, потому что в опросах темы могут быть заданы с разной степенью детализации, вопросы могут задаваться по-разному, а вопросы, заданные ранее в опросе, могут повлиять на то, как люди ответят на более поздние вопросы. Исследователи также часто заинтересованы в измерении изменений с течением времени и поэтому должны внимательно следить за тем, как мнения или поведение измерялись в предыдущих опросах.

Исследователи могут проводить пилотные тесты или фокус-группы на ранних стадиях разработки вопросника, чтобы лучше понять, как люди думают о проблеме или понимают вопрос. Предварительное тестирование опроса является важным шагом в процессе разработки вопросника для оценки того, как люди отвечают на вопросник в целом и конкретные вопросы, особенно когда вопросы вводятся впервые.

В течение многих лет опросщики относились к разработке вопросников как к искусству, но серьезные исследования, проведенные за последние сорок лет, показали, что для составления хороших вопросников требуется много научных знаний. Здесь мы обсудим подводные камни и лучшие практики разработки анкет.

Разработка вопроса

Существует несколько этапов разработки опросного листа. Во-первых, определить, какие темы будут затронуты в опросе. Для опросов Pew Research Center это включает в себя размышления о том, что происходит в нашей стране и мире, и что будет актуально для общественности, политиков и средств массовой информации. Мы также отслеживаем мнения по различным вопросам с течением времени, поэтому мы регулярно обновляем эти тенденции, чтобы лучше понять, меняются ли мнения людей.

В Исследовательском центре Pew разработка анкеты представляет собой совместный повторяющийся процесс, когда сотрудники встречаются для обсуждения черновиков анкеты несколько раз в ходе ее разработки. Мы часто тестируем новые вопросы опроса заранее с помощью качественных методов исследования, таких как фокус-группы, когнитивные интервью, предварительное тестирование (часто с использованием онлайн-выборки) или комбинации этих подходов. Исследователи используют информацию, полученную в результате этого тестирования, для уточнения вопросов, прежде чем они будут заданы в производственном опросе, таком как ATP.

Измерение изменений с течением времени

Многие геодезисты хотят отслеживать изменения во времени во взглядах, мнениях и поведении людей. Чтобы измерить изменения, вопросы задаются в два или более моментов времени. Поперечное исследование позволяет обследовать разных людей из одной и той же популяции в несколько моментов времени. Группа, такая как ATP, опрашивает одних и тех же людей с течением времени. Однако обычно набор людей в панелях опроса со временем меняется, когда добавляются новые участники, а некоторые предыдущие участники выбывают. Многие вопросы в опросах Pew Research Center задавались в предыдущих опросах. Задавание одних и тех же вопросов в разные моменты времени позволяет нам сообщать об изменениях во взглядах широкой публики (или подгруппы публики, например, зарегистрированных избирателей, мужчин или чернокожих американцев) или о том, что мы называем «трендированием данных». ».

При измерении изменений с течением времени важно использовать ту же формулировку вопроса и учитывать, где вопрос задается в анкете, чтобы сохранить тот же контекст, что и при предыдущем задании вопроса (см. формулировку вопроса и порядок вопросов для дальнейшая информация). Все наши отчеты об опросах включают основную анкету, которая содержит точную формулировку и последовательность вопросов, а также результаты текущего опроса и предыдущих опросов, в которых мы задавали вопрос.

Переход Центра от проведения опросов в США по телефону в режиме реального времени к онлайн-панели (примерно с 2014 по 2020 год) усложнил некоторые тенденции общественного мнения, но не другие. Тенденции мнений, которые задают деликатные темы (например, личные финансы или посещение религиозных служб) или вызывают добровольные ответы (например, «ни то, ни другое» или «не знаю») по телефону, как правило, показывают большие различия, чем другие тенденции при переходе от телефонные опросы на онлайн СПС. Центр принял несколько стратегий реагирования на изменения в тенденциях данных, которые могут быть связаны с этим изменением методологии. Если есть данные, свидетельствующие о том, что изменение тенденции связано с переходом от измерения по телефону к онлайн-измерению, в отчетах Центра отмечается, что читатели могут попытаться предотвратить путаницу или ошибочные выводы.

Открытые и закрытые вопросы

Одно из наиболее важных решений, которое может повлиять на то, как люди отвечают на вопросы, заключается в том, сформулирован ли вопрос как открытый вопрос, когда респонденты дают ответ своими словами, или как закрытый. вопрос с окончанием, где им предлагается выбрать из списка вариантов ответа.

Например, в ходе опроса, проведенного после президентских выборов 2008 года, люди по-разному реагировали на две версии вопроса: «Какой вопрос был для вас самым важным при принятии решения о том, как вы проголосовали за президента?» Один был закрытым, а другой открытым. В закрытой версии респондентам было предложено пять вариантов, и они могли выбрать вариант, которого нет в списке.

Когда в качестве ответа прямо предлагалась экономика, более половины респондентов (58%) выбрали этот ответ; только 35% тех, кто ответил на открытый вариант, вызвались заниматься экономикой. Более того, среди тех, кому была задана закрытая версия, менее одного из десяти (8%) дали ответ, отличный от пяти, которые они прочитали. Напротив, целых 43% тех, кто задал открытый вариант вопроса, дали ответ, не указанный в закрытом варианте вопроса. Все остальные вопросы выбирались, по крайней мере, немного чаще, когда они явно предлагались в закрытой версии, чем в открытой версии. (Для получения дополнительной информации см. также «Высокие оценки кампании, высокая планка для Обамы».)

Исследователи иногда проводят пилотное исследование, используя открытые вопросы, чтобы выяснить, какие ответы наиболее распространены. Затем они разработают закрытые вопросы на основе этого экспериментального исследования, которые включают наиболее распространенные ответы в качестве вариантов ответа. Таким образом, вопросы могут лучше отражать то, что думает общественность, как они относятся к конкретной проблеме, или пролить свет на некоторые проблемы, о которых исследователи могли не знать.

При задании закрытых вопросов выбор предлагаемых вариантов, описание каждого варианта, количество предлагаемых вариантов ответа и порядок чтения вариантов могут влиять на реакцию людей. Один из примеров влияния того, как определяются категории, можно найти в опросе, проведенном Pew Research Center в январе 2002 года. Когда половине выборки задали вопрос о том, «что важнее для президента Буша сосредоточиться на внутренней или внешней политике», 52% выбрали внутреннюю политику, и только 34% выбрали внешнюю политику. Когда категорию «внешняя политика» сузили до определенного аспекта — «войны с терроризмом», — ее выбрали гораздо больше людей; только 33% выбрали внутреннюю политику, а 52% выбрали войну с терроризмом.

В большинстве случаев количество вариантов ответа должно быть относительно небольшим — всего четыре или максимум пять — особенно в телефонных опросах. Психологические исследования показывают, что людям трудно удерживать в уме больше, чем это количество вариантов выбора за один раз. Когда вопрос касается объективного факта и/или демографических данных, таких как религиозная принадлежность респондента, можно использовать больше категорий. На самом деле, им предлагается обеспечить инклюзивность. Например, стандартные вопросы о религии Pew Research Center включают более 12 различных категорий, начиная с наиболее распространенных аффилиаций (протестантов и католиков). У большинства респондентов нет проблем с этим вопросом, потому что они могут ожидать, что их религиозная группа будет в этом списке в ходе самостоятельного опроса.

В дополнение к количеству и выбору предлагаемых вариантов ответа порядок категорий ответов может влиять на то, как люди отвечают на закрытые вопросы. Исследования показывают, что в телефонных опросах респонденты чаще выбирают элементы, услышанные позже в списке («эффект новизны»), а в самостоятельных опросах они, как правило, выбирают элементы в верхней части списка («эффект первенства»).

Из-за опасений по поводу влияния порядка категорий на ответы на закрытые вопросы, многие наборы вариантов ответов в опросах Pew Research Center запрограммированы на рандомизацию, чтобы гарантировать, что варианты не задаются в одном и том же порядке для каждого респондента. Чередование или рандомизация означает, что вопросы или пункты в списке не задаются в одном и том же порядке каждому респонденту. Ответы на вопросы иногда зависят от вопросов, которые им предшествуют. Предоставляя вопросы в разном порядке каждому респонденту, мы гарантируем, что каждый вопрос будет задан в том же контексте, что и любой другой вопрос, одинаковое количество раз (например, первый, последний или любое промежуточное положение). Это не устраняет потенциальное влияние предыдущих вопросов на текущий вопрос, но гарантирует, что это смещение случайным образом распространяется на все вопросы или элементы в списке. Например, в приведенном выше примере о том, какой вопрос имел наибольшее значение в голосовании людей, порядок пяти вопросов в закрытой версии вопроса был случайным, так что ни один вопрос не появился раньше или позже в списке для всех респондентов. Рандомизация элементов ответов не устраняет эффекты порядка, но гарантирует, что этот тип систематической ошибки распространяется случайным образом.

Вопросы с порядковыми категориями ответов – те, в основе которых лежит порядок (например, отлично, хорошо, удовлетворительно, плохо ИЛИ очень благоприятно, в основном благоприятно, в основном неблагоприятно, очень неблагоприятно) – обычно не рандомизируются, поскольку порядок категорий отражает важность информация, помогающая респондентам ответить на вопрос. Как правило, эти типы шкал должны быть представлены в таком порядке, чтобы респонденты могли легко расположить свои ответы вдоль континуума, но для некоторых респондентов порядок может быть обратным. Например, в одном из вопросов Исследовательского центра Пью об абортах половине выборки задают вопрос о том, должен ли аборт быть «законным во всех случаях, законным в большинстве случаев, незаконным в большинстве случаев, незаконным во всех случаях». выборке задают тот же вопрос, но категории ответов читаются в обратном порядке, начиная с «незаконно во всех случаях». Опять же, изменение порядка не устраняет эффект новизны, а распределяет его случайным образом по совокупности.

Формулировка вопроса

Выбор слов и фраз в вопросе имеет решающее значение для выражения смысла и намерения вопроса респонденту и обеспечения того, чтобы все респонденты одинаково интерпретировали вопрос. Даже небольшие различия в формулировках могут существенно повлиять на ответы людей.

[Просмотреть другие методы 101 видео]

Пример различия в формулировках, оказавшего существенное влияние на ответы, взят из опроса исследовательского центра Pew, проведенного в январе 2003 года. Когда людей спросили, будут ли они «поддерживать или возражать против военных действий в Ираке, чтобы положить конец правлению Саддама Хусейна», 68% ответили, что они выступают за военные действия, а 25% ответили, что выступают против военных действий. Однако, когда их спросили, будут ли они «поддерживать или возражать против военных действий в Ираке, чтобы положить конец правлению Саддама Хусейна» даже если это означало, что силы США могут понести тысячи потерь, ”ответы были совершенно иными; только 43% заявили, что выступают за военные действия, а 48% заявили, что выступают против них. Введение данных о потерях в США изменило контекст вопроса и повлияло на то, поддерживали ли люди военные действия в Ираке или выступали против них.

Было проведено значительное количество исследований, чтобы оценить влияние различных способов задавать вопросы и выяснить, как свести к минимуму различия в том, как респонденты интерпретируют то, что им задают. Вопросов, связанных с формулировками вопросов, больше, чем можно адекватно рассмотреть в этом коротком отрывке, но ниже приведены несколько важных моментов, которые следует учитывать:

Во-первых, важно задавать четкие и конкретные вопросы, на которые сможет ответить каждый респондент. Если вопрос открытый, респондентам должно быть очевидно, что они могут ответить своими словами и какой тип ответа они должны предоставить (вопрос или проблема, месяц, количество дней и т. д.). Закрытые вопросы должны включать все разумные ответы (т. е. список вариантов является исчерпывающим), а категории ответов не должны пересекаться (т. е. варианты ответов должны быть взаимоисключающими). Кроме того, важно различать, когда лучше всего использовать закрытые вопросы с принудительным выбором (часто обозначаемые переключателем в онлайн-опросах) по сравнению со списками «выберите все, что применимо» (или отметьте все поля). 2019 годИсследование центра показало, что вопросы с принудительным выбором, как правило, дают более точные ответы, особенно на деликатные вопросы. Основываясь на этом исследовании, Центр обычно избегает использования вопросов типа «выберите все, что применимо».

Также важно задавать только один вопрос за раз. Вопросы, в которых респондентам предлагается оценить более одной концепции (известные как двойные вопросы), например: «Насколько вы доверяете президенту Обаме в вопросах внутренней и внешней политики?» – на которые респондентам сложно ответить, и они часто приводят к ответам, которые трудно интерпретировать. В этом примере было бы более эффективно задать два отдельных вопроса, один о внутренней политике, а другой о внешней политике.

В целом респондентам легче понять вопросы, в которых используется простой и конкретный язык. Особенно важно учитывать уровень образования опрошенных, когда речь идет о том, насколько легко респондентам будет интерпретировать вопрос и отвечать на него. Двойные отрицания (например, вы поддерживаете или возражаете против , а не , разрешающих геям и лесбиянкам вступать в законный брак) или незнакомые сокращения или жаргон (например, ANWR вместо Арктического национального заповедника дикой природы) могут привести респондентов в замешательство, и их следует избегать.

Точно так же важно учитывать, могут ли определенные слова рассматриваться как предвзятые или потенциально оскорбительные для некоторых респондентов, а также эмоциональную реакцию, которую некоторые слова могут вызвать. Например, в опросе, проведенном Pew Research Center в 2005 году, 51% респондентов заявили, что они выступают за то, чтобы «легализовать для врачей возможность давать неизлечимо больным пациентам средства для самоубийства», но только 44% заявили, что они выступают за то, чтобы «сделать законным для врачей для оказания помощи неизлечимо больным пациентам в совершении самоубийства». Хотя оба варианта вопроса задают об одном и том же, реакция респондентов была разной. В другом примере респонденты по-разному реагировали на вопросы, в которых использовалось слово «благосостояние», а не более общее «помощь бедным». Несколько экспериментов показали, что расширение «помощи бедным» пользуется гораздо большей общественной поддержкой, чем расширение «благосостояния».

Мы часто пишем две версии вопроса и задаем половине выборки опроса одну версию вопроса, а другой половине — вторую. Таким образом, мы говорим, что у нас есть две формы анкеты. Респонденты распределяются случайным образом для получения любой формы, поэтому мы можем предположить, что две группы респондентов по существу идентичны. На вопросы, где используются две версии, существенные различия в ответах между двумя формами говорят нам о том, что разница является результатом того, как мы сформулировали две версии.

Одним из наиболее распространенных форматов, используемых в вопросах опроса, является формат «согласен-не согласен». В этом типе вопросов респондентов спрашивают, согласны они или не согласны с тем или иным утверждением. Исследования показали, что по сравнению с более образованными и информированными менее образованные и менее информированные респонденты в большей степени склонны соглашаться с такими утверждениями. Иногда это называют «предвзятостью молчаливого согласия» (поскольку некоторые типы респондентов с большей вероятностью согласятся с утверждением, чем другие). Это поведение еще более выражено, когда присутствует интервьюер, а не когда опрос проводится самостоятельно. Лучшей практикой является предоставление респондентам выбора между альтернативными утверждениями. Эксперимент исследовательского центра Pew Research Center с одним из часто задаваемых вопросов о ценностях иллюстрирует разницу, которую может иметь формат вопроса. Формат принудительного выбора не только дает в целом результат, сильно отличающийся от формата «согласен-не согласен», но и структура ответов респондентов с более или менее формальным образованием также имеет тенденцию сильно различаться.

Еще одна проблема при разработке вопросников — так называемая «систематическая ошибка социальной желательности». Люди имеют естественную склонность хотеть, чтобы их принимали и любили, и это может привести к тому, что люди будут давать неточные ответы на вопросы, касающиеся деликатных тем. Исследования показали, что респонденты недооценивают употребление алкоголя и наркотиков, уклонение от уплаты налогов и расовые предубеждения. Они также могут завышать посещаемость церкви, благотворительные пожертвования и вероятность того, что они будут голосовать на выборах. Исследователи пытаются объяснить эту потенциальную предвзятость при разработке вопросов по этим темам. Например, когда в опросах Pew Research Center задают вопросы о прошлом голосовании, важно отметить, что обстоятельства могли помешать респонденту проголосовать: «Во время президентских выборов 2012 года между Бараком Обамой и Миттом Ромни возникли вещи, которые помешали вам голосование, или вы голосовали случайно?» Выбор вариантов ответа также может помочь людям быть честными. Например, вопрос о посещении церкви может включать три из шести вариантов ответа, указывающих на редкое посещение церкви. Исследования также показали, что систематическая ошибка социальной желательности может быть больше, когда присутствует интервьюер (например, телефонные и личные опросы), чем когда респонденты сами заполняют опрос (например, бумажные и веб-опросы).

Наконец, поскольку небольшие изменения в формулировке вопроса могут повлиять на ответы, следует использовать идентичную формулировку вопроса, когда предполагается сравнить результаты с результатами предыдущих опросов. Точно так же, поскольку формулировка вопроса и ответы могут варьироваться в зависимости от метода, используемого для опроса респондентов, исследователям следует тщательно оценить возможные последствия для измерений тенденций, если будет использоваться другой режим опроса для оценки изменения мнения с течением времени.

Порядок вопросов

После разработки вопросов для опроса особое внимание следует уделить их порядку в анкете. Исследователи должны быть внимательны к тому, как вопросы в начале анкеты могут непреднамеренно повлиять на то, как респонденты будут отвечать на последующие вопросы. Исследователи продемонстрировали, что порядок, в котором задаются вопросы, может влиять на реакцию людей; более ранние вопросы могут непреднамеренно предоставить контекст для последующих вопросов (эти эффекты называются «эффектами порядка»).

Один из видов эффекта порядка проявляется в ответах на открытые вопросы. В опросах Pew Research Center в начале анкеты обычно задаются открытые вопросы о национальных проблемах, мнениях о лидерах и аналогичные темы. Если закрытые вопросы, относящиеся к теме, помещаются перед открытым вопросом, респонденты с гораздо большей вероятностью будут упоминать концепции или соображения, затронутые в этих предыдущих вопросах, отвечая на открытый вопрос.

Для закрытых вопросов-мнений существует два основных типа эффектов порядка: эффекты контраста (когда порядок приводит к большим различиям в ответах) и эффекты ассимиляции (когда ответы становятся более похожими в результате их порядка).

Пример эффекта контраста можно увидеть в опросе Pew Research Center, проведенном в октябре 2003 г., за дюжину лет до того, как в США были легализованы однополые браки. заключать юридические соглашения, которые дают им те же права, что и супружеские пары, когда этот вопрос задавался после вопроса о том, поддерживают ли они или возражают против разрешения вступать в брак геям и лесбиянкам (45% высказались за юридические соглашения, когда их задавали после вопроса о браке, но 37% высказались за юридические соглашения). соглашения без непосредственно предшествующего контекста вопроса об однополых браках). Тем временем на ответы на вопрос об однополых браках существенно не повлияло его размещение до или после вопроса о юридических соглашениях.

Другой эксперимент, проведенный в декабре 2008 года в ходе опроса Pew Research Center, также привел к эффекту контраста. Когда людей спрашивали: «В целом вы довольны или недовольны тем, как обстоят дела в этой стране сегодня?» сразу после того, как его спросили: «Вы одобряете или не одобряете то, как Джордж Буш справляется со своей работой на посту президента?»; 88% заявили, что они недовольны, по сравнению с 78% без контекста предыдущего вопроса.

Ответы на президентское одобрение оставались относительно неизменными независимо от того, задавались ли вопросы о национальном удовлетворении до или после него. Аналогичный вывод был сделан в декабре 2004 г., когда и удовлетворенность, и одобрение президента были намного выше (57% были недовольны, когда сначала запрашивалось одобрение Буша, по сравнению с 51%, когда сначала запрашивалось общее удовлетворение).

Несколько исследований также показали, что если задать более конкретный вопрос перед более общим вопросом (например, спросить о счастье в браке, прежде чем спросить об общем счастье), это может привести к эффекту контраста. Хотя были найдены некоторые исключения, люди склонны избегать избыточности, исключая более конкретный вопрос из общего рейтинга.

Эффекты ассимиляции возникают, когда ответы на два вопроса более последовательны или ближе друг к другу из-за их размещения в анкете. Мы нашли пример эффекта ассимиляции в опросе Pew Research Center, проведенном в ноябре 2008 года, когда мы спросили, должны ли республиканские лидеры работать с Обамой или противостоять ему по важным вопросам, и должны ли лидеры демократов работать с республиканскими лидерами или противостоять им. по важным вопросам. Люди чаще говорили, что республиканские лидеры должны работать с Обамой, когда вопрос предварялся вопросом, что лидеры демократов должны делать в работе с республиканскими лидерами (81% против 66%). Однако, когда людей впервые спросили о лидерах республиканцев, работающих с Обамой, меньшее число ответило, что лидеры демократов должны работать с лидерами республиканцев (71% против 82%).

Задаваемые вопросы о порядке имеют особое значение при отслеживании тенденций с течением времени. В результате следует позаботиться о том, чтобы контекст был одинаковым каждый раз, когда задается вопрос. Изменение контекста вопроса может поставить под сомнение любые наблюдаемые изменения с течением времени (дополнительную информацию см. в разделе «Измерение изменений с течением времени»).

Анкета, как и беседа, должна быть сгруппирована по темам и разворачиваться в логическом порядке. Часто бывает полезно начать опрос с простых вопросов, которые респонденты сочтут интересными и увлекательными. На протяжении всего опроса необходимо приложить усилия, чтобы опрос был интересным и не перегружать респондентов несколькими сложными вопросами один за другим. Демографические вопросы, такие как доход, образование или возраст, не следует задавать в начале обследования, за исключением случаев, когда они необходимы для определения права на участие в обследовании или для маршрутизации респондентов по определенным разделам вопросника. Но даже в этом случае лучше предварять такие пункты более интересными и увлекательными вопросами. Одним из достоинств таких панелей опросов, как ATP, является то, что демографические вопросы обычно нужно задавать только один раз в год, а не в каждом опросе.

Сравнение ответов на онлайн-опросы с принудительным выбором и выбором всех — методы Pew Research Center

Любой, кто принимал участие в опросе, вероятно, имел возможность «отметить все подходящие варианты» при ответе на вопрос. Инструкция широко используется при сборе данных из-за ее простоты и эффективности. Но при разработке анкеты для онлайн-опроса существует несколько способов попросить респондента выбрать, какие варианты из серии относятся к нему.

Опросщик может показать респондентам список и попросить их выбрать все подходящие варианты, или социолог может запросить отдельно о каждом варианте. Эти два метода не всегда дают одинаковые результаты. Исследования неоднократно указывали, что все больше респондентов одобряют (отвечают «да») каждый вариант в рамках последнего подхода, известного как «вынужденный выбор», что иногда приводит к очень разным оценкам. Однако в предыдущих исследованиях не было ясно, какой формат вопроса дает более точные оценки. ¹

Используя свою национальную онлайн-панель американских тенденций (ATP), Pew Research Center провел большой рандомизированный эксперимент, сравнивая эти два формата вопросов. Эксперимент был частью опроса, проведенного с 30 июля по август. 12 декабря 2018 г. среди 4581 взрослого гражданина США. Респондентов спрашивали, сталкивались ли они или кто-либо из их ближайших родственников с различными нежелательными событиями (например, лечились от зависимости от наркотиков или алкоголя или потеряли дом из-за потери права выкупа). В ходе исследования половине респондентов случайным образом поручили ответить, используя список «выберите все, что применимо», в то время как другая половина ответила на ряд вопросов с принудительным выбором «да/нет».

Задача такого рода исследований состоит в том, чтобы определить, какое измерение делает его более «правильным». Исследование, лежащее в основе этого эксперимента, показывает, что, когда речь идет о нежелательных, но относительно частых событиях, респонденты с большей вероятностью занижают свои фактические переживания, чем преувеличивают то, чего они не испытывали. Например, более правдоподобно, что кто-то, кто лечился от зависимости, откажется рассказать социологу о своем опыте, чем тот, кто никогда не лечился от зависимости, сообщит, что лечился. Таким образом, для целей настоящего исследования предполагается, что более высокие оценки виктимизации отражают более точные ответы. ²

Новое исследование обнаружило убедительные доказательства того, что вопросы с принудительным выбором дают более точные результаты, чем списки с выбором всех подходящих вариантов. В ходе рандомизированного эксперимента участников сначала спросили: «Что из перечисленного ниже произошло лично с вами?» и были показаны шесть предметов. Позже в анкете их спросили: «Что из следующего, если таковое имело место, произошло с вами ИЛИ кем-то из вашей семьи?» и им показали другой набор из шести предметов. Каждый участник дискуссии был случайным образом назначен для получения обоих вопросов либо в виде списков «выберите все, что применимо», либо в виде батарей с принудительным выбором. Исследование показало, что оценки виктимизации были постоянно выше при использовании формата принудительного выбора по сравнению с выбором всех подходящих вариантов. Например, оценочная доля взрослых американцев, заявивших, что им лично было отказано в страховом покрытии со стороны медицинской страховой компании, составила 19 человек.% при использовании формата принудительного выбора по сравнению с 13% при использовании формата «выбрать все, что применимо». По оценкам, доля взрослых американцев, заявивших, что они или кто-то из их ближайших родственников потеряли работу и изо всех сил пытались найти другую, составила 63% при использовании формата принудительного выбора по сравнению с 51% при выборе всех подходящих вариантов. В среднем оценки виктимизации были на 8 процентных пунктов выше при использовании отдельных вопросов с принудительным выбором, чем при использовании контрольного списка.

Хотя формат вопроса явно влиял на уровень одобрения, он мало влиял на то, какие элементы были одобрены больше или меньше всего. Расположение наиболее и наименее одобренных элементов идентично или очень похоже в форматах принудительного выбора и выбора всех применимых, причем различия почти полностью находятся в пределах ошибки выборки. Это означает, что если интерес представляет только порядок ранжирования, подойдет любой формат.

Сопутствующий анализ с использованием архива ATP Центра показал, были ли эффекты первичности, тип ошибки измерения, больше для вопросов типа «выбрать все, что применимо», чем для вопросов с принудительным выбором. Эффекты первенства относятся к тенденции некоторых респондентов одобрять тот элемент, который встречается в верхней части списка чаще, чем элементы, расположенные ниже. Примером эффекта первичности в архивных данных ATP является ситуация, когда респондентам показывали список личных качеств и просили выбрать те, которые хорошо их описывают. Порядок, в котором перечислялись признаки, различался у респондентов. В общей сложности 57% респондентов одобрили любую черту, указанную первой, в то время как только 42% респондентов одобрили черту, указанную последней — эффект порядка 15 процентных пунктов. Другие исследователи изучали, являются ли такие эффекты порядка больше для контрольных списков, чем для форматов с принудительным выбором, и результаты были неоднозначными. ³

В 21 опросе ATP, проведенном в период с ноября 2015 г. по август 2018 г., средний эффект порядка, наблюдаемый для вопросов «выберите все, что применимо», составил 3 процентных пункта по сравнению с 0 процентными пунктами для вопросов с принудительным выбором. Хотя это говорит о том, что эффект первичности может быть немного больше для контрольных списков, чем для вопросов с принудительным выбором, в целом взаимосвязь слабая. Архивный анализ также является гораздо более предварительным, чем вышеупомянутый экспериментальный анализ, потому что в архивных данных форматы вопросов не проверялись напрямую. Есть несколько других возможных объяснений наблюдаемых различий, например, некоторые темы вопросов более склонны к эффектам первичности и с большей вероятностью будут выставлены как вопросы «выберите все, что применимо». Другим фактором может быть тенденция к тому, что вопросы типа «выберите все, что применимо» имеют больше вариантов ответов из-за большего пространства. Выводы исследования, касающиеся различий в элементах, которые были одобрены больше всего или меньше всего, и эффектов первичности, согласуются с предыдущими исследованиями.

Основываясь на результатах этого анализа, Pew Research Center принял политику использования формата принудительного выбора вместо списка «выбрать все, что применимо» в своих онлайн-опросах, когда это возможно.

Плюсы и минусы различных форматов вопросов

Вопросы типа «Выберите все, что применимо» имеют краткий формат и поэтому могут занимать только один экран. Напротив, батареи с принудительным выбором требуют отдельного вопроса для каждого элемента, что, скорее всего, потребует от респондентов либо прокрутки вниз, либо пролистывания нескольких экранов. Это увеличивает количество времени, которое требуется респондентам, чтобы ответить на эти вопросы, что может быть обременительным.

Однако в вопросах «выберите все, что применимо» респондентам предлагается рассмотреть все варианты одновременно. Точные ответы по каждому пункту в списке могут потребовать от респондентов достаточной дисциплины. Те, кому не хватает мотивации, могут «удовлетворить» или отреагировать только удовлетворительным образом, а не максимально точно. При представлении значительного набора вариантов респонденты могут выбрать только , некоторые , которые подходят, а не все.

Вопросы с принудительным выбором, как следует из их названия, вынуждают респондентов давать отдельные ответы на каждый вопрос, один за другим. Такой формат побуждает респондентов более глубоко обдумывать каждый вариант, тем более что они не жонглируют одновременно всеми остальными вариантами. Предыдущие исследования показали, что респонденты с большей вероятностью одобрят варианты, представленные им как принудительный выбор, по сравнению с теми же вариантами, представленными в виде «выберите все, что применимо».

Сторонники вопросов с принудительным выбором утверждают, что этот повышенный уровень одобрения является признаком того, что формат поощряет более глубокую когнитивную обработку или значимость. ⁴ Однако также возможно, что этот формат намного более восприимчив к предвзятости в ответах на согласие, когда респонденты склонны поддерживать любое утверждение, сделанное в вопросе, независимо от его содержания. ⁵ Если удовлетворение является более серьезной проблемой, то оценки, полученные с помощью форматов «выбрать все, что применимо», могут быть ниже, чем должны быть (и, следовательно, более неточными). Однако, если преобладает предвзятость молчаливого согласия, то оценки, полученные из форматов принудительного выбора, могут быть искусственно завышены.

Одним из проверенных способов борьбы с предвзятостью молчаливого согласия является использование более прямой, конструктивно-специфичной формулировки, в которой категории ответов адаптированы так, чтобы иметь прямое отношение к заданному вопросу. ⁶ Например, на вопрос о том, выполняли ли респонденты какие-либо действия в прошлом году, можно указать варианты ответа «Да, сделали это» и «Нет, не сделали этого», а не просто «Да и нет.» ⁷

Сообщения о нежелательных переживаниях выше с помощью вопросов с принудительным выбором, чем с выбором всех подходящих

Показатели одобрения — доля респондентов, ответивших «да» на вопрос, — как правило, выше в формате принудительного выбора, чем в формате «выбрать все, что применимо». Вызваны ли более высокие показатели одобрения вопросов с принудительным выбором тем, что респонденты отвечали на вопросы с большей осторожностью или с большим согласием?

Чтобы ответить на этот вопрос, Исследовательский центр Пью провел эксперимент на панели американских трендов. Участников дискуссии сначала спросили: «Что из перечисленного ниже произошло лично с вами?» и были показаны шесть предметов. Позже в анкете их спросили: «Что из следующего, если таковое имело место, произошло с вами ИЛИ кем-то из вашей семьи?» и им показали другой набор из шести предметов. Каждый участник дискуссии был случайным образом назначен для получения обоих вопросов либо в виде списков «выберите все, что применимо», либо в виде батарей с принудительным выбором. Участникам дискуссии, которым был показан список «выбрать все, что применимо», также была предоставлена ​​​​возможность установить флажок в нижней части списка, указав, что ни один из вариантов не применяется к ним. ⁸ Участникам дискуссии, которым были предоставлены батареи с принудительным выбором, также были даны специальные формулировки для вариантов ответов; то есть вместо «Да» и «Нет» участники дискуссии выбирали между «Да, случилось со мной [или моей семьей]» и «Нет, не случилось со мной [или моей семьей]».

По всем двенадцати элементам показатели одобрения были выше для формата с принудительным выбором, чем для формата «выбрать все, что применимо». Например, 19% респондентов с принудительным выбором заявили, что им лично было отказано в покрытии медицинской страховой компанией, по сравнению с 13% респондентов, выбравших все, что применимо. Точно так же 63% респондентов с принудительным выбором сказали, что они или кто-то из членов их семьи потеряли работу и изо всех сил пытались найти другую, по сравнению только с 51% респондентов, выбравших все, что подходит. Самая большая разница возникла, когда респондентов спросили, завышал ли респондентам завышенную плату механик или мастер по ремонту дома: 52% в условиях принудительного выбора сообщили об опыте по сравнению с 36% в условиях выбора всего, что применимо — разница в 16 процентных пунктов. .

Предвзятость ответа на вопрос о согласии возникает, когда проще или более желательно с социальной точки зрения одобрить вариант ответа, чем сделать наоборот. От респондентов в этом эксперименте не ожидалось, что они будут небрежно сообщать о потенциально смущающих или обескураживающих событиях, и не было никаких социальных стимулов для этого. ⁹   Факторы, которые обычно приводят к молчаливому согласию, должны в этом случае  препятствовать одобрению . Несмотря на это, процент одобрения принудительного выбора был выше, чем для выбора всего, что подходит, в среднем на 8 процентных пунктов по всем двенадцати пунктам. Это говорит нам о том, что оценки в формате принудительного выбора более точны, тогда как в формате контрольного списка респонденты чаще выбирают только 9 ответов.0053 некоторые , которые применяются.

Вопросы с принудительным выбором и выбором всех применимых вопросов дали аналогичные ранговые порядки одобрения

Для некоторых приложений наличие точных оценок для каждого отдельного элемента в батарее или списке менее важно, чем точное ранжирование того, какие элементы были от наиболее до наименее одобренных. Когда их спросили, какое из серии событий произошло с ними лично, формат вопроса не повлиял на порядок ранжирования. Переплата механиком или мастером по домашнему ремонту была наиболее часто упоминаемым событием как в условиях принудительного выбора, так и в условиях выбора всех подходящих условий, в то время как просьбы заплатить взятку были наименее зарегистрированным событием, с порядком ранжирования всех других предметов в между согласием независимо от формата вопроса.

События, произошедшие с респондентами или членами их семей, подача заявления о банкротстве и лечение от алкогольной или наркотической зависимости переключаются между двумя экспериментальными условиями. Тем не менее, переключение рейтинга, возможно, имеет в лучшем случае незначительные последствия: 27% сообщают о подаче заявления о банкротстве и 28% сообщают о лечении от наркомании по принципу «выберите все, что применимо», по сравнению с 37% и 32% соответственно по принудительному выбору.

Аналогичный эксперимент, проведенный ранее с American Trends Panel, на первый взгляд бросает вызов этому. В опросе ATP, проведенном с 14 по 28 сентября 2017 года среди 4867 взрослых американцев, респондентам было случайным образом назначено ответить на серию вопросов, используя формат принудительного выбора или выбора всех подходящих вариантов. Респондентов спрашивали, хорошо ли их описывает ряд личных черт. В этом эксперименте утверждение «честь и долг — мои основные ценности» занимало второе место в формате принудительного выбора и четвертое в формате «выберите все, что применимо». Для этого элемента между двумя условиями была зияющая разница в 34 процентных пункта (78% с принудительным выбором, 44% с выбором всех подходящих вариантов). Точная причина такой большой разницы неясна, хотя исследовательская литература указывает на то, что расплывчатые концепции отношения (например, в эксперименте с чертами) более восприимчивы к эффектам форматирования вопросов, чем конкретные поведенческие концепции (например, в эксперименте с виктимизацией, представленном ранее). .

Эффекты порядка, как правило, сходны между вопросами с принудительным выбором и вопросами «отметьте все, что применимо»

В этом исследовании также изучалось, различается ли размер эффектов первичности (тенденция выбирать первый из перечисленных вариантов) для принудительного выбора и выберите все применимые вопросы. В исследовании специально рассматривались эффекты первичности, а не другие типы эффектов порядка, поскольку все рассмотренные опросы проводились онлайн, а респонденты читали вопросы. (Социологи, проводящие опросы по телефону, напротив, склонны беспокоиться о недавность эффекты, потому что самый последний вариант, произнесенный интервьюером, легче всего вспомнить).

Эффект первенства — еще один признак того, что люди реагируют просто «достаточно хорошо». Респонденты, которые с большей вероятностью выберут любой элемент, расположенный ближе к началу списка, могут указывать на то, что они просто пробежали глазами или не прочитали этот элемент полностью. Стандартной практикой является рандомизация порядка, в котором респонденты видят элементы, чтобы свести к минимуму влияние эффектов первичности. Однако в некоторых приложениях элементы должны быть представлены в определенном порядке. Проблема заключается в том, что списки «выбрать все, что применимо», в частности, поощряют эффекты первенства.

Экспериментальные данные дают только неубедительные доказательства того, что это так. Исследователи рассчитали эффекты первенства как знаковую разницу в степени одобрения между тем, что респонденты видели на первой позиции, и тем, что они видели последним. Для рассмотренной выше батареи семейной виктимизации эффекты первенства были практически одинаковыми для форматов принудительного выбора и выбора всех подходящих (6,4 и 6,6 процентных пункта соответственно). То же самое можно сказать и о личном наборе виктимизации: формат принудительного выбора показал эффект первенства в 2,2 процентных пункта, а формат «выбрать все» показал эффект в 2,6 процентных пункта.

Однако для батареи личных качеств формат «выбрать все, что применимо» дал большой эффект первенства в 14,4 балла, в то время как формат принудительного выбора не показал эффекта первенства (-1,4 процентных пункта). Из того же опроса группа, в которой респондентов спрашивали, какие из ряда политических качеств описывают их хорошо — например, защитник окружающей среды или сторонник прав лесбиянок, геев, бисексуалов и трансгендеров (ЛГБТ), — дала эффект первенства, близкий к ноль для обоих форматов вопросов.