9.2. Планирование исследования, определение и тестирование гипотез

В этом параграфе расскажем, из каких шагов состоит планирование эксперимента и выбор респондентов.

В качестве примера понаблюдаем за двумя группами людей с диагностированной депрессией, которые посещают и не посещают психотерапевта.

ПодготовкаПодготовка

Самый первый шаг в любом эксперименте — оценка базовых ресурсов:

• время;
• деньги;
• доступ к респондентам;
• опыт исследователя.

От них будет зависеть дизайн эксперимента. Прозвучит банально, но сказать об этом стоит: ресурсы должны соответствовать размаху идеи. Например, не стоит делать медицинское исследование в масштабах всей страны, если у вас бюджет всего 100 тысяч рублей. А вот маркетинговое исследование с таким бюджетом сделать можно.

После оценки ресурсов нам нужно точно определить цель эксперимента, а именно — сформулировать его главный вопрос. В нашем эксперименте с посещающими и не посещающими психотерапию людьми главный вопрос будет звучать так: «Каким образом посещение психотерапевта влияет на самочувствие людей с депрессией?». Мы ожидаем ответ с направлением («улучшает», «ухудшает», «не влияет») и количественным показателем (если изменение происходит, то в каком объёме?).

Затем нам нужно выбрать целевые переменные и операционализировать их. Целевыми переменными в данном случае будут «посещение психотерапевта» и «самочувствие людей с депрессией». Здесь «самочувствие людей с депрессией» — это зависимая переменная. «Посещение психотерапевта» — независимая, так как она оказывает влияние на зависимую.

Теперь нам нужно определить, как именно мы их трактуем. Грубо говоря, это как в начале договора на аренду жилья даются определения терминов — кто именно считается нанимателем, кто именно арендодателем и так далее. Для эксперимента это важно, поскольку даёт нам уверенность, что мы говорим об одном и том же и можем измерить эти явления.

Например:

• посещение психотерапевта — не менее года регулярных визитов к специалисту как минимум раз в две недели;
• самочувствие людей с депрессией — результат заполнения опросника Бека.

Далее нам необходимо составить список факторов, которые могут потенциально влиять на наши целевые переменные — чтобы учесть их при разделении респондентов на контрольную и экспериментальную группы.

Например:

• место жительства;
• возраст;
• уровень образования;
• пол;
• и так далее.

Здесь важна умеренность. Понятное дело, что мы можем включить почти любой фактор, вроде «любит танцевать бачату» и «не любит сельдерей». Но так делать не нужно: чем больше факторов, тем больше разнообразных респондентов нам придётся включить в эксперимент. И тогда попробуй найти 50-летнего любителя бачаты из Таганрога с высшим образованием.

Мы не утверждаем, что их нет — просто это будет трудно.

Как подобрать респондентовКак подобрать респондентов

Как только список факторов готов, мы можем собрать по нему список респондентов. Тут может возникнуть вопрос — а сколько людей набирать? Однозначного ответа нет. Мы можем посоветовать три вещи:

1. Соблюдайте разумный баланс между достаточностью информации и финансовыми/трудовыми затратами.
2. Посмотрите, как организовывали эксперименты в вашей области другие люди.
3. Проведите пилотный эксперимент.

Также добавим, что есть два надёжных способа сформировать репрезентативную выборку респондентов:

• случайное распределение;
• квотирование.

Случайное распределениеСлучайное распределение

Если мы будем отбирать участников случайным образом, то их индивидуальные особенности, согласно статистическим законам, будут равномерно распределены и не исказят результаты. То есть в экспериментальную и контрольную группы попадут люди разного гендера, возраста, уровня образования и дохода, региона происхождения и так далее, что в теории позволит минимизировать смещения.

Почему в теории? Дело в том, что полностью случайный отбор может быть невозможен из-за существующих ограничений. Если мы изучаем посетителей психотерапевта в городе N и знаем стоимость этой услуги, мы сразу можем понять, что в экспериментальную группу не попадут люди с доходом ниже определённого уровня. Доход связан с образованием, происхождением, сферой занятости, образом жизни — словом, наша выборка будет смещена в любом случае, несмотря на рандомизацию. Это называется систематической ошибкой отбора.

🔍 Систематическая ошибка отбора — наличие неучтённых факторов из-за которых распределение наблюдений между экспериментальной и контрольной группами оказалось неслучайным.

Систематическая ошибка отбора приводит к тому, что одна из групп недопредставлена в эксперименте. Чтобы сократить отрыв, можно разделить участников контрольной и экспериментальной групп на дополнительные подгруппы (блоки). Для разных блоков (например, мужского и женского гендеров) будут проводиться отдельные вычисления, что снизит ошибку эксперимента.

КвотированиеКвотирование

В этом случае мы подбираем участников по квотам, ориентируясь на генеральную совокупность. Ключевая идея — подобрать равное количество участников по факторам, которые мы определили выше. Например:

• 50% мужчин, 50% женщин;
• 33% — жители городов с населением > 1 млн человек, 33% из городов с населением от 100 тысяч до 1 млн человек, 33% из городов с населением от 50 тысяч до 100 тысяч человек;
• 50% — с высшим образованием, 50% — без него;
• 25% — в возрасте 18-25 лет, 25% — в возрасте 25-30 лет, 25% — в возрасте 30-35 лет, 25% — в возрасте старше 30 лет.

С таким распределением вы сможете подобрать респондентов так, чтобы получить достоверные ответы. Тут также есть два способа:

• Составить таблицу сопряжённости — то есть подобрать квоту из расчёта взаимовлияния этих факторов друг на друга. О таблицах сопряжённости мы говорили в параграфе 4.2.
  Пример таблицы сопряжённости для двух факторов (высшее образование и размер города) и выборки в 996 человек:

Сопутствующий фактор	C высшим образованием	Без высшего образования
Жители больших городов	166	166
Жители средних городов	166	166
Жители малых городов	166	166

• Не учитывать взаимовлияние факторов — то есть, условно, опросить 500 женщин и 500 мужчин, из которых — 330 жителей из городов с населением >1 млн человек, 330 жителей городов с населением от 100 тысяч до 1 млн человек и так далее. Такой способ чуть менее точен, но он проще — главное выдерживать общее распределение в отдельных группах.

От чего зависит — какой способ подбора респондентов выбратьОт чего зависит — какой способ подбора респондентов выбрать

Всегда выбирайте случайное распределение.

Но если только вы проводите эксперимент, в котором вам важно понаблюдать за узкой целевой аудиторией, выбирайте квотирование.

Примеры такой аудитории:

• Зрители телеканала «Матч-ТВ» (относительно всех телезрителей).
• Фронтенд-разработчики с опытом работы >2 лет (относительно всех программистов).
• Жители Хабаровска (относительно жителей всей страны).

В противном случае голос этих респондентов потеряется среди «более широкой» аудитории.

Ещё одна причина выбирать квотирование — чтобы застраховаться от самоотбора. Это ситуация, когда одна группа людей участвует в исследовании охотнее других, что влияет на результаты. Пример — замеры предпочтений телезрителей. Для этого по-прежнему используют специальное устройство, а участникам платят вознаграждение. Соответственно, в замерах охотнее принимают участие люди с достатком ниже среднего — и замеры отражают больше их вкусы, чем людей с очень высокими доходами.

Мы также применим квотирование — чтобы случайно не набрать в эксперимент только жителей Москвы и Петербурга.

Что дальшеЧто дальше

Далее мы делим наших участников на контрольную и экспериментальную группы. Важно сделать так, чтобы они не знали, в какой они группе — иначе есть шанс, что они будут вести себя иначе, чем «в естественной среде». Поэтому ничего им не говорите и не давайте самим выбирать группу. Это будет ваша маленькая тайна.

Далее можно переходить непосредственно к самому эксперименту. Как его провести — зависит от цели вашего исследования. Но для вдохновения вот описания нескольких хороших экспериментов:

• «Правда ли, что Эмили и Грегу проще найти работу, чем Лакише и Джамалю?», — полевой эксперимент о дискриминации на рынке труда.
• «Re-revisiting the marshmallow test: A direct comparison of studies by Shoda, Mischel, and Peake (1990) and Watts, Duncan, and Quan (2018)» — подробный разбор зефирного эксперимента
• «Political Corruption and Social Trust: An Experimental Approach» — и ещё один пример

Наш эксперимент будет заключаться в том, что мы проведём серию интервью с респондентами из экспериментальной и контрольной группы, задавая им одинаковые вопросы из опросника в течение года. Нюанс в том, что люди из экспериментальной группы ходят к психотерапевту, а из контрольной — нет.

Для эксперимента потребуется опросник. Мы используем готовый — тот самый опросник Бека. Если для вашего эксперимента готовых опросников нет, то его придётся составить самостоятельно, взяв за основу шкалу зависимой переменной.

В нашем эксперименте мы ежемесячно будем связываться с респондентами из обеих групп и просить их заполнить опросник Бека, фиксируя результат. А в конце года обработаем данные и подведём итоги по двум группам. Забегая вперёд скажем, что тут потребуется T-тест из параграфа 3.2.

Важные нюансы напоследокВажные нюансы напоследок

Тут мы собрали неочевидные вещи, о которых стоит помнить при проведении экспериментов.

1. Важно правильно оценить то, насколько исследуемые объекты поддаются управлению и контролю. Легко исследовать, например, комнатные растения: у них нет выбора. А люди (особенно в продолжительных экспериментах), склонны терять интерес и выбывать. В этом случае мы можем:

• набрать респондентов с запасом;
• не обращать на проблему внимания;
• при подведении итогов использовать промежуточные точки, где было больше людей (например, взять измерения за полгода вместо года, если до конца никто не дошёл).

2. Не стоит набирать респондентов только через интернет-опросы. Потому что в этом случае вы не охватите людей, которые не пользуются интернетом или не проходят опросы в интернете.
3. Не стоит просить респондентов пригласить для участия в эксперименте своих друзей. Обычно люди дружат с людьми, похожими на себя, — и это также может исказить результаты эксперимента.
4. Если вы составляете опросник самостоятельно, то применяйте принцип «Один вопрос — одна переменная». Иначе вам будет тяжело обрабатывать результаты, плюс респондент может растеряться и ответить невпопад.

Вот и всё. Теперь вы знаете, как правильно планировать эксперимент, и какие трудности могут тут возникнуть.

В следующем параграфе мы познакомимся с новыми инструментами в Python — они позволят наглядно представить результаты экспериментов.