Важной задачей маркетинговой науки является определение возрастания расходов на рекламу: количество клиентов, которые увидели рекламу и сделали заказ, сколько дополнительных заказов было вызвано рекламой и сколько могло бы быть произошло независимо?

Самый простой способ измерить это — запустить A/B-тестирование: случайным образом назначить пользователям либо видеть рекламу, либо нет, и измерить разницу между двумя группами в ходе эксперимента.

Но есть несколько причин, по которым использование A/B-тестов для измерения инкрементальности может быть неоптимальным:

  1. Недавнее обновление Apple для iOS 14, требующее от пользователей согласия на отслеживание, а не отказа от него, поставило под сомнение способность издателей рекламы разделять контрольные группы при проведении тестов подъема. Это может привести к ошибочным экспериментам и недостоверным значениям приращения.
  2. Невозможно протестировать офлайн-рекламу, такую ​​как рекламные щиты или телевидение, с помощью A/B-тестирования, поскольку нет возможности разделить пользователей на тестовую и контрольную группы (если только вы не попытаетесь завязать глаза каждому второму человеку, проходящему мимо вашего рекламного щита).
  3. Более сложные планы экспериментов, включающие несколько маркетинговых каналов, потребуют межканальной координации, чтобы обеспечить сохранение общей контрольной группы. На практике это может быть сложно.

По этим причинам альтернативой проведению рандомизированного контрольного испытания, такого как A/B-тест, является использование геотеста.

В геотесте рынок делится на более мелкие географические регионы, называемые географическими регионами, при этом каждый географический регион назначается либо экспериментальной, либо контрольной группе, чтобы максимизировать сопоставимость групп. Пользователи в лечебных регионах видят рекламу, а пользователи в контрольных — нет.

Географические регионы часто неоднородны, поэтому их нельзя сравнивать напрямую. Вместо этого статистическая модель используется для создания синтетического контроля для экспериментальной группы с использованием контрольной группы в качестве первичной ковариаты (см. [1], [2], [3], [4] для получения дополнительной информации. фон).

Модель обучается в период предтестового обучения перед введением лечения, когда две группы находятся в исходном состоянии. Затем обученная модель используется для прогнозирования того, как группа лечения повела бы себя в период тестирования в отсутствие лечения. Это называется контрфактика. Таким образом, добавочный эффект лечения представляет собой разницу между наблюдаемой производительностью в группе лечения и контрфактической.

Проблемы геотестирования

Геотесты могут решить многие проблемы, связанные с A/B-тестированием инкрементальности рекламы, но у них есть свои проблемы:

  1. Они отнимают много времени. Помимо тестового периода, в течение которого применяется обработка, требуется период предварительного тестирования, чтобы соответствовать модели.
  2. Области «неровные». Найти контрольные области, которые действуют как хорошие аппроксиматоры обрабатываемых областей, непросто. Плохо согласованные регионы могут потребовать более длительных экспериментов для достижения достаточной мощности теста.
  3. Границы регионов размыты. Пользователи могут перемещаться между контрольной и тестовой областями во время эксперимента, например. проезд на работу и с работы. Это может привести к тому, что пользователи из контрольных регионов будут получать рекламу.

В этом посте мы сосредоточимся на двух шагах, которые мы предприняли в ASOS, чтобы сократить время, необходимое для запуска геотестов.

1. Повторное использование обучающих данных

Один из способов сократить время между геотестами — использовать данные до и после эксперимента, чтобы подогнать модель. Использование данных после эксперимента дает нам второе прочтение исходного поведения двух групп и меняет наши прогнозы с экстраполяций на интерполяции.

Планирование экспериментов таким образом означает, что каждый базовый период используется дважды — один раз в качестве данных до эксперимента и один раз в качестве данных после эксперимента, что вдвое сокращает время, необходимое между последовательными экспериментами.

Это также обеспечивает лучшие прогнозы. Мы исследовали влияние включения данных постэкспериментального обучения, выполнив A/A-тестирование на большом количестве рынков и периодов времени, и наблюдали снижение средней абсолютной погрешности в процентах (MAPE) на 20 % даже при контроле общего количества точек в тесте. обучающие данные.

2. Тесты с несколькими ячейками открывают дополнительные возможности тестирования

Еще один способ сократить время, необходимое для проведения геоэкспериментов, — запустить многоячеечные тесты, применяя две или более обработки к разным географическим регионам, имеющим общую контрольную группу.

Есть несколько способов, которыми многоячеечные тесты могут повысить ценность:

  1. Одновременная проверка независимых гипотез. Использование экспериментов с несколькими ячейками для параллельной проверки различных гипотез означает, что мы можем выполнять итерации быстрее, чем их последовательное тестирование.
  2. Определение оптимального уровня расходов. Мы можем оптимизировать расходы на рекламу, сравнивая несколько разных уровней и выявляя, какой из них обеспечивает наибольшую отдачу от инвестиций.
  3. Эффекты взаимодействия между каналами. Возможно, нам будет интересно оценить каннибализацию продаж в результате показа рекламы как в Google, так и в Facebook. Например. мы могли бы провести эксперимент с несколькими ячейками с четырьмя группами, чтобы проверить это: без рекламы, только реклама Google, только реклама Facebook, а также реклама Google и Facebook.

Мы включили эту возможность в ASOS, изменив наш процесс географического назначения, чтобы мы могли оптимизировать несколько групп лечения одновременно.

Для экспериментов с одной ячейкой мы реализовали алгоритм подъема в гору в [5], который жадно ищет оптимальное назначение гео, последовательно добавляя регионы в группу лечения, а затем оптимизируя контрольную группу для данной предложенной группы лечения. Мы распространили это на случай с несколькими ячейками, изменив шаг добавления гео.

Вместо того, чтобы добавлять гео в одну группу процедур, мы перебираем группы процедур и добавляем в каждую наиболее подходящую гео. Наконец, мы создаем нашу контрольную группу таким образом, чтобы она совместно коррелировала с каждой из экспериментальных групп. Затем этот процесс повторяется до тех пор, пока не останется доступных гео.

Проведение экспериментов с несколькими клетками таким образом позволило нам значительно расширить возможности тестирования в ASOS.

Возрастающее значение геотестов

По мере того, как индустрия переходит к более ориентированной на конфиденциальность модели онлайн-рекламы (например, с решением Google отказаться от использования файлов cookie в 2023 году), эксперименты по сохранению конфиденциальности, такие как геотесты, приобретают все большее значение в измерении инкрементальности маркетинга. Несмотря на то, что их разработка может быть сложной, а их выполнение может занимать много времени, включение данных после пробного обучения и запуск тестов с несколькими ячейками — это способы сократить эти затраты.

Мы нанимаем! Направляйтесь здесь, чтобы просмотреть и подать заявку на наши открытые роли.

Конор Маккейб — специалист по машинному обучению в ASOS. В свободное время он любит бегать и слушать исторические подкасты.