A/B-тестирование
в таргетированной рекламе

A/B-тестирование (сплит-тестирование) — это метод эксперимента для сравнения элементов рекламной кампании (креативы, форматы, таргетинги и др.) для определения наиболее конверсионного варианта и его масштабирования в дальшнейшем.

В myTarget есть инструмент для A/B-тестирования, который помогает рекламодателям сравнить различные параметры рекламы (креативы, модели оплаты, цены и др.) внутри одной целевой аудитории. Объявления демонстрируют непересекающимся аудиториям, поэтому результаты эксперимента получаются объективными. Если сравнивать эффективность отдельных настроек рекламы с помощью двух активных кампаний с одним отличающимся признаком (например, объявлением), то кампании будут пересекаться по целевой аудитории и влиять друг на друга.

Вы хотите запустить рекламную кампанию по продвижению интернет-магазина, но не знаете, какой креатив будет максимально привлекательным для пользователей. Проверить это поможет A/B-тестирование.

Для проверки четырех креативов в каждой из четырех кампаний в настройках блока «A/B-тест» укажите первые две части аудитории (1, 2), а в каждой последующей — две другие части (3 и 4, 5 и 6, 7 и 8, 9 и 10). Так вы сможете показать четыре креатива разным пользователям из одной целевой аудитории.

Далее расскажем, как провести A/B-тестирование, какие параметры можно проверить и когда без тестов не обойтись.

Если объявление создано без учета интересов целевой аудитории, пользователи не обратят не него внимания. A/B-тестирование помогает выявить и исправить недоработки рекламной кампании. Часто они оказываются незначительными: неподходящее изображение, неправильный заголовок, слишком бледная цветовая гамма.

А/B-тесты помогают:

• повысить конверсию без затрат на привлечение нового трафика;
  
• снизить показатель отказов;
  
• понять, какие креативы наиболее эффективны, при одинаковых настройках целевой аудитории и ставках;
  
• сравнить эффективность моделей оплаты — CPC, oCPM, CPM — для решения задач бизнеса;
  
• проверить, изменятся ли результаты кампании, если перевести распределение бюджета с быстрого на равномерный или выбрать другую аукционную стратегию.
  
  

A/B-тесты проводят, когда рекламодатель:

• имеет большую целевую аудиторию;
  
• располагает достаточным количеством времени и ресурсов для настройки и проведения эксперимента;
  
• хочет получить объективные данные о качестве изменений рекламной кампании;
  
• планирует принять важное решение относительно стратегии продвижения продукта.
  

С помощью A/B-тестирования проверяют практически любые параметры. Все зависит от цели проверки. В одних случаях нужно найти наиболее эффективные креативы, в других — сравнить разные модели оплаты, в третьих — найти платежеспособную аудиторию.

Обычно специалисты сначала изучают элементы рекламной кампании и определяют, какой из них улучшит показатели. Если нужно проверить несколько элементов, проводят разные эксперименты, иначе будет сложно понять, что повлияло на результаты.

Тестировать можно следующие параметры:

• Картинки. Люди лучше реагируют на фотографии, чем на графику. Хорошо работают снимки продукции крупным планом. Если речь идет об одежде или обуви, покажите, как они смотрятся на человеке.
  
  
• Заголовки. Некоторые заголовки привлекают, другие отталкивают, поэтому добавьте сразу несколько вариантов. Можно попробовать и полное отсутствие заголовка.
  
  
• Тексты. Сравните как минимум два варианта текста — официальный и неформальный. Цены и скидки везде должны быть одинаковыми, иначе результат будет зависеть не от контента.
  
  
• Геоданные. В Москве и Санкт-Петербурге реклама дороже, поэтому выделите их в отдельный сегмент. Обратите внимание на регион, из которого заказывают чаще всего, — для него можно настроить отдельную кампанию.
  
  
• Возраст. Если ваш продукт интересен разновозрастной аудитории, разделите ее на сегменты и проводите отдельные сплит-тесты для каждого сегмента.
  
  
• Пол. Мужчинам и женщинам нравится разная реклама. Разделите аудиторию на две группы по гендерному признаку и тестируйте креативы отдельно.
  
  
• Интересы. Подумайте, чем могут интересоваться пользователи вашего продукта, и протестируйте гипотезы.
  
  

Можно проверять и другие параметры, но это основные, которые исследует большинство специалистов.

Сроки тестирования отличаются в зависимости от параметров и бизнес-циклов. За сутки вряд ли можно получить точные результаты, но и растягивать тест на месяц тоже не нужно. Обычно, чтобы подтвердить или опровергнуть гипотезу, достаточно 1–2 недель. С другой стороны, если стандартный цикл от первого касания с потребителем до целевого действия составляет 20 дней, то и тестирование должно проводиться как минимум в течение этого срока.

После завершения A/B-теста убедитесь, что получили достаточное количество данных, а наблюдаемая разница в результатах не случайна. Для этого сделайте оценку статистической значимости:

1. Рассчитайте коэффициент конверсии (CR) для всех кампаний в эксперименте. Для этого разделите количество целевых действий, полученных в результате каждой из кампаний, на количество просмотров объявления.
   
   
2. Вычислите доверительный интервал для каждого коэффициента конверсии при уровне доверия 95% (p-value=0.05). Для этого воспользуйтесь калькулятором.
   
   
3. Если интервалы в кампаниях пересекаются, значимой разницы в результатах А/B-тестирования нет. И наоборот.
   
   

Приведем пример:

Дано:
Результаты кампании 1:
90 конверсий
2000 показов
Результаты кампании 2:
110 конверсий
2000 показов

Вопрос: Можно ли сказать, что вторая кампания эффективнее, чем первая?

Решение:
1. Рассчитаем CR для двух кампаний.
Кампания 1. CR = 90/2000 = 4,5%.
Кампания 2. CR = 110/2000 = 5,5%.
2. Вычислим доверительный интервал, воспользовавшись калькулятором.
Кампания 1. Истинное значение конверсии будет находиться в интервале 3,7% – 5,5%, уровень доверия 95%.
Кампания 2. Истинное значение в интервале 4,6% – 6,6%, уровень доверия — 95%.
3. Сравним результаты.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.