Лого MyTarget
Урок 11

A/B-тестирование
в таргетированной рекламе


При запуске рекламной кампании сложно прогнозировать, какие таргетинги, форматы и креативы принесут наиболее высокие результаты. Чтобы сравнить идеи и выбрать из них наиболее перспективные, используют специальные методы проверки.
Один из них — A/B-тестирование. Оно помогает определить параметры рекламной кампании, которые приведут к лучшим результатам.

Что такое A/B-тестирование и какие задачи бизнеса решает

A/B-тестирование (сплит-тестирование) — это метод эксперимента для сравнения элементов рекламной кампании (креативы, форматы, таргетинги и др.) для определения наиболее конверсионного варианта и его масштабирования в дальшнейшем.
В myTarget есть инструмент для A/B-тестирования, который помогает рекламодателям сравнить различные параметры рекламы (креативы, модели оплаты, цены и др.) внутри одной целевой аудитории. Объявления демонстрируют непересекающимся аудиториям, поэтому результаты эксперимента получаются объективными. Если сравнивать эффективность отдельных настроек рекламы с помощью двух активных кампаний с одним отличающимся признаком (например, объявлением), то кампании будут пересекаться по целевой аудитории и влиять друг на друга.

Пример тестирования в таргетинге

Вы хотите запустить рекламную кампанию по продвижению интернет-магазина, но не знаете, какой креатив будет максимально привлекательным для пользователей. Проверить это поможет A/B-тестирование.

Для проверки четырех креативов в каждой из четырех кампаний в настройках блока «A/B-тест» укажите первые две части аудитории (1, 2), а в каждой последующей — две другие части (3 и 4, 5 и 6, 7 и 8, 9 и 10). Так вы сможете показать четыре креатива разным пользователям из одной целевой аудитории.

Далее расскажем, как провести A/B-тестирование, какие параметры можно проверить и когда без тестов не обойтись.

Зачем нужен А/В-тест

Если объявление создано без учета интересов целевой аудитории, пользователи не обратят не него внимания. A/B-тестирование помогает выявить и исправить недоработки рекламной кампании. Часто они оказываются незначительными: неподходящее изображение, неправильный заголовок, слишком бледная цветовая гамма.

А/B-тесты помогают:
  • повысить конверсию без затрат на привлечение нового трафика;
  • снизить показатель отказов;
  • понять, какие креативы наиболее эффективны, при одинаковых настройках целевой аудитории и ставках;
  • сравнить эффективность моделей оплаты — CPC, oCPM, CPM — для решения задач бизнеса;
  • проверить, изменятся ли результаты кампании, если перевести распределение бюджета с быстрого на равномерный или выбрать другую аукционную стратегию.

A/B-тесты проводят, когда рекламодатель:
  • имеет большую целевую аудиторию;
  • располагает достаточным количеством времени и ресурсов для настройки и проведения эксперимента;
  • хочет получить объективные данные о качестве изменений рекламной кампании;
  • планирует принять важное решение относительно стратегии продвижения продукта.

Какие параметры можно проверять

С помощью A/B-тестирования проверяют практически любые параметры. Все зависит от цели проверки. В одних случаях нужно найти наиболее эффективные креативы, в других — сравнить разные модели оплаты, в третьих — найти платежеспособную аудиторию.

Обычно специалисты сначала изучают элементы рекламной кампании и определяют, какой из них улучшит показатели. Если нужно проверить несколько элементов, проводят разные эксперименты, иначе будет сложно понять, что повлияло на результаты.

Тестировать можно следующие параметры:

  • Картинки. Люди лучше реагируют на фотографии, чем на графику. Хорошо работают снимки продукции крупным планом. Если речь идет об одежде или обуви, покажите, как они смотрятся на человеке.

  • Заголовки. Некоторые заголовки привлекают, другие отталкивают, поэтому добавьте сразу несколько вариантов. Можно попробовать и полное отсутствие заголовка.

  • Тексты. Сравните как минимум два варианта текста — официальный и неформальный. Цены и скидки везде должны быть одинаковыми, иначе результат будет зависеть не от контента.

  • Геоданные. В Москве и Санкт-Петербурге реклама дороже, поэтому выделите их в отдельный сегмент. Обратите внимание на регион, из которого заказывают чаще всего, — для него можно настроить отдельную кампанию.

  • Возраст. Если ваш продукт интересен разновозрастной аудитории, разделите ее на сегменты и проводите отдельные сплит-тесты для каждого сегмента.

  • Пол. Мужчинам и женщинам нравится разная реклама. Разделите аудиторию на две группы по гендерному признаку и тестируйте креативы отдельно.

  • Интересы. Подумайте, чем могут интересоваться пользователи вашего продукта, и протестируйте гипотезы.

Можно проверять и другие параметры, но это основные, которые исследует большинство специалистов.
Пример креатива для сплит-тестирования
Пример креатива для сплит-тестирования. Разница между объявлениями — в наличии кнопки для перехода на сайт

Инструкция по подготовке и запуску A/B-теста

1
Постановка цели. Тестирование нужно подстроить под цели рекламной кампании. Например, увеличение объема продаж, повышение узнаваемости бренда, привлечение целевой аудитории на сайт.
2
Выбор метрики. Она покажет эффективность рекламной кампании. Для одного теста выбирают одну метрику: количество переходов по рекламе, стоимость установки приложения, уровень конверсии, стоимость целевого действия.
3
Выбор параметра для тестирования. В каждом эксперименте оценивают одно изменение относительно базовой кампании. Это может быть текст, креатив, иллюстрация, модель оплаты, целевая аудитория.
4
Оценка объема аудитории. Проводите тестирование на отдельном сегменте аудитории. Если задействовать всех, при негативном результате могут возникнуть большие убытки. Учитывайте, что в каждом сегменте количество пользователей обычно разное.
5
Создание креативов. В зависимости от выбранного параметра создают разные варианты креативов. Например, мужчинам показывают одно объявление, а женщинам — другое. Стоит учитывать и особенности устройств, на которых пользователи увидят рекламу.
6
Проведение эксперимента. Следите за ходом тестирования. Ни в коем случае не прерывайте эксперимент и не вносите изменения в процессе.
7
Анализ результатов. Если эксперимент не дал результатов, менять кампанию нет смысла — используйте настройки базовой РК или тестируйте новую гипотезу. Если эффект положительный, внесите изменения для всей целевой аудитории. При отрицательном результате вернитесь к настройкам базовой кампании и поработайте с другими параметрами. Учитывайте случайные факторы, которые могли исказить результаты эксперимента.
Сроки тестирования отличаются в зависимости от параметров и бизнес-циклов. За сутки вряд ли можно получить точные результаты, но и растягивать тест на месяц тоже не нужно. Обычно, чтобы подтвердить или опровергнуть гипотезу, достаточно 1–2 недель. С другой стороны, если стандартный цикл от первого касания с потребителем до целевого действия составляет 20 дней, то и тестирование должно проводиться как минимум в течение этого срока.

Как провести А/B-тест в myTarget

1
После завершения подготовительных шагов перейдите во вкладку «Кампании» и нажмите «Создать кампанию».
2
Выберите таргетинги и другие настройки целевой аудитории.
3
Настройте параметры тестирования в разделе «Детальная настройка аудитории».
Пример креатива для сплит-тестирования
4
Во всех кампаниях выберите непересекающиеся части аудиторий. В интерфейсе потенциальный охват можно условно разделить на десять частей – по 10% аудитории. По умолчанию в кампании выбирается 100% аудитории.
Пример креатива для сплит-тестирования
5
Запустите кампании.

Основные ошибки

  • Не давать названия кампаниям, участвующим в тесте. Это может затруднить оценку результатов продвижения. Добавляйте одинаковые слова в названия кампаний, которые участвуют в одном и том же A/B-тесте, — так будет проще фильтровать их на дашборде при анализе результатов. Обратите внимание, что названия не должны быть полностью одинаковыми, чтобы вы могли различать тесты.

  • Проводить несколько A/B-тестов на одну и ту же аудиторию. Например, вы проводите одновременно A/B-test_1 и A/B-test_2, в каждом из которых по две кампании. Объявления из A/B-test_1 могут оказывать влияние на результаты кампании из A/B-test_2, если они нацелены на одну и ту же аудиторию.

  • Менять сразу несколько параметров. В этом случае вы не сможете сделать точные выводы по результатам эксперимента, поскольку не будете знать, какое изменение и в какой степени повлияло на ход кампании. Если хотите протестировать несколько параметров, делайте это поэтапно.

  • Слишком часто проводить тесты. Это приводит к искажению результатов, особенно если эксперимент был краткосрочным и на небольшой аудитории.

  • Менять настройки кампании в ходе тестирования. Даже незначительные изменения могут повлиять на результаты эксперимента.

  • Преждевременно останавливать эксперимент. Результаты тестирования могут кардинально измениться в любой момент. Завершив работы раньше срока, вы рискуете получить данные, которые не принесут пользы бизнесу.

Оценка результатов

После завершения A/B-теста убедитесь, что получили достаточное количество данных, а наблюдаемая разница в результатах не случайна. Для этого сделайте оценку статистической значимости:

  1. Рассчитайте коэффициент конверсии (CR) для всех кампаний в эксперименте. Для этого разделите количество целевых действий, полученных в результате каждой из кампаний, на количество просмотров объявления.

  2. Вычислите доверительный интервал для каждого коэффициента конверсии при уровне доверия 95% (p-value=0.05). Для этого воспользуйтесь калькулятором.

  3. Если интервалы в кампаниях пересекаются, значимой разницы в результатах А/B-тестирования нет. И наоборот.

Приведем пример:
Дано:
Результаты кампании 1:
90 конверсий
2000 показов
Результаты кампании 2:
110 конверсий
2000 показов

Вопрос: Можно ли сказать, что вторая кампания эффективнее, чем первая?

Решение:
1. Рассчитаем CR для двух кампаний.
Кампания 1. CR = 90/2000 = 4,5%.
Кампания 2. CR = 110/2000 = 5,5%.
2. Вычислим доверительный интервал, воспользовавшись калькулятором.
Кампания 1. Истинное значение конверсии будет находиться в интервале 3,7% – 5,5%, уровень доверия 95%.
Кампания 2. Истинное значение в интервале 4,6% – 6,6%, уровень доверия — 95%.
3. Сравним результаты.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.

Главное

  • A/B-тестирование позволяет сравнить разные элементы рекламной кампании и оценить, какой из них обеспечивает объявлениям максимальную эффективность.

  • Тестировать можно тексты, заголовки, изображения на объявлениях, а также параметры целевой аудитории: географию, возраст, пол, интересы.

  • Важно вносить в кампанию только одно изменение и настраивать показы на непересекающиеся аудитории, иначе результаты эксперимента будут искажены.

  • При проведении сплит-тестирования определяют цель, выбирают параметр, который будут менять, и метрику, по которой рассчитают результаты, выдвигают гипотезу, составляют креативы и запускают показ рекламы.

  • Чтобы оценить результаты эксперимента, рассчитывают конверсии для всех кампаний в тесте и определяют доверительные интервалы при уровне доверия 95%. Если интервалы пересекаются, значит ощутимой разницы в результатах нет.