Как протестировать новые инструменты
в таргетированной рекламе?

Тестирование — универсальный инструмент оптимизации чего угодно. Вы можете тестировать не только новые инструменты, но и, к примеру, самый быстрый способ добраться до работы. Однако для любого тестирования нужно определить:

1. Переменную — показатель, результат по которому мы хотим достичь. Для нас это может быть СРА, СРО, CPL, объемы конверсий, в случае работы с e-commerce — ДРР и ROI.
2. Фактор — показатель, влияющий на переменную. В таргетированной рекламе факторами могут быть аудитория, формат и креатив.
3. Гипотезу — идею и логическое обоснование теста. Для любого запуска нужно предположение о его эффективности.

После того как мы выбрали фактор и переменную и определились с гипотезой, необходимо выбрать объемы выборки — тот объем трафика, который позволит нам сделать выводы по тесту. Для этих целей принято использовать тестовую сумму, равную двум стоимостям конверсий, либо взять обратную величину от конверсии и умножить на два. К примеру, если плановый СРА проекта равен 400 рублей, а конверсия — 0,5%, то для теста достаточно потратить в каждой кампании 800 рублей или получить 400 кликов.

Помимо тестовой суммы на кампанию, важно определить и тестовый бюджет. Для текущих проектов доля на тесты может составлять до 10%, а для новых проектов — до 30%. Эта цифра может меняться (и меняется) в зависимости от продукта, бюджета и от методики тестирования, принятой в агентстве.

Соотношение тестового бюджета и суммы на одну тестовую кампанию даст нам предельное число кампаний, которые мы сможем запустить.

Далее необходимо определиться с моделью тестирования. Мы выделяем три модели.

Она подразумевает, что для каждых факторов мы тестируем их пересечения, а потому число кампаний будет равно произведению значений факторов. К примеру, если мы хотим протестировать пол (мужской, женский) и геотаргетинг (Москва, Санкт-Петербург), то получим кампании: мужчины из Москвы, мужчины из Санкт-Петербурга, женщины из Москвы, женщины из Санкт-Петербурга — итого 2*2=4 кампании. Эта модель дает широкую модель тестирования и больше данных. Чем больше факторов и значений мы возьмем в тест, тем больше кампаний получим и тем большим будет тестовый бюджет.

В этом случае разные факторы мы будем тестировать отдельно и получим количество кампаний, равное сумме значений факторов. К примеру: мужчины, женщины, все жители Москвы, все жители Санкт-Петербурга: 2+2=4 кампании. В такой модели полноты и объективности будет меньше, но зато можно значительно сэкономить тестовый бюджет.

Для такой модели часть факторов мы тестируем матрично, часть — линейно, а потому она позволяет нивелировать недостатки обеих моделей.

Согласно второму шагу мы определяем количество кампаний, которые можно запустить в тесте. Используя это значение и выбранную модель тестирования, мы можем подобрать те факторы, которые будут протестированы. Лучше всего это видно на примере.

Продукт: дебетовые карты.
Переменная (цель кампании): целевая заявка на карту.
Фактор: аудитории, форматы, креативы.
Площадка: myTarget.
Бюджет общий: 200 000 рублей.
СРА по плану: 800 рублей.

После подсчета получаем:

• тестовый бюджет: 200 000 * 0,3 = 60 000 рублей.
• тестовая сумма на кампанию: 800 * 2 = 1600 рублей.
• количество кампаний: 60 000 / 1 600 = 37 кампаний.

Учитывая это, мы можем протестировать такие факторы:

• формат: мультиформат, запись с активной кнопкой 640*320, карусель;
• геотаргетинг: Москва, города-миллионники, РФ;
• аудитории: интересы, look-alike, ретаргетинг, поисковые запросы;
• креатив: пять разных креативов.

Таким образом, если мы протестируем все факторы матрично, то получим на выходе 36 кампаний и 180 объявлений.

После того как мы определили кампании для тестирования и потратили тестовый бюджет, необходимо вывести первичные результаты теста. Мы группируем кампании на три типа в зависимости от достижения KPI:

1. Эффективные кампании — те, что попали в KPI. Такие кампании необходимо масштабировать, чтобы получить больше результата.
2. Кампании с промежуточным итогом. Их необходимо оптимизировать, чтобы привести к плановым значениям. Сделать это можно через ставки, бюджеты, уточнение аудиторий и проработку креативов.
3. Неэффективные кампании, которые в тестовом размещении показали низкий результат. Их нужно отключать, чтобы не тратить бюджет впустую.

Хотелось бы задать некоторые принципы тестирования, которые мы определили, когда провели несколько сотен тестов.

1. Однородная база. Кампании, запущенные в тесте, должны отличаться только проверяемыми признаками. Во всем остальном — в посадочных страницах, креативах, времени показа — они должны быть одинаковы. К примеру, если мы тестируем аудитории, но ведем трафик на разные посадочные, то сложно понять, насколько разница в результате обусловлена аудиториями, а не разными страницами.
2. Повторяемость. Суть теста заключается в том, чтобы получить понимание эффективности разных подходов и инструментов. И такое понимание будет тем ценнее, чем чаще оно подтверждается на практике, в том числе на других проектах. К примеру, мы понимаем, что ретаргетинг хорошо работает на стоимость конверсии, но дает ограниченный объем. Это утверждение доказано во множестве тестов, универсально и в дополнительной проверке не нуждается.
3. Учет хаотичности. Если мы заведем две одинаковые кампании с одинаковыми ставками и креативами, то мы, скорее всего, получим результаты, которые будут отличаться на некоторую величину. Это обусловлено с «хаотичными» факторами, например, тем, что мы работаем с аукционом — множеством разных рекламодателей, которые меняют ставку в реальном времени, и тем, что мы работаем с аудиториями — множеством пользователей с разным поведением. Поэтому правильно тестировать только те факторы, которые могут дать значимый результат, например, сравнивать ретаргетинг и look-alike, а не ретаргетинг трех дней и ретаргетинг пяти дней.
4. Разумная достаточность. Согласно этому принципу, при выборе эффективной модели нужно учитывать не только точность теста, но и его практическую применимость. Таким образом, мы используем наиболее удобную модель с достаточной точностью. Правило применимо и в других случаях: выбирая себе машину, необязательно смотреть все предложения на рынке, ведь на это уйдет не один месяц. Правильнее выбрать максимально приемлемую модель из достаточного числа вариантов.
5. Баланс открытости. В результате теста мы можем прийти к разным, подчас неожиданным результатам. Поэтому необходимо иметь достаточную гибкость мышления, чтобы пересмотреть свои старые суждения и допустить новые идеи, и вместе с тем сохранять критическое мышление, чтобы не принимать на веру сомнительные утверждения. К примеру, если кто-то утверждает, что низкокачественные креативы работают лучше качественных, то необходимо допустить, что это действительно так, но только если будут приведены результаты тестирования, совершенного по всем правилам.

Эти советы помогут вам проводить тесты правильно, оценивать эффективность новых инструментов и оставаться на волне digital-маркетинга.