Эта статья частично устарела. Продвижение мобильных приложений доступно только через VK Рекламу
Мы перенесли продвижение мобильных приложений в VK Рекламу — на платформе кампании запускаются в 5 простых шагов, эффективность подтверждена кейсами. Создать кабинет
Получите больше информации по подключению и настройке кабинета VK Рекламы у вашего менеджера или команды поддержки: caresupport@vk.company.
Мы перенесли продвижение мобильных приложений в VK Рекламу — на платформе кампании запускаются в 5 простых шагов, эффективность подтверждена кейсами. Создать кабинет
Получите больше информации по подключению и настройке кабинета VK Рекламы у вашего менеджера или команды поддержки: caresupport@vk.company.
A/B-тестирование
A/B-тестирование — это метод, с помощью которого вы можете проводить эксперименты и сравнивать эффективность ваших рекламных кампаний.
Когда полезно использовать A/B-тестирование
A/B-тестирование помогает выяснить:
Прежде пользователи заводили несколько кампаний с почти идентичными настройками, чтобы проверить гипотезу, какое из объявлений работает лучше. Однако в myTarget эти кампании будут влиять друг на друга, и результаты такой проверки не будут объективными.
При A/B-тестировании аудитории не пересекаются и кампании не влияют друг на друга, и вы можете получить объективные результаты.
- какое из рекламных объявлений (изображений, видео и т.п.) работает лучше при условии, что целевая аудитория и ставка совпадают;
- какая модель оплаты эффективнее для вашего бизнеса: CPC, oCPM или CPM;
- будет ли прирост конверсий, если увеличить ставку по сравнению с текущей;
- что будет, если переключить распределение бюджета с быстрого на равномерное или как повлияет изменения аукционной стратегии.
Прежде пользователи заводили несколько кампаний с почти идентичными настройками, чтобы проверить гипотезу, какое из объявлений работает лучше. Однако в myTarget эти кампании будут влиять друг на друга, и результаты такой проверки не будут объективными.
При A/B-тестировании аудитории не пересекаются и кампании не влияют друг на друга, и вы можете получить объективные результаты.
Как работает A/B-тестирование
Блок «A/B-тест» в настройках кампании позволяет условно разделить целевую аудиторию кампании на 10 частей: каждая часть — это 10% аудитории. Выберите несколько частей, чтобы показать рекламу только тем пользователям, которые попали в эти части.
Разделение аудитории для тестирования двух вариантов кампании
По умолчанию кампания показывается на все 10 частей, т.е. на 100% целевой аудитории.
1. Кампаниям, участвующим в одном и том же A/B-тесте, добавляйте в название одинаковые слова, так будет проще фильтровать такие кампании на дашборде для анализа результатов.
2. Если вы проводите одновременно несколько разных A/B-тестов, (например 2 кампании в A/B-тесте_1 и 2 кампании в A/B-тесте_2), помните, что кампаний из A/B-теста_1 могут оказывать влияние на кампании из A/B-теста_2, если они нацелены на одну и ту же целевую аудиторию.
2. Если вы проводите одновременно несколько разных A/B-тестов, (например 2 кампании в A/B-тесте_1 и 2 кампании в A/B-тесте_2), помните, что кампаний из A/B-теста_1 могут оказывать влияние на кампании из A/B-теста_2, если они нацелены на одну и ту же целевую аудиторию.
Например
Мы хотим сравнить два объявления: на красном и на зеленом фоне — содержание объявлений одинаковое. Чтобы понять, какое объявление работает эффективнее, будем сравнивать две метрики: конверсию в установку приложения и цену установки.
Создадим в рекламном кабинете две кампании с одинаковыми настройками и целевой аудиторией:
В объявлении одной кампании будем использовать картинку с красным фоном, в другом с зеленым, заголовок, текст и ссылка на приложение одинаковые.
Для проведения тестов в двух кампаниях в настройках блока «A/B-тест» в кампании с объявлением на красном фоне укажем первые 5 частей аудитории (1, 2, 3, 4, 5), а в кампании с объявлением на зеленом фоне — другие 5 (6, 7, 8, 9, 10).
Таким образом кампании будут показываться разным группам пользователей.
Также можно воспользоваться кнопкой «Выбрать 50% аудитории», которая выбирает одну из частей.
Запустим кампании.
Мы хотим сравнить два объявления: на красном и на зеленом фоне — содержание объявлений одинаковое. Чтобы понять, какое объявление работает эффективнее, будем сравнивать две метрики: конверсию в установку приложения и цену установки.
Создадим в рекламном кабинете две кампании с одинаковыми настройками и целевой аудиторией:
- География: Москва
- Пол: М, Ж
- Возраст: 18-60
- Ставка: 100 руб.
- Формат рекламного объявления: Мультиформат
В объявлении одной кампании будем использовать картинку с красным фоном, в другом с зеленым, заголовок, текст и ссылка на приложение одинаковые.
Для проведения тестов в двух кампаниях в настройках блока «A/B-тест» в кампании с объявлением на красном фоне укажем первые 5 частей аудитории (1, 2, 3, 4, 5), а в кампании с объявлением на зеленом фоне — другие 5 (6, 7, 8, 9, 10).
Таким образом кампании будут показываться разным группам пользователей.
Также можно воспользоваться кнопкой «Выбрать 50% аудитории», которая выбирает одну из частей.
Запустим кампании.
Как оценивать результаты
Чтобы на основе статистики делать выводы, необходимо получить достаточное количество данных и проверить, что наблюдаемая разница в результатах не является случайностью. Другими словами, оценить статистическую значимость.
Например
Если кампании получили 90 и 110 конверсий, можно ли сказать, что вторая кампания лучше чем первая?
Воспользуемся расчетами для p-value=0.05 (Пример калькулятора)
Для первой кампании:
CR = 90/2000 = 4.5%. Истинное значение конверсии будет находиться в интервале 3.7% – 5.5%, уровень доверия 95%.
Для второй кампании:
CR = 110/2000 = 5.5%. Истинное значение в интервале 4.6% – 6.6%, уровень доверия — 95%.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.
Если кампании получили 90 и 110 конверсий, можно ли сказать, что вторая кампания лучше чем первая?
Воспользуемся расчетами для p-value=0.05 (Пример калькулятора)
Для первой кампании:
CR = 90/2000 = 4.5%. Истинное значение конверсии будет находиться в интервале 3.7% – 5.5%, уровень доверия 95%.
Для второй кампании:
CR = 110/2000 = 5.5%. Истинное значение в интервале 4.6% – 6.6%, уровень доверия — 95%.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.
Алгоритм проведения A/B-тестирования
- Выберите, какой показатель будете измерять: например, процент конверсии в установку, цену установки приложения, процент конверсии в событие в мобильном приложении, процент конверсии в целевое действие на сайте или цену этих событий.
- Оцените объем целевой аудитории. В прогнозаторе в кампании посмотрите, какой охват может получить рекламная кампания при указанной ставке и бюджете. Если охват < 100 тыс, стоит задуматься, сможете ли вы получить достаточное количество целевых событий, чтобы сравнить результаты.
- Определите время на тестирование. Время зависит от охвата целевой аудитории, но тесты короче 3 дней могут не выявить значимых влияний из-за новизны объявлений, недельных колебаний и т.д.
- Подготовьте новые кампании (для А/B тестирования достаточно 2 кампании). Каждая из кампаний должна тестировать одно изменение, относительно базовой кампании.
- Во всех кампаниях выберите непересекающиеся части аудиторий в настройках «A/B-тест».
- Запустите кампании.
- Оцените результаты в дашбоде, с учетом оценки статистической значимости.
Вам помогла эта статья?