A/B-тесты объявлений в контексте: как тестировать правильно

Вы поменяли заголовок объявления, через три дня CTR подрос с 6 до 8 процентов, и кажется, что новая версия победила. А на следующей неделе всё откатилось назад. Знакомо? Большинство «тестов» в контексте это не тесты, а угадайка на маленьких числах. Вы делаете вывод по 40 кликам, хотя для уверенного ответа их нужно несколько сотен.

A/B-тест объявлений работает только тогда, когда вы меняете одну переменную, набираете достаточно данных и считаете не клики, а заявки и их цену. В этой статье разберём, как ставить гипотезы, какой инструмент Директа использовать, сколько ждать результата и как не обмануть себя случайным всплеском. Числа в примерах условные, методику можно применять к своим кампаниям.

Зачем вообще тестировать объявления

Объявление это первое касание с клиентом. От него зависит, кликнет человек или пролистает дальше, и каким он придёт на сайт: горячим и готовым к разговору или просто любопытным. Поменяв формулировку, можно подвинуть сразу две метрики: CTR на выдаче и конверсию на сайте.

Тут есть ловушка. Высокий CTR не всегда означает больше денег. Объявление «Скидка 50% на всё» соберёт кучу кликов и пустых заявок. Поэтому тестируем ради цены и качества заявки, а не ради красивого процента кликабельности. Если эта логика для вас новая, посмотрите отдельный разбор про оценку эффективности контекста, там про метрики подробнее.

Ещё одна причина тестировать: рынок и аудитория меняются. То, что заходило год назад, сегодня может проседать. Регулярные тесты держат кампании в тонусе и не дают объявлениям «выгорать».

Что можно тестировать в объявлении

Элементов много, но не все одинаково важны. Начинайте с тех, что сильнее влияют на решение кликнуть.

• Заголовок 1. Самый весомый элемент. Здесь работает ключевой запрос, выгода, цифра.
• Заголовок 2. Уточнение, оффер, география.
• Текст объявления. Аргументы, отстройка, призыв.
• Быстрые ссылки и их описания. Часто недооценивают, а они расширяют объявление и ловят клик.
• Уточнения. Короткие преимущества под текстом.
• Отображаемая ссылка. Мелочь, но иногда влияет на доверие.

Логика приоритета простая. Сначала проверяйте крупные смысловые гипотезы (другой оффер, другая боль клиента), потом мелкую косметику (порядок слов, знак препинания). Перестановка запятой редко меняет картину, а смена обещания меняет.

Главное правило: одна гипотеза за раз

Если вы одновременно поменяли заголовок, текст и быструю ссылку, и CTR вырос, вы не знаете, что именно сработало. А значит, не сможете повторить успех в других кампаниях. Меняйте по одному элементу.

Хорошая гипотеза звучит как утверждение с предполагаемым эффектом и причиной. Запишите её до запуска, чтобы потом не подгонять вывод под результат. Например:

Если в заголовок добавить срок поставки «за 3 дня», CTR вырастет, потому что для нашей аудитории скорость это главный критерий выбора.

Такую формулировку можно проверить и подтвердить или опровергнуть. Расплывчатое «давай попробуем другой заголовок» проверить нельзя.

Как технически запустить тест в Директе

Классического сплит-тестера «50 на 50» в Яндекс Директе нет, но есть два рабочих способа.

Способ первый: два объявления в одной группе. Добавляете в группу два объявления, различающихся одним элементом. Директ сам начинает крутить оба и постепенно отдаёт больше показов тому, что эффективнее. Минус: алгоритм оптимизирует под свою метрику и может слишком быстро «задушить» вторую версию, не дав ей набрать данные. Для грубой прикидки годится, для чистого теста хуже.

Способ второй: дубль кампании и эксперименты. Более честный вариант. Через А/Б-эксперименты в Директе (на базе Яндекс Аудиторий) трафик делится на сегменты, и каждая версия кампании показывается своей половине аудитории. Так обе версии получают сопоставимый объём показов, и сравнение становится корректным. Этот способ детальнее расписан в материале про A/B-тесты в Директе.

Для большинства задач хватает экспериментов. Если запускаете два объявления в группе, хотя бы следите, чтобы у обоих был шанс показаться, и не доверяйте автоматике слепо.

Сколько ждать и сколько данных нужно

Самая частая ошибка: остановить тест слишком рано. На 30 кликах разница в CTR почти наверняка случайна. Чтобы понять масштаб, держите в голове два ориентира.

По времени: ведите тест минимум одну, а лучше две полные недели. Поведение в будни и выходные различается, и неделя сглаживает этот перекос. Если у вас длинный цикл сделки, заявки приходят неравномерно, и торопиться тем более нельзя.

По объёму: ориентируйтесь на конверсии, а не на клики. Грубый ориентир для заметных выводов это хотя бы 50 целевых действий на каждый вариант, а лучше 100. Если заявок в месяц мало, тест растянется, и это нормально. Лучше честный вывод через месяц, чем ложный через три дня.

Маленькая оговорка: если разница между вариантами огромная (CTR 4% против 9%), она проявится быстрее. Но огромная разница в реальных тестах редкость. Обычно вы ловите эффект в несколько процентов, а его как раз и легко спутать с шумом.

Как понять, что результат не случайный

Допустим, вариант B дал CPL 1100 рублей против 1400 у варианта A. Это победа или повезло? Чтобы не гадать, нужна проверка на статистическую значимость.

Считать вручную необязательно. В интернете есть бесплатные калькуляторы A/B-значимости: вбиваете число показов и конверсий по каждому варианту, получаете уровень достоверности. Ориентир, к которому стремятся, это 95 процентов. Если калькулятор показывает 80, данных пока мало, тест продолжается.

Простая таблица, как читать результат:

Достоверность	Что это значит	Действие
Ниже 90%	Разница может быть случайной	Продолжать собирать данные
от 90 до 95%	Тенденция есть, но риск ошибки остаётся	Добрать данных или принять с осторожностью
Выше 95%	Разница почти наверняка реальна	Внедрять победителя

И главное: сравнивайте по той метрике, которая ближе к деньгам. CTR это промежуточный сигнал. Финальный судья это цена заявки и доля квалифицированных лидов. Бывает, что вариант с меньшим CTR приносит более дешёвые и чистые заявки, потому что отсекает лишних. Такой вариант и есть победитель.

Типичные ошибки, которые портят тесты

Разберём то, что встречается в кабинетах чаще всего.

Вывод по кликам. Самая дорогая ошибка. Объявление может собирать клики и не приносить сделок. Если у вас не настроена сквозная аналитика, вы видите только верхушку и судите вслепую.

Остановка на пике. Увидели всплеск, обрадовались, выключили проигравший вариант. Через неделю всплеск бы выровнялся. Дайте тесту дойти до срока.

Несколько изменений сразу. Уже говорили, но это повторяется снова и снова. Одна переменная, иначе вывод бесполезен.

Тест в сезонный пик или провал. Если запустить эксперимент во время резкого скачка спроса, данные исказятся. По возможности тестируйте в ровный период.

Игнор внешних факторов. Конкурент запустил агрессивную акцию, у вас упали показатели в обоих вариантах. Это про рынок, а не про объявления. Смотрите на разницу между вариантами, а не на абсолютные числа.

Если хочется системно подтянуть кабинет перед тестами, начните с базовой гигиены, об этом подробно в разборе про частые ошибки в контекстной рекламе.

Что делать с результатом

Тест закончился, победитель определён. Дальше три шага.

Первый: внедрите выигравшую версию во всю группу или кампанию. Второй: зафиксируйте вывод в простой таблице гипотез, чтобы знать, что уже проверяли. Третий: поставьте следующую гипотезу. Тестирование это постоянный цикл маленьких улучшений, а не разовая акция.

Со временем у вас накопится база работающих формулировок для вашей ниши. Это знание дороже одного удачного объявления, потому что его можно переносить на новые кампании и быстрее выходить на нормальную цену заявки.

Частые вопросы

Сколько объявлений тестировать одновременно? Лучше два. Можно три, но тогда на каждый вариант нужно больше трафика и времени, а данные размываются. Для большинства бюджетов оптимальна пара версий с одним отличием.

Можно ли доверять автоматическому показу в группе? Частично. Директ покрутит оба объявления и отдаст приоритет тому, что считает лучшим по своим критериям. Это удобно для рутины, но для чистого теста с равными условиями берите эксперименты, где трафик делится поровну.

Что важнее, CTR или конверсия? Конверсия и цена заявки. CTR это сигнал интереса на выдаче, но платите вы за результат. Объявление с высоким CTR и дорогими пустыми заявками проигрывает скромному, которое приводит покупателей.

Как тестировать, если заявок совсем мало? Берите грубые гипотезы с большой ожидаемой разницей и оценивайте по верхним метрикам, например по CTR и доле полезных переходов. Параллельно работайте над тем, чтобы заявок стало больше: расширяйте семантику, чистите трафик. Чем больше данных, тем точнее тесты.

Влияют ли автостратегии на тест? Да. Алгоритм перераспределяет показы и бюджет, и это мешает чистоте сравнения. Если тестируете на автостратегиях, держите их одинаковыми в обоих вариантах и закладывайте время на обучение. Подробнее про логику в материале об автостратегиях Яндекс Директа.

Как часто запускать новые тесты? Держите хотя бы один тест в работе постоянно. Когда один завершается, ставьте следующий. Ритм зависит от объёма трафика: где-то цикл занимает неделю, где-то месяц.

Коротко: чеклист перед запуском теста

• Сформулировали одну гипотезу с предполагаемым эффектом и причиной.
• Меняете ровно один элемент объявления.
• Выбрали способ: эксперименты для чистоты или два объявления в группе для прикидки.
• Заложили срок минимум одну-две недели.
• Считаете по заявкам и их цене, а не только по CTR.
• Проверяете значимость, ориентир 95 процентов достоверности.
• Внедряете победителя и сразу ставите следующую гипотезу.

Тесты это не магия, а дисциплина: одна переменная, достаточно данных, честный подсчёт. Если хотите, чтобы кампании тестировались системно и каждый рубль работал на заявки, команда Lead The Way поможет настроить процесс и разобрать ваши объявления. Оставьте заявку, обсудим вашу ситуацию.