Что такое эксперименты в яндекс директе

А/Б-тестирование в Яндекс.Директ: как оно работает и в чем преимущества

В 2019 году Яндекс запустил новый полезный инструмент для А/Б-тестирования гипотез — Эксперименты.

Он позволяет директологам легко, быстро и без лишних усилий выполнять их ключевую задачу — провести А/Б-тестирование гипотез без дополнительных затрат и потери эффективности текущих рекламных кампаний.

В этой статье мы рассмотрим, что такое А/Б-тестирование для бизнеса в целом, какие условия должны быть выполнены перед запуском экспериментов в Яндекс Директ и как грамотно проводить их без потери бюджета.

Зачем проводить А/Б-тестирование?

В современном мире маркетинг — это не только про «поиграть со шрифтами» или «наш продукт нужен всем», но это про аналитику, цифры, отчёты и подкреплённые гипотезы.

А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента.

Ключевое слово здесь — двух вариантов одного элемента. Тестирование 10 заголовков или 10 картинок одновременно — это не А/Б-тест =)

Нетрудно догадаться, что цель А/Б-тестирования — найти наиболее удачный вариант заголовка/текста/целевой аудитории для вашей рекламной кампании, чтобы инвестировать средства в рекламный бюджет грамотно.

Проведение А/Б-тестов — основная задача практикующего директолога или владельца бизнеса, если он сам управляет своей рекламной кампанией. Ведь Яндекс — аукционная система, где в любую минуту может поменяться сотни факторов ранжирования объявления и вероятности конверсии и находиться в режиме постоянного тестирования гипотез — маст-хэв современного специалиста.

Яндекс. Эксперименты — инструмент для А/Б-тестирования

Для проверки различных гипотез и А/Б-тестирований в рекламных кампаниях, Яндекс Директ запустил специальный инструмент – Яндекс. Эксперименты.

Настраивается он в Яндекс Аудиториях, затем в рекламной кампании в Директе. Более подробно алгоритм настройки мы разберём ниже.

Что важно знать перед запуском? Прежде чем запускать эксперимент в Яндекс Директе, вы должны быть уверены, что у вас настроена прозрачная аналитика и цели, а также накоплено достаточно данных в текущих рекламных кампаниях.

Дисклеймер: будьте готовы выделить дополнительные средства на эксперимент. Конечно, можно поделить и текущий бюджет, но тогда чистота эксперимента будет не 100%.

Представляем вашему вниманию небольшой чек-лист перед запуском А/Б-тестирования или эксперимента в Яндекс Директ:

• Гипотеза понятно и чётко сформулирована. Например: пользователи с промо-лендинга дают конверсию выше, чем пользователи с основного сайта.
• Счётчик Яндекс Метрики работает корректно, все ключевые бизнес-цели и KPI заданы.
• В Яндекс Директе счётчик Метрики добавлен в настройки кампаний.
• Накоплено от 50-200 конверсий на кампанию. Обычно этого достаточно, чтобы собрать данные по разным срезам и сформировать гипотезы.

Если по всем четырём пунктам всё в порядке — можно приступать к запуску А/Б тестирования в Яндекс Директ.

Больше статей на схожую тематику:

• 15 причин, почему реклама в Яндекс Директ не приносит результатов
• Маркировка рекламы в Яндекс Директ: инструкция по применению
• Как подготовить рекламную кампанию в Яндекс Директ к праздникам

Какие гипотезы тестировать в рамках А/Б-теста?

Как правило, основные элементы, над которыми экспериментируют директологи, – заголовки, описания и картинки в объявлениях. Но проводить тесты можно с любыми элементами объявления – рассмотрим основные варианты.

Эксперименты на Поиске

Предлагаем вам протестировать несколько гипотез для улучшения конверсии.

• Дополнительный заголовок, уточнения и быстрые ссылки Элементы объявления, которые показываются не всегда и не всем пользователям, даже если вы их настроили максимально грамотно. Например, описание к быстрым ссылкам и дополнительный заголовок, как правило, показываются на первой позиции в поиске. На второй позиции и ниже мы уже их не увидим. Но если мы заменим поисковой запрос, тот же рекламодатель появится уже на первой позиции, и мы увидим быстрые ссылки с описаниями, уточнения и дополнительный заголовок. Мы советуем не пренебрегать вторым заголовком и уточнениями и тестировать различные комбинации, чтобы сделать объявление более информативным и кликабельным.
• Промоакции Также не самое популярное расширение в Директе, о котором многие забывают. И мы горячо советуем тестировать различные промоакции, особенно если вы работаете в B2C тематике. Кстати, в этой статье мы собрали 30 идей для акций на сайте. Пользуйтесь, благодарите =)
• Объявления в Сетях О том, как сделать продающий креатив в РСЯ мы писали в этой статье. Ниже просто перечислим ключевые элементы, которые можно тестировать.
• Широкоформатные изображения При настройке объявлений в РСЯ Яндекс предлагает загрузить 2 варианта изображений: стандартное и широкоформатное. И часто рекламодатели останавливаются на стандартном изображении, забывая загрузить широкоформатное. Ключевое преимущество широкоформатных объявлений — они попадают на бОльшее число площадок в РСЯ и тем самым могут привести вам больше трафика. Поэтому мы рекомендуем тестировать 2 варианта изображений в РСЯ: стандартное и широкоформатное, чтобы получать более высокие результаты и забирать больше трафика у конкурентов.
• Тексты Дополнительно заострим внимание на тестировании текстов к объявлениям в РСЯ. Так как аудитория в РСЯ более «холодная», чем на поиске, пользователя постоянно нужно цеплять различными призывами к действию. Кроме того, если пользователь видит один и тот же баннер в течение 2-3 месяцев, логично, что постепенно он перестанет его замечать. Поэтому тестирование рекламных текстов — очень важная часть работы директолога.

Что еще следует тестировать для любых кампаний:

• Стратегии. Например, сравнить эффективность ручной и автоматической стратегии.
• Посадочные страницы. Хороший вариант, если у вас есть несколько лендингов, и вам нужно понять, какой из них лучше конвертит.
• Корректировки ставок. Позволит вам повысить или понизить ставку, цену или ценность конверсии при показе объявления в зависимости от конкретных условий

Примеры роста кликов, конверсий, заказов и прибыли:

• Продажа недвижимости в Грузии – как получать лиды с помощью Яндекс.Директ и квиз-лендинга
• Как сделать ROI 1712% в B2B-мебели и выйти на оборот 2 000 000 за месяц с помощью Яндекс Директ и аналитики?
• 59 заявок на воздушные полеты с контекстной рекламы за месяц

Пошаговая инструкция по запуску Экспериментов в Яндекс Директ

1. Переходим в Яндекс.Аудитории, выбираем вкладку «Эксперименты» и нажимаем на кнопку «Создать первый эксперимент».
2. Даём эксперименту чёткое и понятное название, чтобы отразить его суть. Например: Проверка стратегии «оплата за заявку».
3. Выбираем счётчик Метрики, к которому привязана ваша рекламная кампания.
4. Определяем доли каждого сегмента целевой аудитории, которые будем тестировать. Оптимальное соотношение для первого эксперимента — 50/50. Для каждого сегмента задаём чёткое и понятное название.
5. Нажмите на кнопку «Создать эксперимент». Он сохранится в сервисе Яндекс.Аудитории.
6. Затем переходим в Яндекс. Директ и выбираем РК, на которой хотим протестировать изменения.
7. Рекомендуем вам создать 2 копии исходной кампании и назвать их, опираясь на наименования экспериментов, которые мы создавали ранее. Важно: текущую РК необходимо остановить!
8. В настройках РК задаем соответствующие параметры, которые тестируем. В нашем случае, в одной РК мы выбираем стратегию оптимизации кликов, в другой – оплата за заявку.
9. Теперь нужно привязать эксперименты к кампаниям. Перейдите в настройки РК и в дополнительных настройках выберите вкладку «Эксперименты».
10. В нашем примере выбираем «Таргетинг по сегментам» и в настройках первой РК ставим галочку на сегмент «Оплата за клики», во второй — на «Оплата за заявку».

Готово! Вы восхитительны. Запускаем обе кампании и ждём не менее 2 недель, чтобы накопить статистику и оценить результаты эксперимента.

Нравится статья? Тогда смотрите наши курсы!

• Мастер-класс «Как создать рекламную кампанию с нуля»
• Мини-курс Таргетолог с нуля
• Мастер-класс «Реклама в Яндекс ПромоСтраницы»

Оценка результатов A/Б-тестирования в Яндекс.Директ

Чтобы оценить эффективность А/Б-теста, загляем в Яндекс Метрику – вкладка «Отчёты», затем «Источники» и далее «Директ, эксперименты».

В отчёте отобразится сравнительная характеристика двух сегментов аудитории.

Соответственно, сравнив показатели конверсии/отказов/трафика, можно сделать вывод о том, какая стратегия или целевая аудитория работает эффективнее и в какую сторону лучше распределить рекламный бюджет.

Также стоит обратить внимание на такой удобный инструмент, как калькулятор достоверности А/Б тестирования.

Калькулятор достоверности эксперимента позволяет сравнить результаты А/Б тестов в удобном формате.

Задаём значения, которые просит калькулятор: расходы, конверсии и клики.

Нажимаем «Рассчитать», и система рассчитает все ключевые показатели, а также подскажет, стоит внедрять эксперимент или нет.

Вместо вывода

Кстати, А/Б-тестирования в Яндексе можно проводить и без использования Экспериментов. Вы можете просто запускать несколько рекламных кампаний и сравнивать результаты без привязки каких-либо сегментов аудитории.

Но мы рекомендуем попробовать разобраться с Экспериментами в Директе, потому что инструмент действительно помогает упростить тестирование различных гипотез и дать полную картину о результатах.

А если вам нужна помощь грамотных специалистов по контекстной рекламе и высокий результат — напишите нам, будем рады сотрудничеству =)

0

0

1

0

0

Спасибо за реакцию, она бесценна! Обязательно подпишитесь на наш Telegram-канал, публикуем много интересных и актуальных материалов. Не пользуетесь Telegram, тогда познакомьтесь с Катей и подпишитесь на нашу рассылку. ×

Как проводить эксперименты в Яндекс.Директе

Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.

Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.

Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.

В чем помогают эксперименты

Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:

1) Выяснить, как влияют друг на друга кампании разных типов.
2) Посмотреть, как целевые действия на сайте зависят от показов рекламы.

3) Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.

4) Сравнить разные медиапланы (полезная штука для рекламных агентств).

Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.

Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.

Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.

До запуска эксперимента

Учитывайте два момента:

1) Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.

2) Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.

Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.

3) И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.

Как запускать эксперимент

Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.

Она находится в Яндекс.Аудиториях. Перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментов впервые.

здесь вы заполняете:
1) Название эксперимента.

2) Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:

Или добавляете нажатием на кнопку:

Можно добавить таким образом несколько счетчиков в один эксперимент.
3) Количество и долю сегментов для тестирования, например:

По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.

При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:

Как подготовить кампании для тестирования

1) Создайте несколько одинаковых тестовых кампаний.

Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:

2) Поменяйте статус тестовых кампаний на «Приостановлена».

3) Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.

4) Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.

5) Прикрепите кампании к нужным экспериментам в дополнительных настройках.
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».

Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.

6) В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.

Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.

Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.

7) Когда всё готово, запустите одновременно все тестовые кампании.

На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.

Где смотреть результаты эксперимента

Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.

В итоге важно понять, какое размещение рекламы более рентабельное.

Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.

Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.

Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:

В режиме сравнения в нем выделяются цветом следующие метрики:

• Просмотры
• Визиты
• Целевые визиты
• Посетители
• Целевые посетители
• Достижения цели
• Достижения цели на посетителя
• Конверсия
• Конверсия посетителей
• Отказы

и некоторые другие.
Что значит тот или иной цвет?

Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.

Если данные не выделены, это значит одно из двух:
1) Метрику нельзя применять в режиме сравнения.
2) Данных пока недостаточно.

Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.

Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.

Осталось сопоставить данные по обоим отчетам. Для этого:

• Выберите одинаковые периоды
• Отфильтруйте данные по одному и тому же региону показа.

Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
Допустим, результаты такие:

В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.

Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.

Как учитывать погрешность

Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.

В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.

Также проверять достоверность теста можно с помощью Калькулятора достоверности A/B тестирования. Он позволяет быстро оценивать результаты по нескольким стратегиям назначения ставок и определять самый эффективный набор инструментов и форматов по показателю CPA (стоимости целевого действия).

Введите свои данные в пустые поля:

Здесь нужны:

• Данные по сегментам: размер, расходы, конверсии, клики.
• Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
• Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.

В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.

Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.

Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.

И напоследок – чек-лист в помощь для запуска эксперимента.

Чек-лист

1) Гипотеза сформулирована.
2) Счетчик Метрики с целями подключен.
3) Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
4) Эксперимент длится непрерывно.
5) Необходимое количество данных собрано.

6) а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.

7) а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.

Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.

Высоких вам конверсий!
Похожие статьи

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто

Опубликовано редакцией Yagla
Читайте ещё статьи по этой теме

Где и как хранить пароли от аккаунтов так, чтобы их не украли Статья

Безопасность личных данных в интернете – это то, о чем каждому из нас приходится заботиться. При регистрации на сайтах и в интернет-магазинах, авторизации в соцсетях, пользовании электронной почтой и самыми разными приложениями.

В каком статусе лучше работать фрилансеру: ИП, самозанятость или без регистрации Статья

Как грамотно организовать работу и не нарваться на неприятности, если вы собираетесь идти во фриланс? Нужно ли регистрироваться? Что выбирать – ИП или самозанятость? Ответы на этот и другие организационные вопросы – в нашей статье. . 1

Как связаны дизайн и конверсия сайта: неожиданные открытия Статья

Красивая картинка продает? Если отвечать не задумываясь – да. Вроде бы всё логично: на неё приятно смотреть, значит, она будет мотивировать.

Показать ещё
Написать комментарий
Обсуждаемое

Полный гайд по маркировке рекламы: как упростить себе жизнь и не попасть на штрафы Статья

Привет, мы команда Vitamin. tools — рекламной экосистемы, возвращающей до 16% с пополнения рекламы. 1

Как сделать текст на лендинге убедительным? Статья

Дам рекомендации, которые можно легко и быстро внедрить без массового анализа. undefined.

Особенности таргетированной рекламы в бьюти-нише Статья

Как только мы берем любой бьюти-проект, первым делом добавляем туда менеджера. Его задача – ежедневно вести статистику.

Массовая рассылка в Инстаграм Директ: полный гайд по настройке Статья

Рассылка в директ — это эффективный способ захватить клиента напрямую, без учета алгоритмов и рекламных креативов. В этой статье мы подробно рассмотрим, как создать рассылку в Инстаграм, применяя возможности сервиса SMMBOT.

SEO-оптимизация лендингов: методы и инструменты для улучшения конверсии Статья

Вообще слова «лендинг» и «SEO» обычно плохо уживаются вместе на взгляд большинства маркетологов. Как правило, лендинг питается почти исключительно платным трафиком из контекстной или programmatic-рекламы.

Агентство: с первых шагов до большой команды Статья

Здесь будет больше негатива и серых красок, потому что продвижение агентства – это все-таки рост, который можно сравнить с ростом ребенка. .

Как проводить эксперименты и A/B-тесты в Яндекс.Директе и Google Ads

В курсе «Автоматизируй это немедленно» мы рассказываем, как экономить время и силы на рутинных процессах и операциях в работе с контекстной рекламой.

В заключительном уроке проекта разберемся в том, как проще и точнее проводить эксперименты и A/B-тестирования в Яндекс.Директе и Google Ads.

Все уроки курса по автоматизации собраны на странице спецпроекта.

Сбор семантики, создание рекламных объявлений, назначение ставок и все прочие действия с рекламными кампаниями — это гипотезы, предположения, которые фактические показатели подтверждают или опровергают. Чтобы делать выводы по поводу того или иного действия в РК, гипотезу нужно протестировать, накопив достаточное количество данных. Для этого в рекламных системах есть возможность проводить запланированные эксперименты.

Сервисы рекламных систем для экспериментов и A/B-тестирований

В Директе такой сервис называется «Эксперименты» и запускается через Яндекс.Аудитории. Результат эксперимента можно проанализировать в Яндекс.Метрике. Быстро сравнить результаты тестов и принять решение о внедрении тех или иных изменений помогает калькулятор достоверности.

Эксперименты в Google Ads раньше запускались через инструменты проектов — нужно было сначала создать проектную РК, а потом внести в нее изменения. После обновления системы в январе 2022 года все стало гораздо проще: теперь создать эксперимент можно прямо в рекламном кабинете.

Как работать с экспериментами

• Тестировать по одной гипотезе за раз. Если поменять в экспериментальной РК сразу несколько параметров, они сработают вместе, и результат для каждого из изменений по отдельности будет невозможно оценить.
• Копить данные. Их должно быть много — по рекомендации Яндекса не менее 200 конверсий за месяц.
• Анализировать все результаты за один и тот же период.
• Выделять деньги на эксперимент. Можно поделить и текущий бюджет, но лучше отвести для тестов дополнительный, чтобы основная, проверенная кампания продолжала работать в обычном режиме.
• Учитывать распределение показов, трафика, конверсий. В Яндекс.Директе для успешной работы автостратегии необходимы хотя бы десять конверсий еженедельно. При создании эксперимента трафик будет разбит минимум надвое. Если количество конверсий в РК минимальное, на каждую из двух кампаний в эксперименте придется условно по пять конверсий — то есть слишком мало для работы автостратегии.
• Иметь в виду возможные риски. Гипотеза может не сработать, поэтому лучше заниматься тестированием, имея дополнительные источники конверсий. И с большой осторожностью запускать эксперимент сразу по всем РК или по единственной кампании.

Как запустить эксперимент в Яндекс.Директе

В сервисе Яндекс.Аудиторий перейдите во вкладку «Эксперименты» и нажмите на кнопку «Создать первый эксперимент».

Дайте ему максимально понятное название. Затем выберите счетчик Яндекс.Метрики, установленный на сайте, на который будет идти трафик, чтобы анализировать результаты.

Разделите доли сегментов и дайте им названия. Оптимальное соотношение для двух РК — 50/50. Можно добавить сегментов, но сравнивать работу двух кампаний удобнее.

Нажмите на кнопку «Создать эксперимент». Он сохранится в сервисе Яндекс.Аудитории.

Затем перейдите в Директ и выберите исходную РК, в которой собираетесь протестировать изменение.

Создайте две копии исходной кампании и приостановите ее. В копиях задайте изменения, которые собираетесь тестировать. В нашем примере в первой экспериментальной кампании будет включена ручная стратегия с бид-менеджером, во второй — автоматическое управление ставками и стратегия по средней цене конверсии.

Изменяйте только те параметры, которые хотите протестировать. Все остальное в этих кампаниях должно остаться по-прежнему.

Перейдите в настройки РК и в дополнительных настройках выберите вкладку «Эксперименты». В этом примере в обеих кампаниях нужно отметить «Таргетинг по сегментам». И выбрать в настройках одной сегмент «Ручная стратегия + биддер eLama», а в настройках другой — «Средняя цена конверсии».

Через пару недель, а лучше через месяц можно будет сделать выводы о том, какой вариант эффективнее. Для этого в Яндекс.Метрике зайдите в «Отчеты» —> «Стандартные отчеты» —> «Источники» —> «Директ, эксперименты».

Выберите название эксперимента (его указывали в Яндекс.Аудиториях), задайте период времени для формирования статистики и отфильтруйте с помощью сегментирования визиты из каждой экспериментальной кампании.

Чтобы включить режим сравнения с подсветкой результата, нужно выбрать, какая кампания будет исходной и какая будет с ней сравниваться.

Для вашего удобства здесь предусмотрена подсказка «Как читать ответ». Зеленая подсветка показывает положительный результат. В примере выше кампания с корректировками отработала лучше по достижению цели и целевым визитам, но хуже по отказам.

Калькулятор достоверности A/B-тестирования

В калькуляторе достоверности можно использовать настройки по умолчанию. Для оценки результат теста укажите доли сегментов, расходы за период и количество конверсий и кликов. После расчета, если данных достаточно, в столбце «Внедряем?» отобразится «Да». Если данных недостаточно, здесь высветится «Нет».

На маркетплейсе eLama вы найдете инструмент DyCont для проведения A/B‑тестов и повышения конверсии посадочных страниц. Он быстро и незаметно подменяет контент страницы сайта для пользователей из разных сегментов. Клиенты eLama могут пользоваться инструментом абсолютно бесплатно. Зарегистрироваться →

Как запустить эксперимент в Google Ads

Через меню слева в рекламном кабинете перейдите на страницу экспериментов и нажмите на кнопку «+».

Выберите тип эксперимента: оптимизация текстовых объявлений, эксперимент для видео или эксперимент по собственной гипотезе, которую вы хотите проверить. Это может быть, например, изменение стратегии.

Выберите тип рекламной кампании и нажмите на кнопку «Продолжить».

Дайте эксперименту как можно более понятное название — лучше прописать в нем, что конкретно вы тестируете. Для удобства здесь можно также добавить описание.

Следующий шаг — выбор базовой, или исходной РК. Здесь важно учесть две детали:

• Если к кампании, которую вы собираетесь выбрать в качестве исходной, прикреплен общий бюджет на несколько РК, ее нужно предварительно открепить от него, иначе корректного распределения не получится.
• При планировании эксперимента цели конверсии на уровне кампании не копируются из основной в экспериментальную — система предупредит вас об этом. Настройки экспериментальной РК нужно проверить и установить цели.

Здесь же укажите суффикс для имени ресурса, который войдет в состав названия экспериментальной рекламной кампании — присоединится в нем к заголовку базовой. В это поле автоматически копируется название эксперимента, его можно не менять.

Кампания готова, теперь нужно внести в нее изменения. Здесь рекомендация та же, что и с проверкой гипотез в Яндекс.Директе: тестируйте изменения параметров по одному, чтобы проверить, насколько каждое из них влияет на результат.

На следующем шаге вы задаете цели — те результаты РК, на которые вы хотите повлиять, и на основании которых будете принимать решение об успешности эксперимента. Целей может быть максимум две — на примере ниже это «Цена за конверсию» и «Конверсии»: цена за конверсию в ходе эксперимента должна уменьшиться, а количество конверсий — увеличиться. Вы можете выбрать другие цели — «Показы», «Клики» и так далее. Не обязательно в блоке целей предусматривать увеличение какого-то показателя, можно оставить его на том же уровне: например, пусть количество конверсий останется прежним, а цена за конверсию уменьшится.

Здесь же выделите для экспериментальной РК долю трафика и бюджета исходной кампании. Оптимальный вариант для быстрого обучения алгоритма — 50 на 50. Ниже в дополнительных настройках вы можете задать вариант распределения трафика — на основе cookies или на основе поисковых запросов — и показывать пользователям при повторном поиске объявления только из исходной кампании или только из экспериментальной, или из обеих, выбирая между ними случайным образом. По умолчанию распределение происходит по cookies — эту настройку можно не менять.

Далее определите продолжительность эксперимента: здесь можно выбрать даты его начала и окончания или указать, сколько дней он должен продлиться. Либо не задавать дату остановки эксперимента — тогда вы сами сделаете это, когда придет время.

Последний блок настроек — полезная новинка Google Ads, возможность включить синхронизацию исходной и экспериментальной кампаний. Если синхронизация работает — все изменения в исходной РК будут дублироваться в эксперимент. Почему это важно: если во время проведения эксперимента что-то изменить в основной кампании и не перенести настройки в экспериментальную, чистота эксперимента будет нарушена, потому что кампании будут различаться не только теми настройками, которые составляют суть гипотезы. Поэтому использовать синхронизацию действительно важно. Исключение — ситуации, когда вы уверены, что изменения не должны быть скопированы, и делаете это осознанно.

Вот и все. Осталось нажать на кнопку «Создать эксперимент».

Теперь, кликая на название экспериментальной кампании, вы будете попадать на страницу со сводкой. Здесь отображаются даты, цели и информация по ним, результаты исходной и экспериментальной кампаний по кликам, расходам, конверсиям, ценности показов и так далее. Таблицу можно настроить — добавить столбцы с нужными показателями. В графе ниже показывается разница между кампаниями в количественном и процентном соотношении.

А еще ниже указывается доверительный интервал, то есть значение, в пределах которого вы получите результат, применив изменения в основной кампании. Когда алгоритм наберет достаточно данных, он оповестит вас, что статистическая достоверность достигнута, и покажет доверительный интервал. Например, от 40 до 60%, что результаты в основной кампании после применения экспериментальных настроек будут такими же, как в эксперименте.

Эксперименты в Google Ads — это отличный инструментарий для проведения A/B-тестов, основной в работе с рекламными кампаниями для специалистов.

Пять причин работать с eLama

• Больше 12 систем и сервисов в одном кабинете: Яндекс Директ, Google Ads, Авито, Telegram Ads, VK Реклама и другие системы интернет-рекламы.
• Оплата с единого счета и общий комплект закрывающих документов для бухгалтерии.
• Набор полезных инструментов, которые упрощают работу с рекламой и помогают экономить время и бюджет.
• Партнерская программа для агентств и фрилансеров с ежемесячным вознаграждением.
• Служба Заботы, которая всегда приходит на помощь и остается на вашей стороне, в том числе и в вопросах модерации.

Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест

Зимой Яндекс запустил новый инструмент для сплит-тестирования рекламы в Яндекс Директе — Эксперименты. Специалисты WebCanape поделились опытом применения этого инструмента на своих проектах. В кейсе подробная инструкция по подключению, настройке и анализу.

Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».

Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.

Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.

Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.

Регион: Республика Хакасия.

Бюджет: 15 000 рублей (на рекламу в месяц).

Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.

Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.

Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.

Подключение инструмента «Эксперименты» в аккаунте

Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.

В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.

Вкладка «Эксперименты» в Яндекс.Директе
1. Настройка экспериментов

Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:

• с 06:00 до 15:00
• с 15:00 до 24:00

Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.

Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).

Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.

Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентском аккаунте. Инструмент пока не подключают в аккаунтах агентств.

Новый эксперимент

Эксперимент для A/Б-тестирования готов и выглядит так:

Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.

2. Подготовка кампании для эксперимента и запуск

Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).

На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.

Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.

Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.