A/B-тестирование: путь к пониманию предпочтений потребителей

Маркетологи создают лендинги, пишут тексты для писем, оформляют кнопки призыва к действию.

И часто возникает соблазн полагаться на догадки: что же побудит пользователя кликнуть или совершить покупку? Но разные аудитории ведут себя по-разному. То, что работает в одной компании, может не сработать в другой. Именно поэтому эксперты по повышению конверсии (CRO) не любят термин «лучшие практики» — ведь они могут не подойти именно вам.

A/B-тесты тоже могут быть коварными.

Если подходить к ним без должной внимательности, легко сделать ложные выводы о том, что действительно нравится аудитории и что побуждает к действию. Такие решения могут негативно повлиять на всю остальную стратегию.

Узнаёте ситуацию?

Когда fashion-маркетологи только начинают выстраивать свои первые триггерные карты, они нередко сталкиваются с точками, которые не помогают понять поведение клиента.

Наши партнёры делились, что при попытке разобраться, какие триггеры действительно работают на их аудиторию, они часто сталкивались с разногласиями в стратегии — как с топ-менеджментом, так и с другими заинтересованными сторонами. Иногда не было даже наглядных и понятных схем, которые можно было бы показать руководству.

Как решить эту проблему?

Проводите A/B-тестирование сайта и писем. Это поможет понять, какие форматы, тексты и визуальные решения действительно работают для вашей аудитории.

Что такое A/B-тест?

A/B-тестирование email-рассылок (или сплит-тестирование) — это процесс отправки двух версий одного письма разным сегментам вашей базы подписчиков. Победившая версия — та, которая соберёт наибольшее количество открытий или кликов — автоматически рассылается остальным подписчикам.

Многие маркетологи избегают A/B-тестов, потому что не знают, с чего начать или что именно тестировать. Но на самом деле всё проще, чем кажется. И потенциал у A/B-тестов огромный: они позволяют существенно улучшить результаты email-маркетинга.

A/B-тест — это по сути способ сравнения двух вариантов одного элемента.

Опытные маркетологи используют его, чтобы удовлетворить свою главную профессиональную любознательность:

Какая тема письма приводит к наибольшему количеству открытий?
Влияют ли эмодзи в теме на вовлечённость аудитории?
Какая надпись на кнопке вызывает больше кликов?
Какие изображения повышают конверсию?
Какой прехедер (текст после темы письма) помогает повысить open rate?

С помощью A/B-тестов вы можете:

улучшить ключевые показатели email-кампаний,
глубже понять свою аудиторию,
выявить, что именно влияет на продажи,
повысить конверсии и эффективность маркетинга.

Зачем использовать A/B-тестирование?

A/B-тестирование — это единственный надёжный способ статистически доказать, какая версия письма работает лучше и приносит больше результатов.

Это также самый быстрый способ узнать предпочтения вашей аудитории и оперативно адаптировать под них email-кампании.

Если вы хотите получать точные и проверенные данные, A/B-тесты просто необходимы. Они убирают фактор догадок: вы не гадаете, а опираетесь на цифры — подтвердите или опровергнете гипотезу о том, какие изменения в письмах:

повышают открываемость,
увеличивают кликабельность,
улучшают вовлечённость,
влияют на рост продаж и конверсий.

Если вы пока не уверены, какие показатели важны в email-маркетинге и почему за ними нужно следить — прочитайте нашу статью: Золотая мера: метрики маркетинга, которые прокачают ваш проект.

Где ещё можно применять A/B-тестирование?

Рекламные материалы

В платной рекламе неубедительный текст способен «съесть» весь бюджет. То же касается и сайта: чем менее интересен и релевантен контент, тем выше шанс, что пользователь уйдёт, не совершив покупку.

A/B-тестирование помогает сравнить разные тексты и визуалы и оставить только те, что реально работают.

Призывы к действию (Call to Action)

Чтобы посетители подписывались, покупали или делились контентом, призыв должен работать. С помощью тестов можно определить оптимальную формулировку, размер, цвет и расположение кнопки.

Меняйте:

текст кнопки (прямой или мягкий),
её форму и размер,
иконки и фон — чтобы понять, что повышает конверсии.

Отдельные страницы сайта

Помимо рекламных креативов стоит протестировать структуру посадочных страниц. Меняйте:

фон,
порядок блоков,
формулировки,
изображения.
Так вы поймёте, какие элементы вовлекают, а какие — раздражают и заставляют закрыть вкладку.

Формы подписки

При генерации лидов важно всё: от текста до цвета кнопки. Даже мелочи могут сильно повлиять на поведение пользователя: ускорить решение о покупке или, наоборот, отпугнуть.

A/B-тестирование помогает:

улучшить форму,
повысить CTR (кликабельность),
сократить путь до конверсии.

Как провести A/B-тестирование?

1. Выберите переменную для тестирования

Первый шаг — определить, что именно вы хотите протестировать. Например:

Тема письма — влияет на открываемость (open rate).
Изображения товара — влияет на клики и конверсии (CTR и conversions).
Текст кнопки или структура письма — влияет на вовлечение.

Когда вы тестируете, например, два заголовка, open rate покажет, какой вариант лучше привлёк внимание.

А при сравнении двух макетов с разными изображениями важно смотреть и на клики, и на продажи.

Иногда один вариант выигрывает по одному параметру, а другой — по другому.

Например:

Текстовая версия письма показала более высокий open rate — её проще воспринять.
Но дизайнерская версия с GIF привлекла больше кликов — потому что анимация мотивировала перейти и посмотреть видео.

Вывод: подбирайте метрику под задачу. И не забывайте анализировать комплексно.

2. Выберите подходящий размер выборки

Если у вас большая база подписчиков (от 1000 адресов), используйте правило 80/20 — его также называют принципом Парето.

Отправьте вариант A 10% аудитории
Отправьте вариант B другим 10%
После определения победителя — отправьте лучший вариант оставшимся 80%

Такой подход помогает получить статистически значимые и надёжные результаты, при этом экономит ресурсы.

Если ваша база меньше 1000 подписчиков, нужно изменить пропорции:

Тестируйте 80–95% подписчиков
А победивший вариант отправьте оставшимся 5–20%

Пример: если на кнопку в варианте A нажали 12 человек, а в варианте B — 16, это слишком малая выборка, чтобы говорить о реальной разнице. Размер выборки должен быть достаточно большим, чтобы результат был достоверным.

Основные метрики, на которые нужно ориентироваться:

Sample size (размер выборки) — минимальное количество подписчиков, нужное для достоверности теста
BCR (Baseline Conversion Rate) — ваша текущая конверсия
MDE (Минимально обнаруживаемый эффект) — насколько маленькую разницу вы хотите заметить

Если вы хотите уловить небольшие изменения, выставляйте низкое MDE — например, 1%.

Если вы хотите отследить только крупные изменения, можно задать MDE выше — например, 5–10%, но не переусердствуйте. Слишком большой MDE = слишком грубый тест, который может не показать разницы вовсе.

3. Время проведения теста

Когда вы обычно читаете почту?

Ответ, скорее всего, будет: «по-разному».

Иногда вы онлайн и открываете письмо сразу — через 5 минут после доставки.
Иногда письмо попадает в папку «Входящие», но вы читаете его через пару часов.
А иногда — заголовок вовсе не цепляет, и письмо остаётся непрочитанным.

Это реальные сценарии, которые необходимо учитывать при A/B-тестировании.

Если вы тестируете тему письма или пре-хедер, — можно отправить победителя уже через 2 часа после запуска теста.

Если вы тестируете кликабельность (например, баннер или кнопку) — лучше подождать дольше, чтобы пользователи успели перейти по ссылке.

Для самых активных подписчиков допустим сокращённый период ожидания — они реагируют быстро.

Что показывает практика:

Через 2 часа после отправки точность теста может быть около 80%
Для достижения 99% достоверности лучше подождать 24 часа

Но помните: длительное ожидание подходит не всегда.

У некоторых писем есть временной лимит — например, предложение на распродаже.
В других случаях, если вы подождёте слишком долго, победивший вариант уйдёт по базе в выходной, а это может исказить статистику.

Например, письмо, отправленное в среду, и такое же письмо, отправленное в воскресенье, покажут разные результаты. Поэтому важно анализировать собственные данные и постоянно тестировать, чтобы находить оптимальное время для своей аудитории.

4. Время доставки

Важно помнить: как только тест завершён, победивший вариант отправляется сразу.

А значит, если в эту основную группу входит большая часть вашей базы, стоит заранее автоматизировать процесс отправки.

Пример:

Вы тестируете две темы письма на 20% подписчиков (по 10% на каждую группу).
Вы хотите, чтобы победившая версия попала в почтовые ящики ровно в 10:00 утра.
При этом вы планируете анализировать открываемость в течение двух часов.

В таком случае начать тест нужно в 8:00, чтобы он завершился к 10:00 и вы успели отправить выигравшее письмо в запланированное время.

5. Тестируйте только один параметр за раз

Представьте: вы рассылаете две версии письма.
Имя отправителя и текст письма — одинаковые, отличается только тема.
Через несколько часов видно, что письма с вариантом A открыли значительно чаще.

В этом случае вы можете точно сказать, что причина — в теме письма.

Но если бы вы одновременно поменяли и тему, и имя отправителя, то непонятно, что сработало: новое имя или новая тема?

Поэтому тестируйте только один параметр за раз — и вы получите объективные и точные данные, на которые можно опираться в следующих кампаниях.

6. Как определить победителя A/B-теста

Чтобы определить, какой вариант победил, нужно измерить результаты обеих версий письма.

Основываться следует на тех метриках, которые вы изначально хотели улучшить.

Возможны три варианта:

Вариант A показал лучшие результаты, чем B.
Вариант B оказался эффективнее A.
Оба письма дали одинаковый результат — оставьте тот, который вам больше нравится или удобнее использовать дальше.

Статистическая значимость теста

Чтобы результаты A/B-теста можно было считать надёжными, необходимо:

Проводить тест на достаточно большой выборке подписчиков;
Добиться статистической значимости результатов.

Статистическая значимость — это математически рассчитанный показатель, который показывает, насколько можно доверять результатам.

Если уровень значимости превышает 93–95%, тест можно считать успешным и достоверным.

Значит, вы можете смело вносить изменения на основе этого результата.

Где проверить статистическую значимость?

Чтобы не делать расчёты вручную, воспользуйтесь готовыми онлайн-калькуляторами:

В итоге

Статистически значимая выборка — это группа посетителей, на которой проводится тестирование изменений. Каждый подписчик, открывший письмо, относится к вашей целевой аудитории, но в выборку попадает только её часть — например, первые 1000 человек.

Идеальный сценарий

В идеальных условиях результаты теста на небольшой выборке одинаково хорошо работают на всей аудитории.