A/B-тестирование: путь к пониманию предпочтений потребителей
Маркетологи создают лендинги, пишут тексты для писем, оформляют кнопки призыва к действию.
И часто возникает соблазн полагаться на догадки: что же побудит пользователя кликнуть или совершить покупку? Но разные аудитории ведут себя по-разному. То, что работает в одной компании, может не сработать в другой. Именно поэтому эксперты по повышению конверсии (CRO) не любят термин «лучшие практики» — ведь они могут не подойти именно вам.
A/B-тесты тоже могут быть коварными.
Если подходить к ним без должной внимательности, легко сделать ложные выводы о том, что действительно нравится аудитории и что побуждает к действию. Такие решения могут негативно повлиять на всю остальную стратегию.
Узнаёте ситуацию?
Когда fashion-маркетологи только начинают выстраивать свои первые триггерные карты, они нередко сталкиваются с точками, которые не помогают понять поведение клиента.
Наши партнёры делились, что при попытке разобраться, какие триггеры действительно работают на их аудиторию, они часто сталкивались с разногласиями в стратегии — как с топ-менеджментом, так и с другими заинтересованными сторонами. Иногда не было даже наглядных и понятных схем, которые можно было бы показать руководству.
Как решить эту проблему?
Проводите A/B-тестирование сайта и писем. Это поможет понять, какие форматы, тексты и визуальные решения действительно работают для вашей аудитории.
Что такое A/B-тест?
A/B-тестирование email-рассылок (или сплит-тестирование) — это процесс отправки двух версий одного письма разным сегментам вашей базы подписчиков. Победившая версия — та, которая соберёт наибольшее количество открытий или кликов — автоматически рассылается остальным подписчикам.
Многие маркетологи избегают A/B-тестов, потому что не знают, с чего начать или что именно тестировать. Но на самом деле всё проще, чем кажется. И потенциал у A/B-тестов огромный: они позволяют существенно улучшить результаты email-маркетинга.
A/B-тест — это по сути способ сравнения двух вариантов одного элемента.
Опытные маркетологи используют его, чтобы удовлетворить свою главную профессиональную любознательность:
Какая тема письма приводит к наибольшему количеству открытий?
Влияют ли эмодзи в теме на вовлечённость аудитории?
Какая надпись на кнопке вызывает больше кликов?
Какие изображения повышают конверсию?
Какой прехедер (текст после темы письма) помогает повысить open rate?
С помощью A/B-тестов вы можете:
улучшить ключевые показатели email-кампаний,
глубже понять свою аудиторию,
выявить, что именно влияет на продажи,
повысить конверсии и эффективность маркетинга.
Зачем использовать A/B-тестирование?
A/B-тестирование — это единственный надёжный способ статистически доказать, какая версия письма работает лучше и приносит больше результатов.
Это также самый быстрый способ узнать предпочтения вашей аудитории и оперативно адаптировать под них email-кампании.
Если вы хотите получать точные и проверенные данные, A/B-тесты просто необходимы. Они убирают фактор догадок: вы не гадаете, а опираетесь на цифры — подтвердите или опровергнете гипотезу о том, какие изменения в письмах:
повышают открываемость,
увеличивают кликабельность,
улучшают вовлечённость,
влияют на рост продаж и конверсий.
Если вы пока не уверены, какие показатели важны в email-маркетинге и почему за ними нужно следить — прочитайте нашу статью: Золотая мера: метрики маркетинга, которые прокачают ваш проект.
Где ещё можно применять A/B-тестирование?
Рекламные материалы
В платной рекламе неубедительный текст способен «съесть» весь бюджет. То же касается и сайта: чем менее интересен и релевантен контент, тем выше шанс, что пользователь уйдёт, не совершив покупку.
A/B-тестирование помогает сравнить разные тексты и визуалы и оставить только те, что реально работают.
Призывы к действию (Call to Action)
Чтобы посетители подписывались, покупали или делились контентом, призыв должен работать. С помощью тестов можно определить оптимальную формулировку, размер, цвет и расположение кнопки.
Меняйте:
текст кнопки (прямой или мягкий),
её форму и размер,
иконки и фон — чтобы понять, что повышает конверсии.
Отдельные страницы сайта
Помимо рекламных креативов стоит протестировать структуру посадочных страниц. Меняйте:
фон,
порядок блоков,
формулировки,
изображения.
Так вы поймёте, какие элементы вовлекают, а какие — раздражают и заставляют закрыть вкладку.
Формы подписки
При генерации лидов важно всё: от текста до цвета кнопки. Даже мелочи могут сильно повлиять на поведение пользователя: ускорить решение о покупке или, наоборот, отпугнуть.
A/B-тестирование помогает:
улучшить форму,
повысить CTR (кликабельность),
сократить путь до конверсии.
Как провести A/B-тестирование?
1. Выберите переменную для тестирования
Первый шаг — определить, что именно вы хотите протестировать. Например:
Тема письма — влияет на открываемость (open rate).
Изображения товара — влияет на клики и конверсии (CTR и conversions).
Текст кнопки или структура письма — влияет на вовлечение.
Когда вы тестируете, например, два заголовка, open rate покажет, какой вариант лучше привлёк внимание.
А при сравнении двух макетов с разными изображениями важно смотреть и на клики, и на продажи.
Иногда один вариант выигрывает по одному параметру, а другой — по другому.
Например:
Текстовая версия письма показала более высокий open rate — её проще воспринять.
Но дизайнерская версия с GIF привлекла больше кликов — потому что анимация мотивировала перейти и посмотреть видео.
Вывод: подбирайте метрику под задачу. И не забывайте анализировать комплексно.
2. Выберите подходящий размер выборки
Если у вас большая база подписчиков (от 1000 адресов), используйте правило 80/20 — его также называют принципом Парето.
Отправьте вариант A 10% аудитории
Отправьте вариант B другим 10%
После определения победителя — отправьте лучший вариант оставшимся 80%
Такой подход помогает получить статистически значимые и надёжные результаты, при этом экономит ресурсы.
Если ваша база меньше 1000 подписчиков, нужно изменить пропорции:
Тестируйте 80–95% подписчиков
А победивший вариант отправьте оставшимся 5–20%
Пример: если на кнопку в варианте A нажали 12 человек, а в варианте B — 16, это слишком малая выборка, чтобы говорить о реальной разнице. Размер выборки должен быть достаточно большим, чтобы результат был достоверным.
Основные метрики, на которые нужно ориентироваться:
Sample size (размер выборки) — минимальное количество подписчиков, нужное для достоверности теста
Если вы хотите уловить небольшие изменения, выставляйте низкое MDE — например, 1%.
Если вы хотите отследить только крупные изменения, можно задать MDE выше — например, 5–10%, но не переусердствуйте. Слишком большой MDE = слишком грубый тест, который может не показать разницы вовсе.
3. Время проведения теста
Когда вы обычно читаете почту?
Ответ, скорее всего, будет: «по-разному».
Иногда вы онлайн и открываете письмо сразу — через 5 минут после доставки.
Иногда письмо попадает в папку «Входящие», но вы читаете его через пару часов.
А иногда — заголовок вовсе не цепляет, и письмо остаётся непрочитанным.
Это реальные сценарии, которые необходимо учитывать при A/B-тестировании.
Если вы тестируете тему письма или пре-хедер, — можно отправить победителя уже через 2 часа после запуска теста.
Если вы тестируете кликабельность (например, баннер или кнопку) — лучше подождать дольше, чтобы пользователи успели перейти по ссылке.
Для самых активных подписчиков допустим сокращённый период ожидания — они реагируют быстро.
Что показывает практика:
Через 2 часа после отправки точность теста может быть около 80%
Для достижения 99% достоверности лучше подождать 24 часа
Но помните: длительное ожидание подходит не всегда.
У некоторых писем есть временной лимит — например, предложение на распродаже.
В других случаях, если вы подождёте слишком долго, победивший вариант уйдёт по базе в выходной, а это может исказить статистику.
Например, письмо, отправленное в среду, и такое же письмо, отправленное в воскресенье, покажут разные результаты. Поэтому важно анализировать собственные данные и постоянно тестировать, чтобы находить оптимальное время для своей аудитории.
4. Время доставки
Важно помнить: как только тест завершён, победивший вариант отправляется сразу.
А значит, если в эту основную группу входит большая часть вашей базы, стоит заранее автоматизировать процесс отправки.
Пример:
Вы тестируете две темы письма на 20% подписчиков (по 10% на каждую группу). Вы хотите, чтобы победившая версия попала в почтовые ящики ровно в 10:00 утра. При этом вы планируете анализировать открываемость в течение двух часов.
В таком случае начать тест нужно в 8:00, чтобы он завершился к 10:00 и вы успели отправить выигравшее письмо в запланированное время.
5. Тестируйте только один параметр за раз
Представьте: вы рассылаете две версии письма. Имя отправителя и текст письма — одинаковые, отличается только тема. Через несколько часов видно, что письма с вариантом A открыли значительно чаще.
В этом случае вы можете точно сказать, что причина — в теме письма.
Но если бы вы одновременно поменяли и тему, и имя отправителя, то непонятно, что сработало: новое имя или новая тема?
Поэтому тестируйте только один параметр за раз — и вы получите объективные и точные данные, на которые можно опираться в следующих кампаниях.
6. Как определить победителя A/B-теста
Чтобы определить, какой вариант победил, нужно измерить результаты обеих версий письма.
Основываться следует на тех метриках, которые вы изначально хотели улучшить.
Возможны три варианта:
Вариант A показал лучшие результаты, чем B.
Вариант B оказался эффективнее A.
Оба письма дали одинаковый результат — оставьте тот, который вам больше нравится или удобнее использовать дальше.
Статистическая значимость теста
Чтобы результаты A/B-теста можно было считать надёжными, необходимо:
Проводить тест на достаточно большой выборке подписчиков;
Добиться статистической значимости результатов.
Статистическая значимость — это математически рассчитанный показатель, который показывает, насколько можно доверять результатам.
Если уровень значимости превышает 93–95%, тест можно считать успешным и достоверным.
Значит, вы можете смело вносить изменения на основе этого результата.
Где проверить статистическую значимость?
Чтобы не делать расчёты вручную, воспользуйтесь готовыми онлайн-калькуляторами:
Статистически значимая выборка — это группа посетителей, на которой проводится тестирование изменений. Каждый подписчик, открывший письмо, относится к вашей целевой аудитории, но в выборку попадает только её часть — например, первые 1000 человек.
Идеальный сценарий
В идеальных условиях результаты теста на небольшой выборке одинаково хорошо работают на всей аудитории.
Например:
Вы протестировали гипотезу на 100 человек — получили конверсию 10%;
Расширили выборку до 1000 человек — и конверсия осталась 10%.
Но в реальной жизни всё иначе
Среди первых 100 посетителей конверсия составила 10%;
Среди 1000 — она может упасть до 3% и остаться на этом уровне.
Это происходит потому, что на поведение пользователей влияют не только элементы письма или сайта, но и внешние факторы:
Активность конкурентов (реклама, распродажи)
Демография и особенности целевой аудитории
Время суток, день недели или сезон
Вот почему A/B-тест должен основываться на статистически достаточной выборке и проводиться в стабильных внешних условиях. Только так вы сможете доверять его результатам и делать на их основе осознанные маркетинговые решения.