A/B-тестирование

A/B-тестирование (сплит-тест) — метод сравнения двух версий страницы, письма или объявления на случайно разделённых группах посетителей, чтобы узнать, какая версия даёт лучший результат по выбранной метрике.

Зачем нужно A/B-тестирование

Решения «по вкусу» часто ошибочны. Тест показывает, что работает для вашей аудитории, и защищает от внедрения изменений, которые ухудшают конверсию.

Как проводить A/B-тест

1. Найдите проблему в аналитике и картах кликов: где теряются посетители.
2. Сформулируйте гипотезу: «если упростить форму до трёх полей, конверсия в заявку вырастет, потому что снизится барьер».
3. Выберите метрику успеха (заявки, покупки, клики по кнопке) и одну главную цель.
4. Рассчитайте размер выборки и срок теста (калькулятор A/B-теста). См. размер выборки.
5. Подготовьте версии: контрольную (A) и тестовую (B), отличающиеся одним элементом.
6. Разделите трафик случайно и поровну.
7. Не останавливайте тест досрочно и дождитесь нужного числа посетителей и полных недельных циклов.
8. Проверьте значимость и практический эффект (статистическая значимость).
9. Внедрите победителя и запишите результат в базу экспериментов.

Что можно тестировать

• Заголовки и первый экран.
• Тексты и цвет кнопок, расположение форм.
• Цены, формат предложения, гарантии.
• Темы и содержание писем.
• Креативы в рекламе.

Пример

Страница курса получала 3,0 % конверсии. Гипотеза: понятный заголовок с выгодой («Научитесь настраивать рекламу и получать заявки за 6 недель») лучше абстрактного («Курс по таргету»). Тест на 4 000 посетителей показал рост до 3,6 %, разница значима при уровне 95 %. Версию B внедрили.

Частые ошибки

• Менять несколько элементов сразу.
• Останавливать тест, когда одна версия «вырвалась вперёд».
• Запускать тест при слишком малом трафике.
• Игнорировать сезонность и недельные циклы.
• Не фиксировать гипотезы и результаты.

Сколько посетителей нужно: пример расчёта

Приближённая формула размера выборки на один вариант: n ≈ 16 × p × (1 − p) ÷ d², где p — текущая конверсия, d — минимальная абсолютная разница, которую вы хотите заметить (для уровня значимости 95 % и мощности около 80 %).

Пример: конверсия 3 % (p = 0,03), хотим заметить рост до 3,6 % (d = 0,006): n ≈ 16 × 0,03 × 0,97 ÷ 0,000036 ≈ 13 000 посетителей на вариант. При трафике 2 000 посетителей в день (по 1 000 на вариант) тест займёт около 13 дней, лучше округлить до двух полных недель. Для точных расчётов используйте калькуляторы A/B-тестов.

Гипотезы для сайта образовательного проекта

• Заголовок с выгодой вместо названия курса.
• Кнопка «Записаться на пробный урок» вместо «Оставить заявку».
• Короткая форма (3 поля) против длинной (6 полей).
• Блок отзывов выше программы курса.
• Мессенджер рядом с формой.
• Стоимость на первом экране или ниже.

Журнал экспериментов: поля

Дата начала и конца, гипотеза, страница, метрика, размер выборки, результат по каждому варианту, значимость, решение (внедрить, отклонить, повторить), вывод. Журнал защищает от повторения неудачных идей и помогает находить закономерности.

Когда A/B-тест не подходит

• Трафик слишком мал для набора выборки за разумное время.
• Изменение очевидно и безопасно (исправление ошибки).
• Цикл сделки очень длинный и итоговый результат нельзя измерить на тесте.

В таких случаях используют последовательные улучшения и сравнение периодов, качественные исследования (опросы, записи сессий).

Как проверить результат

Используйте калькулятор значимости и доверительные интервалы (доверительный интервал). После внедрения сравните динамику метрики с прогнозом из теста.

Что изменилось к 2026–2027 году

Инструменты стали проще: тесты встроены в рекламные кабинеты и сервисы аналитики, а нейросети помогают генерировать варианты текстов. При этом проверка гипотез остаётся за человеком. Для небольших сайтов с малым трафиком вместо A/B-тестов эффективнее делать последовательные улучшения и сравнивать периоды. Эти навыки отрабатывают на курсах: курс по таргетированной рекламе и курс по нейросетям.

Частые вопросы

Сколько длится A/B-тест?

Минимум один-два полных цикла недели и до набора рассчитанной выборки. Обычно от двух недель до месяца.

Что делать, если трафика мало?

Тестируйте крупные изменения, а не мелкие, объединяйте похожие страницы в один тест или переходите к последовательным улучшениям.

Можно ли тестировать сразу несколько элементов?

Можно, но это уже мультивариантное тестирование: оно требует значительно большего трафика. Для небольших сайтов лучше менять один элемент за раз.

Связанные материалы

• Сплит-тестирование
• Нулевая гипотеза
• CR (конверсия)
• Heatmap