A/B-тесты: когда они действительно нужны
Тесты полезны только при достаточном трафике. Разбираем, сколько его нужно, что тестировать имеет смысл и как не обмануться результатом.
Коротко
A/B-тест показывает, какой из двух вариантов работает лучше. Проблема в том, что для достоверного ответа нужен объём: при десяти заявках в месяц тест будет идти год и всё равно ничего не докажет.
Сколько нужно трафика
Ориентир простой: чтобы уверенно заметить изменение конверсии на четверть, нужны сотни целевых действий в каждом варианте. При двадцати заявках в месяц вы получите не результат, а случайность, которую примете за результат.
Если объёма нет — используйте другие методы: посмотрите записи сессий, спросите пятерых клиентов, проверьте очевидные проблемы (скорость, мобильная версия, длина формы). Они дают больше и быстрее.
Что тестировать имеет смысл
- Заголовок первого экрана и формулировку оффера.
- Форму: количество полей, текст кнопки.
- Наличие и формат цены.
- Порядок блоков на странице.
Что тестировать бессмысленно
- Оттенок кнопки, если она и так заметна.
- Мелкие правки текста в третьем экране.
- Всё сразу: если поменяли пять вещей, непонятно, что сработало.
Как проводить
- Сформулируйте гипотезу: что меняем и почему ждём улучшения.
- Определите, какое действие считаем успехом.
- Решите заранее, сколько времени тест идёт.
- Меняйте одну вещь за раз.
- Дождитесь окончания срока и только потом смотрите итог.
Альтернатива для малого трафика
Последовательное сравнение: месяц с одним вариантом, месяц с другим, при похожих источниках трафика. Менее точно, но лучше, чем ничего, — и не требует сложных инструментов.
Хотите увеличить конверсию?
Посмотрим, хватает ли трафика для тестов, — и если нет, начнём с того, что даёт эффект без них.
Читайте дальше
Чек-лист регулярного аудита сайта
Что проверять раз в месяц, раз в квартал и раз в год, чтобы сайт не деградировал незаметно и не подводил в самый неподходящий момент.
1 минута чтенияКак читать отчёты по сайту
Что спрашивать у подрядчика, какие цифры о чём говорят и как отличить отчёт о работе от отчёта о результате.
1 минута чтенияВеб-аналитика: минимум метрик для владельца
Шесть показателей, которых достаточно, чтобы понимать, что происходит с сайтом, и не тонуть в отчётах, которые никто не читает.
1 минута чтения