Каждый гайд по оптимизации конверсии говорит «тестируй всё». Поменял цвет кнопки — протестируй. Переписал заголовок — протестируй. Переместил CTA выше фолда — протестируй.
Проблема: большинство этих советов предполагает, что у тебя 50K+ ежемесячных посетителей. Если сайт получает 2,000 визитов/месяц — что реалистично для сервисного бизнеса, нового SaaS или портфолио разработчика — A/B-тестирование статистически бесполезно для почти любого изменения, которое хочешь протестировать.
Вот математика, и что делать вместо.
Проблема размера выборки
Чтобы обнаружить изменение конверсии с 3% до 4% (33% относительное улучшение — очень оптимистично), нужно примерно 4,800 посетителей на вариант. Это 9,600 суммарно. При 2,000 визитов/месяц — почти 5 месяцев тестирования.
Для более реалистичного сценария — обнаружение изменения с 3% до 3.5% (17% улучшение) — нужно примерно 18,000 посетителей на вариант. Это 36,000 суммарно, или 18 месяцев.
За эти 18 месяцев всё меняется: аудитория сдвигается, месседжинг эволюционирует, сезонные паттерны искажают результаты, Google меняет позиции в поиске. «Контролируемый» эксперимент не контролируемый вовсе.
Правило: если не можешь достичь статистической значимости за 2–4 недели — тест не даёт реальных данных. Он даёт шум, который выглядит как данные.
Когда A/B-тестирование реально работает на малых сайтах
Есть узкие сценарии, где A/B-тестирование валидно даже при низком трафике:
Большие размеры эффекта
Если тестируешь изменение, которое ожидаешь удвоит конверсию (3% → 6%) — нужно ~800 посетителей на вариант, достижимо за месяц при 2,000 визитов. Примеры:
- Добавление vs. отсутствие страницы ценообразования
- Полностью разные структуры лендинга (не просто правки заголовка)
- Удаление целого шага из флоу регистрации
Высокотрафиковые страницы с бинарными исходами
Если одна конкретная страница получает непропорционально много трафика (например, 80% визитов на главную) и исход бинарный (кликнул CTA vs. нет) — можешь тестировать на этой странице с меньшей выборкой.
Email-кампании
Если есть email-список от 5,000+ — A/B-тестируй темы писем. Open rate измерим при меньших выборках, потому что базовый уровень выше (~20–40% open rate vs. 2–5% конверсии на сайте).
Что делать вместо
Для сайтов до 10K ежемесячных визитов эти подходы дают больше сигнала, чем A/B-тестирование:
1. Записи сессий
Смотри 20 реальных пользовательских сессий в неделю. Инструменты типа Hotjar, PostHog или Microsoft Clarity показывают, где пользователи колеблются, проскролливают мимо или уходят. Узнаешь больше из 20 сессий, чем из 3-месячного A/B-теста.
На что смотреть:
- Где пользователи перестают скроллить?
- Читают ли они прайсинг или пропускают?
- Наводят ли курсор на CTA без клика?
- Заходят на страницу контактов, но не отправляют форму?
2. Прямая обратная связь
Спроси последних 5 клиентов: «Что чуть не остановило вас от обращения?» Ответы будут более actionable, чем любой статистический тест. Типичные ответы:
- «Не мог найти ваши цены»
- «Не был уверен, делаете ли вы [конкретную вещь]»
- «Почти ушёл, потому что сайт казался слишком корпоративным/слишком неформальным»
3. До/после с базовыми метриками
Вместо A/B-тестов — меняй последовательно и сравнивай метрики до и после:
- Зафиксируй базовую линию: конверсию, глубину скролла, время на странице за 4 недели
- Сделай одно изменение
- Измерь те же метрики за 4 недели
- Сравни
Это не так строго, как A/B-тест — конфаундеры существуют. Но для сайта с 2,000 визитов/месяц сравнение «до/после» за 4 недели надёжнее, чем маломощный A/B-тест, который тянется 3 месяца.
4. Качественное тестирование
Покажи лендинг 5 людям, соответствующим целевой аудитории. Спроси:
- «Что делает эта компания?» (через 5 секунд)
- «Для кого это?»
- «Что бы ты сделал дальше?»
- «Что непонятно или чего не хватает?»
Пять качественных интервью дают больше actionable инсайтов, чем статистическое тестирование при низком трафике.
Признаки карго-культа
Ты занимаешься карго-культом A/B-тестирования, если:
- Тесты длятся месяцами без достижения значимости. Инструмент показывает «Вариант B: +12%», но доверительный интервал включает и +40%, и -15%. Это не результат — это шум.
- Объявляешь победителя при 80% уверенности. Стандарт A/B-тестирования — 95% уверенности. Ниже — ты подкидываешь монету и называешь это стратегией.
- Тестируешь крошечные изменения. Цвет кнопки, размер шрифта, «Зарегистрироваться» vs. «Начать». Эти изменения влияют на конверсию на доли процента — необнаружимо при низком трафике.
- Тестируешь больше одного изменения одновременно. Если у Варианта B новый заголовок И новый CTA И новый лейаут — не знаешь, какое изменение вызвало результат (если вообще вызвало).
- Останавливаешь тест, когда «выглядит хорошо». Подглядывание в результаты и ранняя остановка драматически раздувает false-positive rate.
Честный ответ
Если сайт получает меньше 10,000 визитов/месяц: не A/B-тестируй. Вместо этого:
- Смотри записи сессий еженедельно
- Спрашивай клиентов, что чуть не остановило их
- Делай одно изменение за раз, измеряй до/после
- Тестируй большие структурные изменения, не косметические правки
- Используй качественные методы (пользовательские интервью, 5-секундные тесты)
Оставь A/B-тестирование на когда будет трафик для этого. А пока шипь паттерны лендингов, которые уже доказаны, и фокусируйся на привлечении трафика для тестирования.
Хочешь сайт, ориентированный на конверсию, без статистического театра? Напиши — я помогаю фаундерам строить сайты, которые конвертируют на основе проверенных паттернов, а не маломощных экспериментов.