Кожен гайд з оптимізації конверсії каже «тестуй все». Змінив колір кнопки — протестуй. Переписав заголовок — протестуй. Перемістив CTA вище фолду — протестуй.
Проблема: більшість цих порад передбачає, що в тебе 50K+ щомісячних відвідувачів. Якщо сайт отримує 2,000 візитів/місяць — що реалістично для сервісного бізнесу, нового SaaS або портфоліо розробника — A/B-тестування статистично марне для майже будь-якої зміни, яку хочеш протестувати.
Ось математика, і що робити замість.
Проблема розміру вибірки
Щоб виявити зміну конверсії з 3% до 4% (33% відносне покращення — дуже оптимістично), потрібно приблизно 4,800 відвідувачів на варіант. Це 9,600 сумарно. При 2,000 візитів/місяць — майже 5 місяців тестування.
Для більш реалістичного сценарію — виявлення зміни з 3% до 3.5% (17% покращення) — потрібно приблизно 18,000 відвідувачів на варіант. Це 36,000 сумарно, або 18 місяців.
За ці 18 місяців все змінюється: аудиторія зсувається, меседжинг еволюціонує, сезонні патерни спотворюють результати, Google змінює позиції в пошуку. «Контрольований» експеримент не контрольований взагалі.
Правило: якщо не можеш досягти статистичної значущості за 2–4 тижні — тест не дає реальних даних. Він дає шум, який виглядає як дані.
Коли A/B-тестування реально працює на малих сайтах
Є вузькі сценарії, де A/B-тестування валідне навіть при низькому трафіку:
Великі розміри ефекту
Якщо тестуєш зміну, яка, очікуєш, подвоїть конверсію (3% → 6%) — потрібно ~800 відвідувачів на варіант, досяжно за місяць при 2,000 візитів. Приклади:
- Додавання vs. відсутність сторінки ціноутворення
- Повністю різні структури лендингу (не просто правки заголовка)
- Видалення цілого кроку з флоу реєстрації
Високотрафікові сторінки з бінарними результатами
Якщо одна конкретна сторінка отримує непропорційно багато трафіку (наприклад, 80% візитів на головну) і результат бінарний (клікнув CTA vs. ні) — можеш тестувати на цій сторінці з меншою вибіркою.
Email-кампанії
Якщо є email-список від 5,000+ — A/B-тестуй теми листів. Open rate вимірюваний при менших вибірках, бо базовий рівень вищий (~20–40% open rate vs. 2–5% конверсії на сайті).
Що робити замість
Для сайтів до 10K щомісячних візитів ці підходи дають більше сигналу, ніж A/B-тестування:
1. Записи сесій
Дивись 20 реальних користувацьких сесій на тиждень. Інструменти типу Hotjar, PostHog або Microsoft Clarity показують, де користувачі вагаються, проскролюють повз або йдуть. Дізнаєшся більше з 20 сесій, ніж з 3-місячного A/B-тесту.
На що дивитися:
- Де користувачі перестають скролити?
- Чи читають вони прайсинг чи пропускають?
- Чи наводять курсор на CTA без кліку?
- Чи заходять на сторінку контактів, але не відправляють форму?
2. Пряма зворотний зв'язок
Запитай останніх 5 клієнтів: «Що ледь не зупинило вас від звернення?» Відповіді будуть більш actionable, ніж будь-який статистичний тест. Типові відповіді:
- «Не міг знайти ваші ціни»
- «Не був впевнений, чи робите ви [конкретну річ]»
- «Майже пішов, бо сайт здавався занадто корпоративним/занадто неформальним»
3. До/після з базовими метриками
Замість A/B-тестів — міняй послідовно і порівнюй метрики до і після:
- Зафіксуй базову лінію: конверсію, глибину скролу, час на сторінці за 4 тижні
- Зроби одну зміну
- Виміряй ті самі метрики за 4 тижні
- Порівняй
Це не так строго, як A/B-тест — конфаундери існують. Але для сайту з 2,000 візитів/місяць порівняння «до/після» за 4 тижні надійніше, ніж маломіцний A/B-тест, що тягнеться 3 місяці.
4. Якісне тестування
Покажи лендинг 5 людям, що відповідають цільовій аудиторії. Запитай:
- «Що робить ця компанія?» (через 5 секунд)
- «Для кого це?»
- «Що б ти зробив далі?»
- «Що незрозуміло або чого не вистачає?»
П'ять якісних інтерв'ю дають більше actionable інсайтів, ніж статистичне тестування при низькому трафіку.
Ознаки карго-культу
Ти займаєшся карго-культом A/B-тестування, якщо:
- Тести тривають місяцями без досягнення значущості. Інструмент показує «Варіант B: +12%», але довірчий інтервал включає і +40%, і -15%. Це не результат — це шум.
- Оголошуєш переможця при 80% впевненості. Стандарт A/B-тестування — 95% впевненості. Нижче — ти підкидаєш монету і називаєш це стратегією.
- Тестуєш крихітні зміни. Колір кнопки, розмір шрифту, «Зареєструватися» vs. «Почати». Ці зміни впливають на конверсію на частки відсотка — невиявимо при низькому трафіку.
- Тестуєш більше однієї зміни одночасно. Якщо у Варіанту B новий заголовок І новий CTA І новий лейаут — не знаєш, яка зміна спричинила результат (якщо взагалі).
- Зупиняєш тест, коли «виглядає добре». Підглядання в результати і рання зупинка драматично роздувають false-positive rate.
Чесна відповідь
Якщо сайт отримує менше 10,000 візитів/місяць: не A/B-тестуй. Замість цього:
- Дивись записи сесій щотижня
- Питай клієнтів, що ледь не зупинило їх
- Роби одну зміну за раз, вимірюй до/після
- Тестуй великі структурні зміни, не косметичні правки
- Використовуй якісні методи (інтерв'ю, 5-секундні тести)
Залиш A/B-тестування на коли буде трафік для цього. А поки шипи патерни лендингів, які вже доведені, і фокусуйся на залученні трафіку для тестування.
Хочеш сайт, орієнтований на конверсію, без статистичного театру? Напиши — я допомагаю фаундерам будувати сайти, які конвертують на основі перевірених патернів, а не маломіцних експериментів.