Сколько A/B-тестов на самом деле побеждают: разбираемся с реальными цифрами

A/B-тестирование часто продают как способ гарантированно найти улучшение. На практике абсолютное большинство тестов не показывает статистически значимой победы — и это нормальная, ожидаемая часть процесса, а не признак того, что что-то делается неправильно.

Что на самом деле показывает статистика

По данным независимого аудита 2288 тестов, реальный win rate (доля тестов со статистически значимым победителем) составляет около 17–22% — это согласуется с опубликованными ориентирами платформ: 12% у Optimizely, около 14% у VWO, около 20% у CXL/Convert. Другими словами, распространённое правило «1 тест из 8 оказывается победным» на самом деле слишком пессимистично — реальная цифра ближе к 1 из 5–6.

Почему «сырой» win rate выглядит куда выше

Если считать любой тест, где вариант B хоть немного обошёл A (без учёта статистической значимости), цифры вырастают до 50–60%. Разница огромна, и именно поэтому важно уточнять методологию: «половина тестов побеждает» и «пятая часть тестов побеждает статистически значимо» — это два разных, хотя и оба технически верных утверждения об одних и тех же данных.

Что это значит для бизнеса с небольшим трафиком

Если большинство тестов даже у зрелых команд с большим трафиком не показывают значимого результата, для сайта с умеренным трафиком статистическая значимость может требовать недель или месяцев набора данных — и тест, «не показавший победителя», не обязательно провал, если он честно был доведён до нужного размера выборки. Хуже — останавливать тест раньше срока по первому визуальному отличию, которое статистически ничего не значит.

Практический вывод

A/B-тестирование окупается не за счёт того, что «каждый тест — победа», а за счёт того, что даже 1 победа из 5–6 попыток, если она реальна и воспроизводима, окупает все неудачные тесты за счёт долгосрочного эффекта. Тестировать стоит гипотезы с наибольшим потенциальным эффектом (главная кнопка призыва к действию, ключевой шаг воронки), а не мелкие косметические детали — на них тот же процент побед даст куда меньший абсолютный эффект.