Рассказывал приятелю о статусе стартапа: “проводим А/Б тест стоимости подписки, проверяем …

Рассказывал приятелю о статусе стартапа: “проводим А/Б тест стоимости подписки, проверяем четыре варианта цены, за неделю набрали примерно 40 продаж, скоро примем решение”. Он явно хотел то ли меня ударить, то ли расхохотаться.

“Мы в корпорации с нашими тысячами покупок держим тесты на цену месяцами. В потреблении контента есть сезонность, в дни зарплаты люди платят лучше, в плохую погоду аудитория растет, а конверсии падают. Чтобы всё это учлось и усреднилось, даже нам нужно время и объёмы. А потом ещё надо смотреть отток – и тут меньше месяца ждать невозможно. Ваш тест – профанация.”

Ответ – повод для нравоучительного #стартапдня. Он, конечно, прав. Но и мы тоже правы. Разница в том, что корпоративный тест должен быть точным, выигрыш в 10% для него это очень много, 2% - неплохо. На миллиарде рублей выручки (а у реальной корпорации в разы больше) это дополнительные сто или двадцать миллионов за год, правильный выбор окупает IT-отдел или хотя бы группу аналитики. В погоне за 2% надо быть очень аккуратным, погода и правда дает больший разброс.