A/B-тестирование: суть, методы, инструменты

Автор Максим Пушкарёв

На чтение 10

В данной статье мы расскажем:

• Суть A/B-тестирования
• Цели A/B-тестирования
• Когда нужно A/B-тестирование
• Что можно исследовать А/В-тестом
• 6 шагов А/В-тестирования
• Инструменты для проведения A/B-тестирования
• Трудности при A/B-тестировании
• Топ-5 ошибок при A/B-тестировании

Суть A/B-тестирования

A/B-тестирование, или сплит-тестирование (в переводе с английского «раздельное тестирование», от словосочетания «split testing») — это инструмент, с помощью которого можно проверить гипотезы и решить, как дальше действовать, исходя из полученных данных, не опираясь только на интуицию или прошлый опыт.

Источник: shutterstock.com

Возможности развития бизнеса зависят от количества посетителей, приходящих на сайт. Поэтому привлечение новых клиентов и укрепление связей с имеющимися имеют большое значение. Большой трафик на сайте и возможность получения как можно больше пользователей определяется воронкой конверсии. A/B-тестирование — это метод оптимизировать ее для сайта. Исследование показывает, какая из двух версий страницы (начальная А или измененная В) предпочтительнее для посетителей. При планировании изменений принимайте во внимание данные аналитики и итоги проведенных тестов, так как субъективная личная оценка редко показывает реальную картину.

Суть метода:

• Выделить сегменты аудитории. Они должны быть одного размера.
• Предложить пользователям разные варианты дизайна/контента.
• Изучить поведение клиентов и понять, какая из версий лучше отвечает задачам.
• Применять этот вариант и масштабировать его.

Тестировать можно форму регистрации, дизайн страницы, расположение и цвет кнопок, заголовки, рекламный текст и другие параметры.

Цели A/B-тестирования

Маркетинг — процесс динамичный, постоянно требующий улучшений. Однократно созданный сайт, объявление или рассылка сами не приносят заявки. Клиенты часто очень требовательны, а конкурентные компании не стоят на месте, поэтому нужно постоянно создавать и тестировать гипотезы, чтобы удерживать внимание пользователей. Кто сможет лучше подстроиться под постоянно меняющиеся условия, тот и будет в выигрыше.

Источник: shutterstock.com

С помощью A/B-тестирования можно:

• Улучшить метрики

Скучный контент, несовременный дизайн – главные причины низкой кликабельности и отказов. Если постоянно проводить тестирование и решать каждую проблему оптимально, таких проблем не будет. Метрики наибольшее значение имеют для маркетологов. Отказы показывают, какая доля клиентов покинула сайт в течение первых 15 секунд, ни разу не сделав никаких действий. Кликабельность — основная метрика, отражающая соотношение числа нажатий к показам.

• Усовершенствовать юзабилити, то есть комфортное пользование сайтом

Посетители должны без труда находить форму подписки на рассылку, корзину. Нужные кнопки должны быть сразу видны, иначе пользователи будут покидать ресурс без заказов. В любом сайте всегда можно найти, что улучшить, даже если кажется, что он очень хорош. UX-дизайнеры с помощью А/В-тестов делают оформление наиболее понятным и удобным, оптимизируют его.

• Увеличить конверсию с наименьшими рисками

Конверсия имеет важное значение для менеджеров по продажам и маркетологов. Сплит-тест позволяет понять, как изменится конверсия при разных вариантах оформления баннеров или кнопок. При этом затрат и потерь практически нет, так как половина аудитории будет видеть прежнюю версию сайта.

Есть много примеров, когда А/В-тестирование позволяло компаниям увеличить продажи и получить желаемые результаты. К примеру, WorkZone, американская компания из IT-сферы, за счет отзывов увеличила число лидов более чем на 30 %. Сначала изменения были проверены на маленькой группе, а потом были внедрены на основной сайт.

Кому нужно A/B-тестирование

• Продакт-менеджеры могут тестировать изменение воронки продаж для улучшения конверсии или оптимизировать ценовые модели с целью увеличения доходов.
• Маркетологам необходимо изучать призывы к действию (call-to-action), картинки или другие составляющие маркетинговой или рекламной кампании с целью корректуры метрик.
• Продуктовые дизайнеры применяют результаты тестов, чтобы определить до внедрения, насколько удобна будет новая функция, или проверяют дизайнерские решения (например, цвет кнопки для оформления покупки).

Источник: shutterstock.com

Когда нужно A/B-тестирование

К А/В-тестированию обращаются в случаях, когда:

• нужно получить объективную оценку качества изменений;
• имеется большое количество данных и пользователей;
• есть временные и другие ресурсы для изменения дизайна и проведения анализа.

А/В-тест является лучшим вариантом получения необходимых сведений перед внесением каких-либо изменений.

Почему при малом числе пользователей и данных тестирование проводить не нужно? Рассмотрим ситуацию: у фирмы по продаже окон и дверей новый молодой лендинг, контекстная реклама проводится с минимальным бюджетом и поэтому количество посетителей сайта пока небольшое.

В этом случае из-за недостатка нужных данных, невысокой чувствительности метрик, легко можно пропустить какие-либо значимые изменения, поэтому тестирование будет неинформативным. Тогда для получения результата нужно будет изучать гипотезу несколько месяцев. Но при этом теряется смысл использования инструмента, так как главная цель тестирования — быстрое получение достоверных данных, которые позволят в короткие сроки принять решение.

Что можно исследовать А/В-тестом

Очень многое:

1. На сайте:
   • призыв к действию (СТА) – текст, форма или цвет кнопок;
   • дизайн и размещение на странице места для обратной связи;
   • title и description — метаописание разделов сайта в выдаче поиска;
   • картинки и текст.
2. В контекстной рекламе:
   • текст объявления;
   • заголовок;
   • креативы;
   • быстрые ссылки.
3. В имейл-рассылках:
   • тема и прехедер писем;
   • дизайн и креативы;
   • обращение к подписчикам;
   • формат рассылки.

Источник: shutterstock.com

6 шагов А/В-тестирования

Проведение тестирования состоит из нескольких этапов. Рассмотрим каждый из них подробнее.

Поставить цель

Смысл исследования должен соответствовать глобальной установке организации. Так, у компании по продаже пластиковых окон и дверей главным является рост объема продаж с сайта, на который попадают пользователи через контекстную рекламу. Следовательно, нужно проводить тестирование, которое может повлиять на рост заявок с лендинга. Например, можно изменить форму кнопок с прямоугольной на круглую.

Не стоит проводить проверку гипотез, которые изначально не связаны с главной целью компании. Специалисты говорят об А/В-тестировании, что это – командная работа, требующая временных и ресурсных затрат. Если же ориентир поставлен неверно, то средства будут потрачены зря.

Выбрать метрику

Этот этап имеет большое значение для успешного проведения тестирования. Метрики — это основные показатели бизнеса:

• выручка;
• объем продаж;
• конверсия;
• чистая прибыль;
• количество клиентов;
• показатель отказов.

Метрику часто сравнивают с термометром, так как она говорит о том, насколько хорошо вашим клиентам, сколько вы зарабатываете и так далее. Для рассматриваемого тестирования основная метрика — это число заказов с сайта, то есть считать вы должны оплаченные клиентами заявки.

Обычно выбирают одну метрику, но иногда допустимо в качестве дополнительных брать еще несколько показателей. Здесь важно не переусердствовать. Если в ходе одного тестирования использовать много метрик, то эффективность исследования сильно упадет. В примере с пластиковыми окнами и дверями из дополнительных показателей можно выбрать чистую прибыль и сумму среднего чека.

Определить гипотезы

Допущение нужно выбирать по правилу «Если сделать что-то, то получим то-то». Вторая часть при этом должна совпадать с выбранной для тестирования главной метрикой. Например: если сделать из прямоугольных кнопок круглые, то конверсия сайта вырастет с 3–4 % до 9–10 %».

Источник: shutterstock.com

Для правильной интерпретации результатов применяют два вида гипотез:

• Нулевая — внесенные изменения не имеют эффекта, конверсия не меняется.
• Альтернативная — перемены вызывают рост конверсии до 9–10 %.

То есть если ничего не поменялось, то сработала нулевая гипотеза, и нет смысла что-то переделывать. Если же конверсия выросла, то значит, альтернативный вариант эффективен, и изменения можно распространять на всю аудиторию. Если же эффект отрицательный, то нужно сделать шаг назад и подумать, как еще поднять главную метрику.

Определиться с дизайном

Этот этап — из наиболее значимых. В зависимости от команды и возможностей введения теста, он может быть более или менее техническим. Так, Яндекс предлагает автоматическую систему, которая перед началом сплит-тестирования сегментирует аудиторию и рассчитывает объем выборки, то есть определяет количество людей в каждой подгруппе, нужное для получения требуемого объема данных, позволяющих принять решение.

Вопросы, на которые нужно ответить перед созданием проекта дизайна теста:

• какая категория пользователей будет участвовать — старые, новые, все, определенный сегмент и так далее;
• по какому признаку формируют группы: например, по определенным районам, городам;
• объем выборки;
• длительность тестирования;
• допустимый значимый уровень — обычно 90–95 %.

Если не знаете, как рассчитать объем выборки, надо обратиться к собственному опыту и поставить е условие «нужно получить определенное изменение данного размера». На этой основе можно определить минимально возможное количество пользователей для теста. Рассмотрим на примере сайта той же компании. Так как трафик на сайт идет от контекстной рекламы, то во внимание принимают новых посетителей (10 % от общего количества), не разбивая их на группы. За 24 часа на лендинг заходит около 100 человек, поэтому, если тестирование будет длиться 1 месяц, то на новую версию лендинга попадут примерно 300 потенциальных покупателей (10 %). Такая выборка достаточна, чтобы принять объективное решение.

Провести эксперимент

Нужно начать тестирование и просто ждать, контролируя текущие результаты, особенно в начале исследования. Важно проверять, чтобы все работало как надо и обе группы посетителей «чувствовали себя хорошо». В некоторых случаях первые этапы показывают, что подтверждается альтернативная гипотеза. Многие новички тогда ошибаются и завершают тестирование раньше запланированной даты. Это неверно: сначала перемены могут поднять ключевую метрику, но к концу анализа реальный эффект часто отсутствует либо отрицателен. Поэтому важно дождаться намеченного срока окончания теста.

Проанализировать результаты

Полученные данные анализируют, чтобы понять, появилась ли разница и не носит ли она случайный характер. После этого решают, масштабировать внесенные изменения на всю аудиторию или вернуть все в первоначальное состояние.

Инструменты для проведения A/B-тестирования

Для экспериментов можно применять следующие инструменты:

• Google Optimize. Ранее это был очень востребованный сервис для сплит-тестирования. Он давал возможность проверить одновременно несколько гипотез и 5 вариантов. В 2023 году поддержка сервиса была прекращена и А/В-тестирование ввели в Google Аналитику 4.
• Эксперименты в Яндекс.Метрика. Этот инструмент достаточно новый, но он уже успел завоевать популярность среди русскоговорящих пользователей.
• 3RealROI — российская платформа, позволяющая проводить тестирование на сайтах и управлять объявлениями в Директ.
• Optimizely — удобный и интуитивно понятный инструмент.
• MyTarget — платформа походит для тех, кто тестирует не лендинги, а рекламные объявления.
• VWO — иностранный платный сервис с широкими возможностями. Требует опыта работы с версткой, поэтому не подходит для новичков.

Трудности при A/B-тестировании

При планировании A/B тестирования и составлении выводов по его результатам необходимо учитывать множество факторов.

Самые распространенные:

• Эффект новизны и неприятие перемен, когда их впервые видят старые пользователи.
• Хороший трафик и конверсия для статистически значимых и воспроизводимых результатов.
• Последовательность среди тестируемых в экспериментальной и контрольной аудитории.
• Выделение лучших показателей для вынесения конечного решения. Например, оценка дохода в сравнении с числом кликов.
• Практическая применимость коэффициента конверсии, стоимость внедрения нового элемента относительно прибыли, обусловленной ростом конверсии.
• Длительность исследования, позволяющая учесть изменения в настроении и поведении клиентов в зависимости от сезона, времени суток, дня недели и так далее.

Топ-5 ошибок при A/B-тестировании

1. Раннее завершение

   Уже на начальных этапах после старта теста человек видит тенденцию, делает поспешные выводы и прекращает исследование. Это неверно: со временем результаты могут меняться, и есть риск получить некорректные выводы. Одно А/В-тестирование должно занимать не меньше 7 дней.

2. Изменение настроек в ходе теста

   Необходимо соблюдать последовательность действий:

   • выбрать метрики до начала;
   • провести настройку необходимых параметров;
   • начать тестирование;
   • дождаться завершения.

   Если в процессе настройки корректировать, то результаты будут меняться и вы не сможете понять, какой из вариантов лучше работает.

3. Изучение нескольких элементов единовременно

   Во время теста важно исследовать один элемент, иначе непонятно, какой именно из них поможет достичь цели. Важно соблюдать очередность.

4. Тестирование на небольшом трафике

   Это приводит к замедлению процесса получения значимых результатов. Рекомендуется проводить сплит-тест, если каждый из вариантов будет показан более чем 1 000 пользователям.

5. Пропуск анализа по сегментам

   Пример: в веб-версии новый вариант сайта может привести к снижению конверсии, но дать ее прирост на 45 % при использовании мобильных устройств. При тесте нужно учесть все нюансы.

Важно понимать, что А/В-тестирование, или сплит-тест, — это только эксперимент, а не обязательное подтверждение гипотез. Не всегда они могут проходить успешно, поэтому к ним следует относиться как к необходимому опыту, что поможет лучше узнать пользователей, уделить внимание недочетам. Нужно помнить, что ни один тест не приведет к ожидаемой цели, если сайт будет работать с перебоями из-за технических проблем, поэтому надо выбрать надежный хостинг.