Marketing & Consulting
Стратегический маркетинг и консалтинг
Главные принципы A/B-тестирования [Пошаговое руководство]

 Когда маркетологи, подобные нам, создают страницы перехода, пишут е-мейлы или создают кнопки с призывом к действию (CTA, calls to action), у них может возникнуть искушение прибегнуть к интуиции для того, чтобы предсказать, куда  именно будут нажимать и переходить люди.  Развитая интуиция – это, конечно, прекрасно, но маркетинговые решения, основанные на «предчувствии», могут привести к очень неутешительным результатам.  Поэтому, вместо того чтобы полагаться на свой внутренний голос, гораздо разумнее прибегнуть к оптимизации коэффициента конверсии  (CRO, conversion rate optimization).

Оптимизация коэффициента конверсии– прекрасный инструмент, смысл которого состоит в формировании положительного опыта для посетителя или лендинга, ориентированного на рост конверсии.

 

Ни для кого не секрет, что разные аудитории ведут себя по-разному: что эффективно для одной компании может не сработать для другой компании.

 

Фактически эксперты в области оптимизации коэффициента конверсии не признают термин «лучшие практики», поскольку для Вас это может быть вовсе не лучшая практика.

Также стоит отметить, что разрабатываемые маркетологами тесты могут быть очень сложными, и если Вы не внимательны, то можете сделать неверные допущения по поводу того, что людям нравится и что заставляет их кликнуть по ссылке, - решения, которые могут легко повлиять на другие составляющие Вашей стратегии.

Один из самых простых (и самых распространенных) видов оптимизации коэффициента конверсии называется A/B тестирование.

 

A/B тестирование просто сравнивает одну переменную маркетингового контента с другой, например, зеленую кнопку с призывом к действию и красную, чтобы посмотреть, какая из них работает лучше.

 

 

В чем заключается основной смысл A/B тестирования?

 

Читайте дальше, чтобы узнать подробнее, что такое A/B тестирование, и ознакомиться со списком того, что маркетологу следует сделать до, во время и после А/B тестирований.

Советуем Вам сделать закладку, чтобы применить это для проведения Вашего собственного A/B тестирования.

 

Как работает A/B  тестирование?

 

Для проведения A/B тестирования Вам нужно создать две версии одного контента, которые различаются одним лишь элементом. Затем Вы должны будете представить эти обе версии двум идентичным аудиториям и проанализировать, какая из них сработала лучше.

Например, Вы хотите понять, улучшится ли показатель конверсии, если Вы перенесете определенную кнопку с призывом к действию с боковой панели в  верхнюю часть главной страницы.

Для A/B тестирования подобного изменения Вам нужно создать другую, альтернативную веб страницу, на которой призыв к действию будет помещен в другом месте. Текущий дизайн или «контрольный» дизайн – это Версия А. Версия В – альтернативный вариант.

Затем Вы протестируете обе версии, показав каждую из них определенному проценту посетителей сайта (чтобы узнать больше про A/B тестирование, скачайте наше бесплатное вводное руководство здесь).

Теперь давайте посмотрим подробнее основные моменты подготовки, проведения и оценки результатов A/B тестирования.

 

Принципы проведения A/B-тестирования

 

До проведения A/B-тестирования

 

1) Выберите один элемент для тестирования.

 

В процессе оптимизации веб страниц и е-мейлов, возможно, Вы захотите протестировать несколько элементов. Но чтобы оценить, насколько эффективно изменение, Вам нужно будет выделить один отдельный элемент и измерить его эффективность. Иначе Вам будет непонятно, какой из элементов повлиял на изменение эффективности. Вы можете протестировать несколько элементов одной веб страницы или е-мейла, но тестируйте их по отдельности.

Посмотрите на различные элементы Ваших маркетинговых ресурсов и возможные альтернативы дизайна, формулировок и разметки страницы.

Также, возможно, имеет смысл протестировать темы е-мейлов, имена отправителей и разные способы персонализации е-мейлов.

Помните, что даже простые изменения, такие, как изменение картинки в е-мейле или слов на кнопке с призывом к действию, могут привести к значительному улучшению. Фактически такие изменения гораздо легче измерить, чем более масштабные изменения.

Примечание: есть некоторые случаи, когда имеет больше смысла протестировать несколько элементов, а не один. Этот процесс называется многовариантное тестирование. Если Вы сомневаетесь, проводить ли A/B тестирование или многовариантное тестирование, то обратитесь к нам за консультацией прямо сейчас!

 

2) Определитесь с целью.

 

Хотя Вы будете измерять ряд показателей для каждого теста, выберите основной показатель, но котором следует сфокусироваться до проведения теста. Фактически сделайте это даже до того, как выбирать второй вариант. Если Вы отложите на потом определение того, какие показатели имеют наибольшее значение, каковы Ваши цели и как предлагаемые Вами изменения могут повлиять на поведение потребителей, то Вы, скорее всего, не самым эффективным образом проведете тестирование.

 

3) Определитесь с «контрольным» и альтернативным вариантами.

 

Установите неизменную версию элементов, которые Вы будете тестировать как «контрольные». Если Вы тестируете веб-страницу, то это неизмененная веб-страница, которая уже существует сейчас. Если Вы тестируете страницу перехода, то это будет дизайн страницы перехода, который Вы обычно используете.

Затем создайте другой вариант или «альтернативный» элемент – веб сайт, страницу перехода или е-мейл, который Вы будете сравнивать с контрольными вариантами. Например, если Вы думаете, включать ли отзывы клиентов на страницу перехода, сделайте контрольную страницу без отзывов. Затем создайте вариант с отзывами.

 

4) Тестируйте группы с одинаковыми характеристиками и методом случайной выборки.

 

Для тестирований, где у Вас больше контроля над аудиторией – как в случае с е-мейлами – Вам нужно провести тестирование среди двух или более равнозначных аудиторий, чтобы иметь возможность сделать выводы на основании результатов.

Как именно это делать, зависит от инструмента A/B тестирования, который Вы выберете.

 

5) Определитесь с размером выборки (в тех случаях, где применимо).

 

То, какой тип и размер выборки вам стоит  для себя принять, также зависит от инструмента и типа A/B тестирования, которое Вы проводите.

Если Вы делаете A/B тестирование для е-мейл кампании, Вы, вероятно, захотите разослать тестовые варианты по частям:  кампании  варианта  А  по первой части и кампании варианта Б  по второй части контактов. Это делается для того, чтобы понять, какой вариант получит наибольший отклик.

В итоге Вы выберете выигравший вариант и разошлете его остальной части Вашего списка контактов.

Если Вы являетесь клиентом M&C, Вам помогут определить необходимый размер выборки. Это позволит Вам провести A/B тестирование типа 50/50  на выборке любого размера. Рекомендуемое число контактов для проведения такого тестирования составляет минимум 1000 респондентов.

Если Вы тестируете что-то, не имеющее определенного размера аудитории, например, веб страницу, тогда размер выборки будет напрямую зависеть от того, как долго будет проводиться Ваш тест. Вам придется проводить тест достаточно долго, чтобы получить существенное количество просмотров. В противном случае будет сложно сказать, есть ли статистически значимое различие между двумя вариантами.

 

6) Определитесь, какая статистическая значимость Вам требуется.

 

Когда Вы выбрали то, что хотите измерить, подумайте, насколько значимыми должны быть результаты, чтобы обосновать предпочтение одного варианта другому. Статистическая значимость – очень важная часть процесса A/B тестирования, которую часто неверно понимают. Если Вам нужно освежить свои знания о статистической значимости применительно к маркетингу, я рекомендую прочитать этот пост.

Чем выше уровень значимости, тем больше Вы можете быть уверены в результатах. В большинстве случаев Вам нужен уровень значимости минимум 95%, а лучше даже 98%, особенно если тестирование займет много времени. Тем не менее, иногда может иметь смысл использовать более низкий уровень значимости,  когда Вам не нужна настолько высокая точность результатов.

Например, сказать: «я на 80% уверен, что это правильное решение и я хочу поставить на него все», - равнозначно проведению A/B тестирования с 80% уровнем значимости и затем объявить выигравший вариант.

Вы, скорее всего, захотите задать более  высокий показатель конверсии. Почему? Потому что случайные отклонения в данном случае будут оказывать большее влияние.

В качестве примера, где мы можем с меньшими последствиями снизить наши критерии значимости, можно привести эксперимент, который может улучшить уровень конверсии на 10% или больше, например, редизайн основной области страницы.

Основной вывод здесь состоит в том, что чем более заметное изменение мы хотим сделать, тем менее научно нам следует подходить к процессу. Чем более неприметно изменение (цвет кнопки, микро копия и т.п.), тем более научными мы должны быть, так как влияние изменения на уровень конверсии будет не столь большим и заметным.

 

7) Проводите тестирование только для одного элемента в рамках одной рекламной кампании.

 

Тестирование более чем одного элемента в рамках одной компании – даже если это разные платформы – может свести на нет результаты тестирования. Например, если Вы проводите A/B тестирование е-мейл кампании со ссылкой на страницу перехода и самой страницы перехода одновременно, то как Вы поймете, какое из изменений привело к увеличению количества лидов?

 

Во время A/B тестирования

 

8) Используйте инструменты для A/B тестирования.

 

 

Для проведения A/B тестирования на сайте или в е-мейле Вам понадобится инструмент для проведения A/B тестирования.  Вы можете использовать  специализированные технические инструменты, например, Google Analytics' Experiments, которые позволяют провести A/B тестирование до 10 полных версий одной веб-страницы и сравнить их эффективность на случайной выборке пользователей.

 

9) Тестируйте оба варианта одновременно.

 

Время проведения играет важную роль в результатах маркетинговой кампании, будь то время дня, время недели, месяца или года. Если Вы будете проверять Версию А в один месяц, а Версию В – в следующем месяце, как Вы поймете, вызвано ли улучшение/ухудшение изменением в дизайне или же тем, что тестирование проводилось в другом месяце?

При проведении A/B тестирования нужно проверять оба варианта одновременно, иначе Вам придется гадать о достоверности полученных результатов.

Единственное исключение – если Вы тестируете именно время, например, ищете оптимальное время отправления е-мейлов. Это хороший способ провести тестирование, потому что в зависимости от того, что предлагает Ваш бизнес и кто Ваши подписчики, оптимальное время рассылки может сильно различаться в разных отраслях и целевых аудиториях.

 

10) Проводите тестирование достаточно долго, чтобы получить достоверные результаты.

 

Вам следует убедиться, что Вы проводите тестирование достаточно долго, чтобы получился значимый размер выборки. В противном случае будет сложно сказать, есть ли статистически значимое различие между двумя вариантами.

Какая продолжительность достаточна? В зависимости от Вашей компании и того, как именно Вы проводите A/B тестирование, статистически значимые результаты можно получить в считанные часы, или дни, или недели. В значительной степени продолжительность тестирования, необходимая для получения значимых результатов, зависит от трафика. Поэтому, если у Вас на сайте маленький трафик, тогда A/B тестирование займет больше времени. Теоретически Вам не следует ограничивать время сбора результатов.

 

11) Попросите обратную связь у реальных пользователей.

 

A/B тестирование имеет дело с количественными данными… Но они не обязательно помогут понять, почему люди совершают те или иные действия. Пока Вы проводите A/B тестирование, почему бы не получить качественные данные от реальных пользователей?

Один из лучших способов спросить у людей их мнение – провести опрос. Вы можете добавить опрос на Вашем сайте с вопросом посетителям о том, почему они не нажали на призыв к действию, или страницу с благодарностью и вопросом о том, почему посетитель нажал на кнопку или заполнил форму.

Например, Вы можете обнаружить, что много людей нажали на призыв к действию, ведущий на электронную книгу, но когда они увидели цену, то отказались от покупки. Подобная информация будет очень ценной для понимания, почему Ваши пользователи ведут себя именно так, а не иначе.

 

После A/B Тестирования

 

12) Сфокусируйтесь на ключевых показателях.

 

Несмотря на то что Вы измеряете несколько показателей, при анализе сфокусируйтесь на главном показателе.

Например, если Вы тестировали два варианта е-мейла и выбрали в качестве главного показателя  «количество лидов», не переключайтесь на уровень просмотра или переходов по ссылке. Вы можете получить высокий уровень переходов и низкий уровень конверсии и в итоге выбрать вариант с низким уровнем переходов.

 

13) Измеряйте значимость результатов с помощью калькулятора для A/B тестирования.

 

 

Теперь, когда Вы определились, какой вариант лучше, пришло время определить, имеют ли Ваши результаты статистически значимую разницу. Другими словами, оправдывают ли они изменение?

Чтобы это понять, Вам нужно проверить статистическую значимость. Вы можете сделать это вручную… Или просто ввести результаты эксперимента в наш бесплатный калькулятор для A/B тестирования. Для каждого протестированного варианта Вам нужно будет ввести общее количество участников. Например, отправленных е-мейлов или просмотров. Затем введите количество успешных действий. Обычно кликов, но можно использовать и другой вид конверсии.

Калькулятор определит уровень значимости различия между вариантами. Затем сравните его с учетом выбранного Вами уровня значимости.

 

14) Действуйте в соответствии с полученными результатами.

 

Если один вариант статистически лучше другого, то поздравляем!  У Вас есть победитель. Завершите тестирование, убрав проигравший вариант.

Если ни один из вариантов не лучше другого, то Вы просто узнали, что протестированный элемент не влияет на результат, и Вы можете пометить тест как нерезультативный. В этом случае используйте изначальный вариант. Или же проведите еще один тест. Вы можете использовать уже полученные данные для определения нового варианта для нового тестирования. 

В то время как A/B тестирование помогает Вам пошагово решать задачи, Вы также можете применять выводы из каждого тестирования для будущих решений. Например, если Вы провели A/B тестирование е-мейлов и несколько раз обнаружили, что использование цифр в теме е-мейла ведет к более высокому уровню переходов, то Вы можете использовать эту тактику и в других е-мейлах.

 

15) Запланируйте следующий тест.

 

A/B тестирование, которое Вы только что закончили, возможно, помогло обнаружить новый способ увеличения эффективности маркетингового контента. Но не останавливайтесь на этом. Всегда есть место для дальнейшей оптимизации.

 

Например, если Вы только что протестировали заголовок страницы перехода, почему бы не провести новый тест для содержания текста? Или цветовой схемы? Или картинок? Всегда ищите возможности увеличить уровень конверсии и лидов.

 

Чтобы  Вы еще добавили в этот список для проведения A/B тестирования? Поделитесь Вашими идеями в комментариях.  Заполните форму обратной связи.

 

Предварительный заказ
Заполните форму и Мы обязательно свяжемся с вами!
X
X

Спасибо!

Ваша заявка принята!
Подписаться на рассылку

Marketing and consulting


Адрес электронной почты *
Имя
Фамилия



* Обязательные поля