Мы входим в ТОП-15
разработчиков по версии
Free-Lance.Ru
+7 8512 41-41-61

Три распространенных ошибки при A/B-тестировании

26.05.2014

В наше время специалистов от маркетинга и электронной коммерции трудно удивить A/B-тестами. Если вы профессионал в одной из этих областей, то наверняка вам известно, как работает тестирование. Поэтому расскажу о наиболее часто встречающихся ошибках при проведении A/B-тестирования.

A/B-тест

Этих ошибок три:

  1.  Проводить недостаточно тестов, забывая про мультивариативные тесты и A/A-тесты.
  2. Тестировать абсолютно все. Эту ошибка по-другому называется «паралич тестирования».
  3. Применять тестирование в задачах, с которыми они не справляются.

Недостаточно тестов

A/A-тестирование

Сделать новый вариант страницы и начинать сравнивать – этого не достаточно. Для получения статистически верных результатов при A/B-тестировании, необходимо, что бы на обе страницы попадала аудитория одинакового качества. Рекомендуем перед началом тестирования проверить вашу аудиторию с помощью A/A-тестов. Скопируйте имеющейся у вас страницы, аудиторию разделите пополам и показывайте каждой части посетителей свой дубликат.  На обеих страницах разница показателя конверсии не должна выходить за пределы статистической погрешности.

Если это не так, то проводить A/B-тестирование не имеет смысла.

A/A-тестирование

На конверсию страницы влияет множество факторов, но наиболее значимыми являются два: качество страницы и качество аудитории. Поскольку в обоих случаях страницы одинаковые значит, имеет место не равномерное распределение аудитории между страницами. Для решения этой проблемы есть два пути. Первый – накопить больше данных, для этого продлить тестирование еще на несколько дней. Если для обеих страниц показатели конверсии сравняются, это будет означать что столько же времени надо проводить и A/B-тестирование. Второй - поменять аудиторию. С этой целью можете попробовать запустить отдельную рекламную кампанию.

Мультивариативные тесты

Допустим, вы создали для лэндинга новый дизайн. Провели проверку аудитории A/A-тестом и сравнили старый вариант дизайна (вариант A) и новый дизайн (вариант B).

Допустим, результат тестирования показал прирост конверсии на 15%. Это прекрасный результат, но сильно радоваться по этому поводу не стоит, так как только теперь начинается настоящее тестирование. Самое время подумать над тем, как еще больше увеличить конверсию. Можете поработать над заголовком на целевой странице, попробуйте поэкспериментировать с главным изображением, перекомпонуйте блок, предназначенный для целевого действия.

Для мультивариативного тестирования создаются несколько вариантов одной и той же страницы, с целью проверки какой из них будет иметь лучший результат.

Допустим, вы хотите протестировать новый текст надписи на целевой кнопке и два новых фото продукта. Итого у вас получится шесть вариантов оформления страницы — оригинал (B) и 5 комбинаций (B1—B5).

Мультивариативные тесты

Теперь вам необходимо разделить весь входящий трафик на 6 равных частей между всеми вариантами страницы и провести тестирование на протяжении нескольких дней. Пока я говорю о нескольких днях, так как вопрос длительности тестирования очень важен и будет подробно освещен в следующих публикациях. По происшествии двух-трех дней проанализируйте полученные результаты.

Обнаружив варианты страниц с более высокой конверсией, не спешите останавливать тесты, а ищите ту страницу, которая имеет наихудшую конверсию. Данную страницу исключаете из тестирования, а весь трафик в равных частях льете на оставшиеся страницы. Через пару дней анализируете полученные результаты и исключаете из тестирования очередную страницу с наименьшим показателем конверсии.

Если на протяжении длительного времени показатели конверсии разных страниц приблизительно одинаковы, то это означает что ваша аудитория не реагирует на изменение изображения и заголовка. Оставьте тот вариант страницы, который вам самим кажется, наиболее привлекательным и завершите тестирование. Или найдите для исследования другие объекты.

Если в ходе каждой итерации всегда находилась существенно более слабая страница и к концу тестирования осталась только одна страница — значит, наступил момент финальной схватки за звание чемпиона.

Если в результате тестов гору взяла страница В4, то проведите контрольное тестирование между страницами В4 и В. Остался ли результат без изменений?

Мультивариативные тесты

Однажды проводя тестирование 128 вариантов посадочной страницы, я допустил ошибку. В результате, когда я провел финальное тестирование, то увидел, что конверсия оригинала оказалась на голову выше, чем у финалиста предварительных тестов. Это говорит о том, что при тестировании имели место разные внешние факторы. К сожалению, тестирование пришлось проводить заново.

Тестирование всего

Всем известна история продакт-менеджера Google Марисы Майер, которая запустила серию тестов с целью найти оптимальный цвет для рекламных ссылок. Было протестировано сорок различных оттенков синего цвета. В результате был выявлен оттенок, который способствовал увеличению конверсии на десятые доли процента. Учитывая масштабы Google, данные результаты принесли компании десятки миллионов долларов. Для компаний меньшего масштаба такой небольшой прирост конверсии не даст существенного финансового результата.

Излишние тесты — крайность

Познакомившись с A/B-тестами, многие компании начинают их применять абсолютно для всего. Так самые неимоверные инициативы, ранее отсеиваемые здравым смыслом, без промедления подвергают тестированию.

— Давай добавим фотографию котика на главную страницу?
— Кхм... Мы же продаем станки…
— Ничего, всем людям нравятся коты! Не веришь? Давай проведем тестирование!

Если для увлекшегося тестированием маркетолога — это способ развлечься, то для компании — это затраты ресурсов и времени отдела разработки. Окупит ли незначительный рост конверсии эти вложения ресурсов?

Напомню, конверсия может различаться даже при A/A-тестировании. А если так, то при сравнении размера шрифта или оттенков ссылок показатели конверсии также будут немного отличаться.

Если ваша компания по размеру уступает Google, то советую вам такие колебания рассматривать не как опровержение или доказательство своей правоты, а как статистическую погрешность.

Тестирование применимо не для любой задачи

Проблема A/B-тестов в том, что они заточены на оптимизацию одного шага.

Допустим, вы нашли оптимальное решение, как заставить больше потенциальных клиентов перейти с первой ступеньки на вторую. А если до покупки надо пройти еще несколько страниц? А если вы хотите добиться долгосрочной лояльности покупателей, а не любой ценой сделать определенное число продаж. A/B-тестирование не выявит, какой именно дизайн сделал покупателя постоянным. И, кроме того, иногда тестирование может вводить в заблуждение.

Тесты подходят не для каждой задачи

Хочу рассказать пример, ставший хрестоматийным. Delivery Club проводил тестирование двух баннеров. На одном был изображен бургер с надписью «Голоден?», на втором — симпатичная девушка с той же табличкой. Кликабельность баннера с девушкой в разы превосходила показатели баннера с бургером. Зато показатели конверсии посетителей в покупку у баннера с девушкой была существенно хуже.

Резюме

  • Что бы получить достоверные результаты, начните с A/A-тестования, для проверки аудитории. Победителя A/B-тестирования подвергните мультивариативному тестированию. Проверьте результат сравнением оригинала с победителем.
  • Применяйте тестирование только там, где возможно добиться значительных улучшений. Избегайте паралича тестирования. Проверяйте свои задачи.
  • И помните, что A/B-тесты дают приемлемые результаты на коротких временных промежутках, а для длительных имеются свои инструменты.

При подготовке статьи использовались материалы блога компании Oh My Stats.