A/B-тесты

Как сделать редизайн сайта и не обанкротиться?

Внимательно изучая новинки маркетинга, обнаружила интересные инструменты: А/А и А/В тестирование.

A/B-тестирование (англ. A/B testing, Split testing) - метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. (Википедия)

Мне одной кажется, или правда раньше это называлось «метод тыка»?

Источником этого открытия для меня стала некая инфографика, описывающая, когда такое тестирование якобы «необходимо».

Просмотрела я её внимательно и поняла, какие компульсии — произвольные побуждения к действию — сотрудников и руководства создают ложные предпосылки к изменениям, что ведёт, в свою очередь, к ошибкам в маркетинге и бесполезной трате рекламного бюджета. Делюсь.

Итак, никогда не стройте оформление на следующих вещах, и не меняйте его, если:

  1. Сотрудник, занимающий высокий пост, говорит, что кнопка (картинка, фон) должны быть именно таким (желтым, шершавым, с котятами), — потому что он так считает.
  2. Кто-то говорит: «Я это делал раньше, и это сработало!»
  3. Дизайнер говорит: «Выглядит супер!» и считает это своим главным шедевром, защищая его до последней капли крови.
  4. При опросе было получено слишком мало ответов публики.
  5. Дизайнер или разработчик предлагает: «А давайте просто попробуем!» (вывесим и посмотрим, что будет).
  6. Вам самому эта идея до чёртиков нравится.
  7. Вы прочитали в чьём-то блоге, что какая-то фишка у него сработала.
  8. Маркетолог хочет чего-нибудь новенького, или ему наскучил нынешний дизайн (это может случиться в любой момент времени).
  9. «Так решил коллектив».
  10. Это ясно из результатов исследований, методика которых вам неизвестна (или известно, что это халтура).
  11. Гуру говорит, что это прошлый век и все пора менять.
  12. Вас «озарило» во время или после посиделок с профессионалами в баре.
  13. Это сделал конкурент и теперь хвастается, что у него «поперло». Вы не представляете, как часто это делается с целью вызвать невроз у окружающих!

По последнему пункту вспоминается анекдот про пенсионера на приеме у врача. Дедушка жалуется на снижение потенции. Врач: «А сколько вам лет?» Пациент: «Мне 72. Ну и что? Вот у меня приятель, ему 74, так вот он говорит...» Врач отвечает: «Ну и вы. И вы говорите».

Когда же можно проводить A/B-тесты?

Нет смысла с наскока устраивать нововведения, потому что результат может быть фатальным.

Никогда не трогайте то, что уже работает: изменяя модель, можете ненароком «смахнуть» что-нибудь нужное и важное.

Помните, что «авторитеты», «мнения» и «авторитетные мнения» — главные убийцы всего работающего и правильного.

Не поддавайтесь на стоны типа: «Ой, одно и то же, сколько можно, уже всем надоело!..» Если это даёт рост продаж, значит, так тому и быть навеки. Вы хоть раз за последние 60 лет видели синюю наклейку на бутылке «Кока-колы»? То-то и оно!

Этикетка кока-колы за 60 лет

Вы хоть раз видели синюю наклейку Кока-колы?

Всегда, всегда требуйте провести опросы потребителей на каждую изменяемую тютельку. И на то, что работает в нынешней модели. Если есть возможность опросить живых людей, делайте именно так: непосредственный контакт с человеком дает верные данные лучше, чем опрос через Интернет. Можете ли вы поручиться, что человек в Сети не отвечал «от балды»? Можете ли вы поручиться, что в день, когда вы тестировали новый дизайн, не повлияли какие-то неучтённые внешние факторы (аномальная погода, плохие новости, чемпионат по футболу, сбои у местного провайдера)? При опросе вживую подобных проблем не возникает.

Поэтому делайте опросы по правильной методике или заказывайте у тех, чья технология вам известна.

Не позволяйте дизайнерам обесценивать результаты опросов высказываниями типа: «Господи, ну кому это может нравиться?!» или «Я даже не представляю, как это можно изобразить!..» или «Я с этим работать не могу!» Пусть включают воображение и делают, что положено.

Проверяйте, соответствует ли дизайн результатам опросов. Не допускайте оправдательного мышления и всегда отсылайте на исправление, если дизайнеры отклонились от темы.

Запустив изменения, чутко мониторьте изменения отношения потребителя, что выразится в улучшении или ухудшении продаж.

И только после этого проводите А/А и А/В-тесты. Если уж так хочется попробовать и на это есть деньги. Но думаю, что к тому моменту вы во всем разберётесь безо всяких тестов.

Впрочем, у А/В-теста есть полезное назначение: изучать реакцию публики, когда у вас нет никакой возможности связаться лично или по телефону, либо это нереально дорого. Например, вы тестируете изменения на сайте, который предназначен для узкой группы людей из разных городов или даже стран. Или, например, вы выбираете между вариантами настроек интернет-рекламы, ориентированной на такую группу.

Однако перед тем, как прибегать к А/B-тестированию, спросите себя, достаточно ли хорошо вы определили свою целевую аудиторию. Возможно, есть места поблизости (клубы, сообщества, форумы, съезды, слёты, тематические выставки и конференции), где вы можете встретить нужных людей и пообщаться с ними вживую.

По опыту скажу: если быть достаточно изобретательным и общительным, это всегда можно сделать, причём без особых расходов.

МЕНЮ