8 правил А/В тестирования – немного искусства в науке маркетинга

Наш новый перевод статьи от Uri Bar-Joseph, главы отдела отдела маркетинга в компании Optify, посвящен правилам, которые следует учитывать в процессе А/В тестирования.

«Данные! Данные! Данные!» – крикнул он раздраженно. «Я не могу сделать кирпичи без глины». – Шерлок Холмс, «Медные буки».

Данные – это ключ к правильному ответу. Если вы нигде не можете найти нужную информацию, следует поставить эксперимент, собрать необходимые данные и позволить им подсказать правильное решение.

Тестирование – одно из основных искусств маркетинга, которым маркетолог должен овладеть благодаря постоянной практике.

А/В тестирование следует рассматривать как соревнование между двумя игроками – будущим победителем и его соперником. Вы устанавливаете правила, обустраиваете место действия, объявляете игроков, но позвольте полученным данным судить, кто выиграл.

Для А/В тестирования не нужно модное програмное обеспечение, способное выполнять некие сложные функции на основе передовых алгоритмов. Все, что потребуется – это немного здравого смысла и знания нескольких простых правил. Вот 8 правил, которые следует учитывать в процессе А/В тестирования.

Гипотеза

Каждый тест начинается с гипотезы, которую вы пытаетесь подтвердить или опровергнуть. Гипотеза представляет собой короткое предложение. Это предложение, обобщающее то, что вы пытаетесь  доказать, содержит тестируемую переменную и ключевую метрику, которая определяет победителя.

Ваша гипотеза (например, «Цитата на странице приземления увеличит конверсию») определяет параметры эксперимента и фокусирует внимание на  тестовой переменной – цитате – и ее влиянии на результат, т.е. на увеличение конверсии. Указывайте это вверху вашего теста.

Одна переменная

По своей сути, А/В тестирование предназначено для тестирования одной переменной. Это значит, что все остальные параметры должны оставаться неизменными.

Если вы тестируете предметную строку (строку, содержащую сведения о теме сообщения) в электронной почте, все остальные пременные, способные повлиять на результат теста: вариант письма, адресная строка, время отправки, страница приземления и т.д. – должны оставаться неизменными.

Если две тестируемые версии будут отличаться еще чем-то, то результаты теста не будут убедительными, так как вы не сможете соотнести успешный результат одной из версий с каким-то конкретным фактором.

А/В тестирование означает не только то, что у вас есть два игрока, но и что у вас есть одна переменная.

Понятная и точная метрика успеха

Пережде чем вы начнете тестирование, решите, как вы собираетесь измерять его успешность. Как и в любом соревновании есть только один способ победить (баллы, голоса, время и т.д.) Также должно быть и в А/В тестировании.

Выделите одну метрику успеха, которая определит победителя, основываясь на том эффекте, которого вы хотите достичь. Метрика успеха и переменная должны быть определены максимально точно.

Если вы хотите повысить уровень конверсии на странице приземления и решили для этого протестировать влияние количества полей формы для заполнения, вашей метрикой успеха должен быть показатель конверсии, а переменной будет количество полей формы для заполнения. В этом случае ваша гипотеза будет звучать так: «Чем больше полей в форме для заполнения на странице, тем ниже уровень конверсии».

Одна из распространенных ошибок при А/В тестировании – рассмотрение нескольких метрик и выбор самой главной, после того, как тестирование закончено. Это как сообщить баскетбольной команде, набравшей наибольшее количество баллов, что они проиграли игру из-за меньшего количества отборов.

Объем данных и статистическая достоверность

Для успешного тестирования необходимо набрать достаточный объем данных, чтобы статистика была достоверной. Учитывайте, что вам нужна достоверная информация не только по самим тестовым группам, но и по результатам теста и разнице между этими группами.

Представьте, что вы проводите почтовый тест и отправляете 5 000 писем, а ваша метрика успеха – это количество людей, открывших письмо. Тогда вам необходимо набрать достаточно информации  о количестве людей, открывших письмо (о количестве кликов), а также о разнице между результатами тестовых групп, выраженной в процентах от общего объема тестируемых.

Вы можете узнать больше о статистической достоверности в статье от Avinash Kaushik, и использовать советы от Rags Srinivasan.

Тестовые группы и их соотношение

Необходимо следить, чтобы объем данных был достаточным не только для всего теста, но и для отдельных тестовых групп.

Вы можете установить равномерное соотношение между контрольной и тестовой группой 50/50 или неравномерное – до 95/5.

Если у вас есть очевидный лидер и вы предчувствуете его успех, установите неравномерное соотношение 90/10. Таким образом, вы не повредите работе вашего сайта, реализуя тестирование.

Если вы начинаете тестирование, не имея явного лидера, установите для первого теста равномерное соотношение между тест-группами.

Использование фактора случайности

Так как вы тестируете одну переменную, то захотите пренебречь всеми остальными переменными в процессе отбора аудитории. Но помните, что ваша контрольная и тестовая группа должны отбираться случайно.

Случайная выборка – это способ отбора, предоставляющий всем субъектам равную возможность быть выбранными. Не используйте псевдо-случайные приемы отбора, которые исказят результаты тестирования, такие как отбор по местоположению, часовому поясу или тайтлам. Переменные, которые могут быть протестированы не должны использоваться для выделения случайных тест-групп.

Если вы работаете с Salesforce, то можете использовать случайные числа (эта система предлагает множественные идеи и решения, которые могут вам помочь. Вот одно из них). Есть возможность случайного выбора, который можно осуществить в excel, или случайных факторов, таких как первая буква в адресе электронной почты.

Тестируйте, но слушайтесь здравого смысла

Несмотря на то, что протестировать можно все, далеко не все ДЕЙСТВИТЕЛЬНО НУЖНО тестировать. Прислушивайтесь к своему здравому смыслу.

Используйте лучший опыт  и уже существующие данные. Они подскажут вам, что уже работает как надо, и вы сможете сосредоточиться на тестировании переменных, в которых вы до сих пор не уверены.Также тестируйте те переменные, которые, как вы думаете, повысят производительность вашего сайта, а не те, что могут оказать незначительный эффект.

Проводите тесты для принятия грамотных решений и улучшения работы сайта, а не ради самого тестирования.

Отчетность

Отчетность – один из наименее продуманных элементов в тестировании. Здесь может помочь дополнительное програмное обеспечение.

Если вы усердно тестируете сайт, скорей всего вы фанатично относитесь к документированию тестов и результатов. Такого рода отчетность предоставляет возможность делать выводы, основываясь на предыдущих данных, избегать повторных тестов, а также обучать ваших сотрудников и преемников.

Если вы не против публикации результатов тестирования, то короткий пост в блог об основных тестах, которые вы проводили, может стать отличным вариантом фиксирования и хранения прлученных данных. Это позволит быть уверенным в том, что вы не забудете результаты своих тестов. Вот пример быстрой документации от Optify о результатах теста Twitter's Auto DM.

Пару мудрых слов напоследок

Если вы настоящий атлет в области маркетинга (я имею ввиду, настоящий универсал, а не просто специалист), вы должны знать, как проводить тесты и делать это непрерывно. Помните, что тестирование является средством для повышения результатов, и не должно делаться ценой впечатления от продукта и пользы, которую вы предоставляете вашим потенциальным клиентам и заказчикам.