Хоть какой развивающийся продукт так или по другому сталкивается с неуввязками или задачками, которые можнож решить несколькими маршрутами. И правильность решения можнож проверить лишь с поддержкою опыта и сопоставления результатов всех предложенных вариантов решения.

А/В-тестирование проводится для проверки конфигураций интерфейсов страничек. В чем его суть?Доли аудитории показывается уникальная страничка, доли – страничка с переменами. Система А/В-тестирования собирает данные по конверсии со всех вариантов страничек, по результатам подсчитывает статистическую достоверность различия конверсии. В итоге А/В-тест указывает нам действенный вариант, который можнож ввести.

Почаще всего гипотезы для тестов возникают из:

• поиска путей для оптимизации отдельных шагов воронки конверсии;
• анализа результатов исследований пользовательского опыта;
• споров продуктовой команды о развитии продукта или отдельного функционала;
• отзывов и обращений юзеров о неудобстве продукта;
• поиска путей получения корректных данных, вводимых юзерами на сайте.

Вероятны и иные варианты обоснования проведения А/В-тестов. К примеру, при запуске новейшей версии продукта мы захотим убедиться, что обновления отправь на выгоду, и она не проигрывает ветхой.

Нередко запамятывают еще одну главную задачку А/В-тестов – возможность заблаговременно проверить эффективность предложенного варианта и оценить рентабельность внесения конфигураций на боевой версии сайта или подготовки нужного контента. К примеру, что чем больше высококачественного и релевантного контента будет на карточке продукта в интернет-магазине, тем больше его будут прибавлять в корзину и потенциально приобретать. Но вероятно, что создание и актуализация такового контента будет стоить больше, чем это принесет профита компании.

По сути, A/B-тестирование – это единый вариант убедиться в том, какие конфигурации точно необходимо внедрять. Но и он не лишен различных подводных камешков.

Так, из-за широкого выбора систем может появиться неувязка с выбором хорошей. А переходить попеременно по нескольким системам – утрата медли и остановка в развитии продукта. Из-за этого может появиться чувство, что начать проводить испытания – трудная задачка и просит много вольного медли. Но, попробовав разов, вы поймете, что этот инструмент просто нужен для проверки всех конфигураций до момента внедрения.

В сети можнож отыскать великое количество статей о сопоставлении систем А/В-тестирования. Но они или написаны издавна и утратили актуальность, или подготовлены одной из систем и могут быть не совершенно беспристрастны. В этом мат-ле охото поделиться своим опытом в выборе системы проведения А/В-тестов. При всем этом у нас нет цели сопоставить несравнимое или отыскать маловостребованные необыкновенности систем и требовать на их необходимости. Быстрее это будет сопоставление и выбор на базе опыта применения различных систем на великом количестве проектов.

Полагаемся, что наш опыт поможет выбрать систему, которая решит ваши задачки. И, применив наработанное познание о собственном продукте, опосля серии А/В-тестов вы получите наиболее конверсионный и удачный юзерам интерфейс. Или, вероятно, вы решите пробовать новейшую для вас систему А/В-тестирования не будете расходовать время на поиски той, которая подойдет конкретно вам.

Что главно для выбора системы

Основываясь на собственном опыте, мы выделили несколько ключевых критериев, на которые стоит направить пристальное внимание при выборе.

1. Способности пуска тестов

1.1. Наличие всех вероятных типов тестов: А/В/N и MVT для проверки локальных гипотез, Split(редирект)– для сопоставления новейшей и ветхой версии сайта

На текущий момент все системы дозволяют запускать все варианты тестов, и это не самый критичный пункт в сопоставлении. Быстрее, странноватым может показаться неимение или ограничения в использовании какого-нибудь типа тестов.

1.2. Возможность и легкость тестирования комплекта страничек.

Нередко необходимо протестировать конфигурации или всего каталога интернет-магазина, или 1-го элемента(к примеру, стоимости)на всех страничках воронки конверсии.

1.3. Виды таргетингов для пуска тестов: как базисные способности вида URL страничек с учетом get параметров/utm метки/типы устройств, так и наиболее точечные – вида значения js переменной/значение cookie.

Традиционно в тесте вносятся конфигурации для всех, кто зашел на страничку. Но при тестировании специфичного функционала не для всех юзеров, к примеру, начисления баллов программы лояльности, понадобится весь набор вероятных таргетингов для отделения нужной аудитории.

1.4. WYSIWYG редактор и возможность конфигурации JS/CSS.

С одной стороны, надежнее сверстать новейшую версию странички, настроить редиректы и вполне приготовить новейшую страничку на сайте. С другой – прыткая проверка легких конфигураций приоритетнее, так как дозволяет в перспективе запустить безостановочный конвейер тестирования и неизменного роста конверсии.

2. Техно составляющая

2.1. Размещение системы на сайте с внедрением Google Tag Manager

Вероятно, лишний пункт, но мы привыкли применять GTM и стараемся применять его способности по максимуму для соединения всех трекеров в одном месте.

2.2. Возможность интеграции с системами веб-аналитики для получения доп срезов данных.

По нашему опыту, посещают испытания, которые по-разному влияют на разные сегменты аудитории. К примеру, при показе прогноза погоды на калькуляторе страхования выезжающих за предел, взрослые юзеры могут конвертироваться лучше оригинала странички; юные – напротив. Глядя на агрегированные данные по всем секторам в совокупы, может получиться, что различий в конверсии нет. Но просматривая результаты в различных срезах, можнож отыскать положительный итог и ввести его для релевантной аудитории.

3. Подведение результатов тестов

3.1. Возможность задать несколько характеристик для подведения результатов тестирования.

К примеру, ежели в интернет-магазине переводить всех зашедших юзеров в раздел продуктов со скидкой, то, быстрее всего, конверсия в заказы возрастет. Но средний чек при всем этом свалится. В такового рода тестах комфортно иметь возможность при подведении результатов проверить все критичные характеристики эффективности в одном отчете.[s][/s]

3.2. Удобство и простота опции отслеживания характеристик для подведения результатов тестирования.

Адекватное тестирование начинается с определения KPI, который необходимо улучшить. И лишь опосля этого стоит начинать поиск гипотез тестирования и конкретно тест. Потому главно, чтоб отслеживание нужных KPI в системе тестирования было комфортно реализовано.

3.3. Доп приборы для анализа.

Часть систем имеет интегрированные карты кликов, опросы или другой функционал, который может понадобиться как для анализа результатов проводимых тестов, так и для доп исследований.

4. Стоимость применения системы

4.1. Безвозмездная или платная система.

Великая часть систем являются платными и тарифицируются в зависимости от ежемесячного количества тестируемых юзеров.

Так как А/В-тестирование само по себе не монетизируется, а лишь дозволяет проверить и подсчитать вероятную монетизацию, охото, чтоб внедрение системы ничего не стоило. Не считая того, великая часть систем не имеют российских кабинетов, что вызывает трудности при оплате в валюте и размене документами.

Нельзя сказать, что обозначенный перечень включает в себя все вероятные аспекты сопоставления. Быстрее это нужный минимум, который стоит ждать от системы А/В-тестирования.

Сопоставление систем А/В-тестирования

Мы подготовили таблицу, где свели результаты сопоставления по обозначенным в прошлом разделе аспектам и приписали каждой системе баллы для подсчета итогового результата.

В зависимости от конкретного проекта вес критериев быть может разным. Но для простоты сопоставления в статье мы дозволили себе перевести все в числа. Ежели система отвечает аспекту, присваиваем ей 1 балл, не отвечает – 0 баллов. Ежели система отвечает аспекту и имеет доп плюс по аспекту, присваиваем 1,5 балла.

Подсчитываем проставленные системам баллы и получаем итог:

1. Visual Website Optimizer: 11 баллов

Система покрывает все базисные потребности проведения А/В-тестирования и имеет доп функционал для анализа данных. Система платная, но тарифы довольно эластичные, и стоимость ниже иных систем.

Главные плюсы системы:

• дополнительные приборы анализа(карты кликов, скроллинга, видеозаписи посещений и т.д.).

Главные минусы:

• система платная(от $49 / месяц за 10 000 юзеров);
• необходимость размещения кода без GTM и отдельные трекеры заработка.

Ежели в вашем проекте нет привязки к аналитическим системам Google, то вам подойдет VWO. А ежели по каким-то причинам у вас нет способности применять Яндекс.Метрику, то VWO предоставит вам доп способности по поиску идей для тестов.

1. Google Optimize: 10 баллов

Система покрывает все базисные потребности проведения А/В тестирования. Непревзойденно подойдет тем, кто теснее активно употребляет аналитические системы Google: систему можнож запустить через GTM и применять характеристики Google Analytics в виде целей тестирования Optimize.

Главные плюсы системы:

• бесплатная, с маленькими ограничениями(к примеру, не наиболее 5 активных тестов сразу);
• простой пуск системы через GTM и полная интеграция с GA(как с отчетами, так и с конверсиями для подсчета в тестах);
• возможность таргетировать тест по данным в dataLayer GTM.

Главные минусы:

• сложность с тестированием комплекта страничек: очень комфортен лишь для тестирования конфигураций 1-го и такого же блока на различных страничках.

1. Optimizely: 9 баллов

Система покрывает все базисные потребности проведения А/В–тестирования. Главной минус – высочайшая стоимость(от $2 тыс. за месяц). И не считая этого, у системы нет службы помощи в Рф, потому начать работу с данной системой непросто: нередко представителей компании приходится убеждать поработать с вами.

Главные плюсы системы:

• простота и удобство тестирования последовательности страничек – под их выделен отдельный тип тестов.

Главные минусы:

• необходимость размещения кода без GTM и отдельные трекеры заработка;
• платная, с персональными стоимостями.

1. Convert: 10 баллов

Система покрывает все базисные потребности проведения А/В-тестирования. Довольно сбалансирована по своим способностям.

Главные плюсы системы:

• система платная(от $449 / месяц за 800 000 юзеров).

Главные минусы:

• необходимость размещения кода без GTM и отдельные трекеры заработка.

1. Google Analytics: 3 балла

Система обветшала и по своим способностям уступает хоть какой другой системе А/В-тестирования. В планах Google – вполне заменить испытания Google Analytics на Google Optimize.

Главные плюсы системы:

• возможность применения данных GA;
• бесплатная.

Главные минусы:

• все остальное.

В собственной работе мы приостановили выбор на Google Optimize. Главные предпосылки: во-1-х, мы используем весь стек аналитических систем Google, во-2-х, система имеет безвозмездную версию.

Visual Website Optimizer имеет ряд плюсов, необыкновенно в смежном функционале для анализа данных. Но его прямые аналоги есть в Яндекс.Метрике и выплачивать за это не стоит.

Что мыслят о различных системах А/В-тестирования в мире

Хоть какой вопросец сопоставления способностей не быть может однозначным и беспристрастным. Мы поделились своим опытом, но, вероятно, в другой ситуации главными будут иные причины, и лучшим выбором будет система, которая нам не подошла. Во всяком случае выбор за вами.

Для сопоставления сможете поглядеть G2 Crowd A/B Testing Software quadrant и отзывы юзеров о различных системах. Но будьте внимательны, в этом сопоставлении участвуют не совершенно лишь системы А/В-тестирования, но и системы персонализации контента.