A/B-тесты: два варианта вместо спора о вкусах
Из семи работ направления эта единственная, где отвечаем не мы расчётом и не покупатели словами, а посетители поведением. Отсюда её требование — живой поток: при небольшом трафике разница между вариантами тонет в случайности, и тест честнее не начинать.
- «Варианты одинаковые» — полноценный результат, за который заплачено: гипотезой меньше
- День, в который читаем результат, назначаем до запуска, а не когда цифра понравилась
- Процентов роста конверсии не называем ни до работы, ни после: такого числа у нас нет
- Кнопку двигают до тех пор, пока не устанет тот, кто спорит
- Побеждает не вариант, а должность того, кто его предложил
- Через месяц спор начинается заново: доказательства не осталось
- Оба варианта показываются живым людям одновременно, а не по очереди
- День чтения результата известен заранее и не переносится по настроению
- Ответ остаётся записанным, и к закрытой гипотезе больше не возвращаются
Ни одна строка справа не обещает, что станет лучше. Тест отвечает только на вопрос, различают ли посетители два варианта, — и ответ «нет» здесь такой же законный, как ответ «да».
Почему «стало лучше на глаз» — это не результат
Самая дорогая ошибка в этой работе делается не в настройке, а в чтении результата. Люди приходят разные, и разница между двумя вариантами появляется сама собой, даже когда варианты одинаковые. Чем меньше поток, тем убедительнее выглядит эта случайность, — и тем охотнее её принимают за победу.
Проверить это можно без всякой теории: поставьте два абсолютно одинаковых варианта и пустите на них трафик. Разница появится. Вопрос только в том, насколько она велика и как долго держится.
- На малом потоке разницу создаёт день недели в понедельник приходят одни люди, в пятницу другие, в конце месяца третьи. Если посетителей мало, вариант, которому достался удачный день, выиграет — и выигрыш не повторится ни разу
- Нужное число людей считается до теста, а не после оно зависит от двух вещей: какая у вас конверсия сейчас и насколько мелкую разницу вы хотите заметить. Чем меньше разница, тем больше людей нужно, — и это не наша прихоть, а арифметика
- Остановка «когда понравилось» отменяет весь тест если смотреть на результат каждый день и выключить в тот момент, когда цифра хорошая, вы гарантированно найдёте разницу — любую, даже несуществующую. Поэтому число и дата назначаются заранее и не двигаются
Назвать нужное число посетителей в общем виде нельзя. Оно считается под конкретную страницу и конкретную гипотезу, и кто называет его заранее — называет наугад. Мы считаем его на разборе, бесплатно, по вашей текущей конверсии; довольно часто из этого счёта следует, что тестировать пока рано, и тогда мы так и говорим.
И про проценты роста: их вы не найдёте ни на этой странице, ни в наших отчётах. Чужие цифры вроде «переписали кнопку и получили плюс тридцать процентов» относятся к чужой странице, чужой аудитории и чужому продукту. Перенести их на вас нельзя, а повторять их — значит обещать то, чего мы не знаем.
Шесть гипотез, которые окупают проверку
Тестировать можно что угодно, но каждый тест съедает поток, а поток конечен. Поэтому гипотезы выбираются по одному признаку: если она подтвердится, изменится ли что-то заметно. Ниже — шесть, которые обычно проходят этот отбор, и одна, которая его не проходит никогда.
Самая частая и самая осмысленная гипотеза: человек решает остаться или уйти по первой строке. Проверять имеет смысл не формулировку против формулировки, а два разных обещания — например, результат против снятого страха.
Каждое обязательное поле кого-то останавливает, а каждое убранное поле удешевляет обращение и ухудшает его качество. Это честный обмен, и его стоит измерить, а не угадывать: иногда лишний вопрос окупается тем, что менеджер не тратит день на чужих.
Назвать сумму или написать «рассчитывается индивидуально», показать вилку или одну цифру, поставить цену выше или ниже сгиба. Гипотеза сильная, но требует осторожности: меняется не только число обращений, но и то, кто обращается.
Порядок блоков меняет то, какую информацию человек получает первой. Поднять цену выше, поставить доказательство сразу за обещанием, убрать длинный текст перед формой — это разные страницы для читателя, хотя содержание одинаковое.
Момент нажатия — это момент сомнения, и то, что стоит рядом, работает сильнее всего остального на странице. Проверяют обычно разные типы доказательств: гарантия, порядок работы, имена, отказ от навязчивых звонков.
Самая сильная и самая редкая гипотеза: меняется не страница, а предложение — состав пакета, условие входа, способ оплаты. Такие тесты трудно готовить и невозможно откатить одним движением, зато результат у них совсем другого порядка.
Чего в списке нет намеренно: цвета кнопки, скруглений, размера шрифта и прочего оформления. Такие проверки съедают поток целиком и почти никогда не меняют ничего заметного, а место в очереди занимают. Если поток у вас ограничен — а он ограничен почти у всех, — тратить его стоит на обещание, цену и состав предложения.
Стоит ли вам тестировать — четыре вопроса
Вопросы не про бюджет, а про то, есть ли у теста шанс что-то показать. Этот тест умеет ответить «тестировать можно» и умеет ответить «денег за это мы не возьмём» — во втором случае цена не показывается вовсе. Считает браузер, ответы никуда не уходят.
Скажем прямо: тест что-то покажет или утонет в случайности, надо ли сначала завести учёт цели и не стоит ли сузить гипотезу до одной переменной.
Отвечено 0 из 4
Тест смотрит на условия, а разбор смотрит на вашу гипотезу: мы считаем, сколько людей нужно именно вам, и говорим, за какой срок они наберутся. Это бесплатно и ни к чему не обязывает.
Посчитать под мою страницуНазвать спор, который идёт
Назовите спор, который у вас идёт, — скажем, решается ли он тестом«Ставить цену на первый экран или нет», «убрать ли поле из формы», «какое из двух обещаний сильнее». Посмотрим на ваш поток и скажем, наберётся ли нужное число людей и за какой срок. Если не наберётся — предложим, как решить спор иначе.
Три способа узнать, почему не покупают, — и только один из них тест
Их регулярно путают, потому что все три обещают «разобраться с конверсией». На деле они отвечают на три разных вопроса, и два из них тест не отвечает вообще. Выбирать надо не по цене, а по тому, какой вопрос у вас сейчас.
| Что сравниваем | A/B-тест | Аудит сайта | Разговор с покупателями |
|---|---|---|---|
| На что отвечает | какой из двух вариантов остаётся | что мешает на пути до заявки | почему выбрали или не выбрали |
| На что не отвечает | почему победил именно этот | какой из двух вариантов лучше | как поведут себя остальные посетители |
| Что нужно на входе | поток людей и учёт цели | доступ к счётчику на чтение | контакты ваших покупателей |
| Когда будет ответ | когда наберётся назначенное число людей | к сроку документа | когда люди согласятся поговорить |
| Когда это ваше | есть два готовых варианта и спор между ними | непонятно, что вообще менять | непонятно, какими словами говорить |
| Сколько стоит | по числу гипотез, называем на разборе | от 25 000 ₽ | входит в от 80 000 ₽ |
Практическое правило. Тест не ищет идеи — он их отсеивает. Если непонятно, что менять, начинать надо с аудита сайта или с разговоров с покупателями: оттуда приходят гипотезы, а сюда они приходят на проверку. Ставить тест без гипотезы — значит перебирать варианты наугад и тратить на это поток, которого и так мало.
Как идёт один тест
Пять шагов, и два из них делаются до запуска. Это не формальность: почти все испорченные тесты испорчены на втором шаге, когда число, по которому заканчивают, не назначили заранее и стали решать по ходу.
-
01
Превращаем спор в гипотезу
«Мне кажется, так лучше» не проверяется. Гипотеза звучит иначе: если поставить цену выше сгиба, доля оставляющих заявку изменится. Здесь же решается, что считаем результатом — заявку, оплату или что-то третье; от этого зависит всё дальнейшее.
-
02
Назначаем число и дату окончания
Считаем, сколько людей нужно при вашей нынешней конверсии, чтобы разницу можно было отличить от случайности, и когда они наберутся. Если по этому счёту выходит слишком долго, мы говорим об этом здесь, а не после запуска, — и предлагаем другую гипотезу или другой способ решить спор.
-
03
Делаем второй вариант
Отличающийся ровно одним. Проверяем, что он одинаково работает на телефоне и на компьютере и что цель считается в обоих вариантах: половина испорченных тестов испорчена тем, что во втором варианте сломалась форма, и «проигрыш» оказался поломкой.
-
04
Пускаем и не трогаем
Самый трудный шаг, потому что смотреть на промежуточные цифры хочется каждый день. Промежуточные цифры прыгают, и решение, принятое по ним, гарантированно найдёт разницу — любую. Мы следим только за исправностью обоих вариантов, а результат читаем в назначенный день.
-
05
Читаем результат и решаем
Три возможных исхода: победил первый, победил второй, разницы нет. Третий встречается не реже остальных и означает, что спор можно закрыть и заняться следующей гипотезой. Всё записывается в протокол — вместе с сырыми данными, а не только с выводом.
Один тест не окупается — окупается привычкаОтдельная проверка стоит денег и даёт ответ на один вопрос. Смысл появляется, когда тесты идут подряд: каждая проверенная гипотеза сужает поле, и через несколько кругов решения начинают приниматься по данным, а не по совещаниям. Поэтому работу мы считаем не «за тест», а по числу гипотез и сроку, и говорим об этом до счёта.
Чтобы цель считалась самаУсловия, при которых мы сами предложим остановиться
У проверок есть неприятное свойство: их всегда можно продолжить. Ещё одна гипотеза, ещё один вариант, ещё неделя — и подрядчику это выгодно, каждый шаг выглядит осмысленным. Поэтому конец работы назначается до её начала и проверяется потоком на вашей странице, а не нашим представлением о том, что стало лучше.
| Когда | Что смотрим | Останавливаемся, если | Продолжаем, если |
|---|---|---|---|
| До запуска | хватит ли потока | по вашей конверсии нужное число людей наберётся неприемлемо долго — тест ничего не покажет, и денег мы за него не возьмём | число набирается за разумный срок, и срок назван до старта |
| В первые дни | исправны ли оба варианта | во втором варианте сломалась форма, вёрстка на телефоне или учёт цели — тест перезапускается, а не дочитывается | оба варианта работают одинаково и цель считается в обоих |
| К назначенной дате | набралось ли нужное число | не набралось и не наберётся в обозримый срок: читать результат по неполным данным мы не станем, это было бы гаданием | набралось — читаем результат в этот день, а не когда цифра понравится |
| По результату | есть ли разница | разницы нет: закрываем гипотезу и не подбираем другую метрику, по которой она бы нашлась | разница есть — внедряем победителя и берём следующую гипотезу |
Первая строка стоит нам работы целиком, и мы её всё равно пишем. Продать серию тестов компании с небольшим потоком легко: процесс идёт, отчёты приходят, а бесполезность выяснится через квартал — и доказать её будет нечем, потому что результаты и должны были прыгать. Мы считаем нужное число людей на бесплатном разборе и говорим «рано» там, где это правда рано.
Остаётся протокол, а не вывод одной строкой
Результат теста — это не фраза «второй вариант лучше». Это запись: какая была гипотеза, чем отличались варианты, какое число назначили до старта, сколько людей пришло, что получилось и какое решение приняли. Без этой записи тест невозможно ни оспорить, ни повторить, и через полгода он превращается в предание о том, что когда-то что-то проверяли.
Сырые данные отдаются вместе с выводом. Не потому, что вы будете их пересчитывать, а потому, что возможность пересчитать меняет отношение к выводу — и нашу дисциплину тоже. Подрядчик, который отдаёт только вывод, всегда может выбрать тот срез, где разница получилась красивее.
- Формулировка гипотезы: что проверяли и что считали результатом
- Оба варианта в исходниках и скриншотами, на телефоне и на компьютере
- Число и дата окончания, назначенные до запуска, — с расчётом, откуда они взялись
- Сырые данные по обоим вариантам, а не только итоговая сводка
- Решение и его дата: что оставили, что вернули, что отложили
- Список проверенных гипотез, чтобы не возвращаться к ним через год
- Отдельно — гипотезы, отложенные из-за нехватки потока, с пояснением
- Настройки инструмента, в котором шёл тест, — в вашем аккаунте, а не в нашем
Это одна из семи работ направления
И последняя по порядку: тест не придумывает, что менять, — он отсеивает то, что придумали до него. Общее для направления — состав работ, порядок этапов, три ступени сметы и стоп-критерии — описано на странице направления.
Цена у этой работы считается не по ступеням направления, а по числу гипотез и длительности: серия проверок — не разовый документ. Ориентир для сравнения — разбор направления, от 80 000 ₽. Продуктовый маркетинг целиком
Когда тестировать не нужно
Четыре ситуации, в которых мы отговариваем. Первая — самая частая из всех отказов на сайте: тесты выглядят солидно, продаются легко и при недостаточном потоке дают красивые, убедительные и совершенно случайные результаты.
-
Если людей приходит мало
Разница между вариантами утонет в случайности, и победит тот, кому достался удачный день. Тест при этом честно отработает и выдаст результат — просто он ничего не будет означать. Пока поток небольшой, дешевле менять страницу целиком и смотреть на деньги, а не на доли процента.
-
Если цель нигде не считается
Тесту нужно число, по которому он заканчивается. Если заявки и продажи нигде не фиксируются, сравнивать будет нечего, и спор перейдёт в обсуждение впечатлений. Учёт цели заводится быстро и полезен сам по себе — это сквозная аналитика, от 45 000 ₽, и начинать надо с неё.
-
Если непонятно, что менять
Тест отсеивает гипотезы, а не придумывает их. Когда гипотезы нет, начинается перебор наугад, и поток уходит на проверку случайных идей. Гипотезы берутся из разбора пути до заявки или из разговоров с покупателями — оттуда, где видно, на чём люди спотыкаются.
-
Если не сходится экономика
Проценты конверсии не переворачивают арифметику: там, где клиент обходится дороже, чем приносит, лучший вариант страницы приведёт больше убыточных клиентов. Сначала расчёт — он умеет закончиться выводом, что заниматься страницей пока не надо вовсе.
Первый случай стоит нам самых длинных проектовСерию тестов компании с небольшим потоком продать проще всего: работа идёт, отчёты приходят, результаты выглядят убедительно. Их бесполезность выяснится через квартал, и доказать её будет нечем — цифры и должны были прыгать. Поэтому нужное число людей мы считаем до договора и называем срок, за который они наберутся.
Когда вам это не нужноОткуда берутся гипотезы и что делать, если тестировать нечем
Тест стоит в конце цепочки и работает только с тем, что ему принесли. Если приносить нечего или проверять не на чем, полезнее заняться соседней работой, а к проверке вернуться позже — она никуда не денется.
Нижние границы всех направлений собраны на странице цен. Если не уверены, хватит ли вам потока, спросите на бесплатном разборе: мы посчитаем нужное число людей по вашей конверсии и назовём срок, за который они наберутся, — до всякого счёта.
A/B-тесты и работа с конверсией: что стоит знать до заказа
Что тест умеет и чего не умеет
Умеет он ровно одно: сказать, какой из двух вариантов оставить. Это меньше, чем от него обычно ждут, и одновременно больше, чем даёт любой другой способ, — потому что ответ получен поведением реальных людей, а не мнением, пусть даже экспертным. Спор, который тянулся месяцами на совещаниях, заканчивается за назначенный срок и не возвращается.
Не умеет он объяснять. Тест не скажет, почему победил вариант с ценой на первом экране: то ли людям важна прозрачность, то ли цена отсекла не ваших и осталась доля, которая и так была готова. Причины ищутся другими способами — записями поведения на странице и разговорами с покупателями. Поэтому тест ставят после того, как гипотеза появилась, а не вместо её поиска.
И не умеет он работать на малом потоке. Это не ограничение инструмента, а свойство самой процедуры: чтобы отличить настоящую разницу от случайной, нужно определённое число наблюдений, и оно тем больше, чем мельче разница, которую вы хотите заметить. Назвать это число в общем виде нельзя — оно считается под конкретную страницу и конкретную гипотезу.
Как испортить тест, не нарушив ни одного правила
Самый распространённый способ — смотреть на результат каждый день и остановить тест, когда цифра понравилась. При этом ничего формально не нарушается: данные настоящие, инструмент работает. Но если проверять результат многократно и останавливаться по первому удачному моменту, разница найдётся практически всегда, включая случаи, когда варианты идентичны. Защита одна: число и дата назначаются до запуска и не двигаются.
Второй способ — менять несколько вещей сразу. Тест ответит «второй вариант лучше», и это будет правдой, но повторить успех не получится: непонятно, что именно сработало, а что, возможно, даже мешало. Иногда такой тест осмыслен — когда сравнивают старую страницу с полностью новой, — но тогда и вывод формулируется соответственно: «новая версия лучше», а не «цена на первом экране работает».
Третий — не проверить, что второй вариант исправен. Сломанная на телефоне вёрстка или не срабатывающая цель превращают тест в измерение поломки. Мы проверяем оба варианта в первые дни и перезапускаем тест, если что-то разъехалось: дочитывать испорченный тест хуже, чем не начинать его вовсе, потому что вывод будет выглядеть законным.
Что делать с результатом «разницы нет»
Принять его как ответ. Это не неудача работы: проверенная и отброшенная гипотеза снимает с повестки спор, который иначе возвращался бы каждые полгода, и освобождает поток для следующей проверки. Плохо другое — начать искать метрику, по которой разница всё-таки появится. Такая метрика найдётся всегда, и это самый простой способ превратить измерение в самообман.
Часть гипотез не даёт разницы, и это нормальный исход. Мы не называем, какая именно часть: такого числа у нас нет, а чужие оценки собраны на чужих продуктах и чужой аудитории. Мы говорим об этом до начала работы, чтобы результат «одинаково» не воспринимался как повод для возврата денег: заплачено было за ответ, и ответ получен.
Если разницы не дают несколько гипотез подряд, вывод уже не про страницу. Обычно это означает, что дело либо в том, кому вы говорите, либо в самом предложении — в цене, в составе, в условии. Тогда работа переходит на уровень выше: продуктовый маркетинг разбирается с тем, что вы продаёте и кому, а расчёт экономики показывает, есть ли вообще смысл увеличивать поток на этой странице.
Вопросы про тесты
Шесть вопросов именно про этот формат. Общее про направление — состав работ, этапы и ступени сметы — на странице направления
Остался вопрос?
Написать в Telegram, отвечаем за 30 минутЧисла в общем виде не существует, и мы его не называем. Нужное количество зависит от двух вещей: какая у вас конверсия сейчас и насколько мелкую разницу вы хотите заметить. Чем выше конверсия и крупнее ожидаемая разница, тем меньше людей нужно. Мы считаем это под вашу страницу на бесплатном разборе и сразу говорим, за какой срок они наберутся. Если кто-то называет вам универсальное число до того, как посмотрел вашу статистику, — это число взято ниоткуда.
Столько, сколько набирается назначенное число людей, — и дату мы называем до запуска, посчитав её по вашему потоку. Есть нижняя граница, не связанная с количеством: тест захватывает целые недели, потому что поведение в будни и в выходные различается, и тест, отработавший три будних дня, измерит будни, а не вашу страницу. Останавливать раньше срока нельзя, даже если цифры уже выглядят убедительно, — особенно если выглядят.
Технически можно, и иногда это осмысленно — когда сравнивают старую страницу с новой целиком. Но тогда и вывод будет соответствующий: «новая версия работает лучше», без объяснения, какая именно часть дала эффект, а какая, возможно, мешала. Если вы собираетесь переносить находку на другие страницы, меняйте по одному: только так появляется правило, а не единичный результат.
Это полноценный результат, и мы говорим об этом до начала работы, чтобы потом не было разговора про возврат. Гипотеза проверена и закрыта: спор, который иначе возвращался бы каждые полгода, закончился, а поток освободился для следующей проверки. Чего мы точно не станем делать — искать другую метрику, по которой разница всё-таки найдётся. Такая метрика находится всегда, и это самый простой способ превратить измерение в самообман.
Нет, и процентов роста вы не найдёте ни на этой странице, ни в наших отчётах: такого числа у нас не существует. Тест не увеличивает конверсию — он выбирает между двумя вариантами, и вполне возможно, что победит нынешний. Обещать мы можем состав работы и дисциплину: число назначаем до старта, меняем по одному, останавливаем по сроку и отдаём сырые данные вместе с выводом. Чужие цифры вроде «плюс тридцать процентов от смены кнопки» относятся к чужому продукту, и переносить их на вас было бы враньём.
Да, в отличие от большинства работ направления. Нужен доступ к счётчику на чтение, чтобы посмотреть поток и конверсию, и возможность поставить второй вариант — это делается либо через инструмент тестирования, либо руками вашего разработчика. Аккаунт инструмента заводится на вас, а не на нас: настройки и история тестов должны оставаться у вас после окончания работы. Если доступа к коду нет и подрядчик недоступен, мы скажем это сразу — без второго варианта тест невозможен.
Назовите спор — посчитаем, решается ли он тестом
- Посчитаем, сколько людей нужно именно вам, и за какой срок они наберутся
- Поможем превратить «мне кажется, так лучше» в гипотезу, которую можно проверить
- Если потока не хватит, скажем это до счёта и предложим, как решить спор иначе
Заявка принята
Посчитаем по вашему потоку и вернёмся в течение рабочего дня. Если срочно — напишите в Telegram.
Или напишите сразу:
Telegram · отвечаем лично за 30 минут