Эрик Рис - Бизнес с нуля. Метод Lean Startup для быстрого тестирования идей и выбора бизнес-модели Страница 28

По сравнению со многими другими стартапами команда Grockit обладала огромным преимуществом: она была чрезвычайно дисциплинированна. Такая команда может следовать неправильной методологии, но способна быстро переключить скорость, обнаружив ошибку. И самое главное: дисциплинированная команда может экспериментировать со своим собственным стилем работы и делать осмысленные выводы.

Когортный анализ и сплит-тестирование

Grockit изменила критерии оценки успеха. Вместо общих она стала использовать показатели, основанные на когортном анализе, а вместо поисков причинно-следственных связей задним числом стала запускать каждую новую опцию как эксперимент по сплит-тестированию.

В эксперименте по сплит-тестированию клиентам одновременно предлагаются разные версии продукта. Наблюдая изменения в поведении между теми, кто пользуется разными версиями, можно сделать выводы о влиянии разных изменений. Этот метод впервые стали использовать рекламодатели в сфере директ-мейла. Например, компания отправляет клиентам каталог продукции. Если вы хотите протестировать его дизайн, то можете отправить 50 % клиентов новую версию, а другим 50 % – старую, стандартную версию каталога.

Чтобы добиться научной чистоты эксперимента, оба каталога должны содержать одни и те же товары. Отличаться должен только дизайн. Чтобы выяснить, какой дизайн лучше, достаточно просто отслеживать объемы продаж для обеих групп клиентов. (Этот метод иногда называют A/B-тестированием, потому что каждой из версий каталога присваивалась та или другая буква.) Часто считается, что сплит-тестирование можно использовать только в маркетинге (или даже только в директ-маркетинге). Но в системе «экономичный стартап» оно включено в процесс разработки продукта.

Такие изменения сразу же позволили Фарбу взглянуть на свой бизнес по-новому. Сплит-тестирование иногда помогает выяснить удивительные вещи. Например, многие цифры, которые улучшают продукт в глазах разработчиков и дизайнеров, никак не влияют на поведение потребителей. Так произошло и в Grockit, и во всех остальных компаниях, использовавших этот метод, которые я наблюдал. Работать, проводя сплит-тестирование, кажется, труднее, потому что это требует дополнительного учета и показателей, позволяющих отслеживать каждое изменение. Но этот метод почти всегда позволяет сэкономить время, устраняя все, что не имеет значения для клиентов.

Сплит-тестирование также помогает командам лучше понять, что хотят и чего не хотят клиенты. Команда Grockit постоянно добавляла новые способы, позволяющие пользователям взаимодействовать друг с другом, в надежде, что эти инструменты коммуникации повысят ценность продукта. Команда руководствовалась идеей о том, что в процессе обучения клиенты хотят больше общаться. Но сплит-тестирование показало, что дополнительные опции не меняют поведения потребителей, и эта идея была поставлена под сомнение.

Это побудило команду попытаться лучше понять, чего же на самом деле хотят потребители. Ее участники провели мозговой штурм и нашли новые идеи для экспериментов. На самом деле во многих из этих идей не было ничего нового. Их просто не замечали раньше, потому что компания занималась созданием инструментов для коммуникаций. В результате Grockit протестировала интенсивный модуль для самостоятельного обучения, где были квесты и разные уровни, как в компьютерной игре, и где студенты могли выбирать: учиться самостоятельно или вместе с другими. Как и в классе у Фарба, это оказалось чрезвычайно эффективным. Без строгого сплит-тестирования компания могла бы этого так и не понять. Со временем, после десятков тестов, стало ясно, что больше всего студентов привлекает сочетание опций для самостоятельного обучения и для обучения в группе. Оказалось, что студенты хотят сами выбирать метод обучения.

Канбан

Grockit ввела «правило канбан», один из принципов методологии бережливого производства, и стала по-новому устанавливать приоритеты в разработке продукта. В соответствии с новой системой пользовательские истории не считались завершенными до тех пор, пока не позволяли получить подтверждения фактами. Все эти истории можно было отнести к одной из четырех фаз развития: исходные данные, создание, завершающая стадия (опция закончена с технической точки зрения) или «процесс проверки». Прошедшие проверку истории получали статус «мы знаем, что эта история – хорошая идея, и ее нужно сделать в первую очередь». Такая проверка обычно происходила в форме сплит-тестирования, показывающего изменения в поведении потребителей, но иногда включала в себя интервью с пользователями или опросы.

Правило канбан гласит, что в каждой из четырех фаз может находиться только определенное количество историй. По мере того как истории переходят из одной фазы в другую, корзины заполняются. Если корзина заполнена, в нее не положишь еще одну историю. Только после проверки истории ее можно удалить с доски канбан. Если проверка показывает, что история неудачна, соответствующая опция удаляется (см. табл. 1, 2, 3).

Я вводил эту систему в нескольких командах, и всегда она поначалу вызывала неприятие: корзины быстро заполняются – сначала корзина «Проверка», а потом и корзина «Завершено». Скоро становится невозможно начать ни один новый проект. Команды, которые привыкли оценивать свою производительность только по количеству завершенных историй, начинают топтаться на месте. Единственный способ начать работу над новыми опциями – исследовать те проекты, которые до сих пор не прошли проверку. Здесь часто нужны действия, не связанные с разработкой: нужно общаться с клиентами, изучать данные сплит-тестирования и т. д.

Но очень скоро все учатся делать это. Сначала процесс происходит рывками. Разработчики могут завершить большой этап работы, а затем провести обширное тестирование и проверку. Изыскивая способы повысить производительность, они начинают понимать: если подумать о проверке с самого начала, то снизится общая производительность команды.

Например, стоит ли создавать новую опцию, которая не является объектом эксперимента по сплит-тестированию? Это может сэкономить немного времени, но позже, во время фазы проверки, потребуется больше времени на тестирование. Та же логика относится к истории, которой разработчик не понимает. По старой системе он просто создавал ее и лишь потом понимал, зачем она нужна. При новой системе становится очевидно, что такое поведение непродуктивно: как можно проверить историю, не имея ясной гипотезы? В IMVU мы тоже с этим сталкивались. Я как-то наблюдал, как разработчик убеждал провести тестирование идеи своего шефа, который хотел внести в продукт какое-то незначительное изменение. Разработчик настаивал на том, что новую опцию нужно подвергнуть сплит-тестированию, как и все остальные. Коллеги его поддержали: казалось совершенно очевидным, что нужно проверять все опции, независимо от того, кто поручил команде их разработку. (Должен признаться, слишком часто этим самым «шефом» был я сам.)

Точный процесс создает основу для здоровой культуры, где идеи оцениваются по их качествам, а не по должности их автора. Но самое главное, что команды, работающие по такой системе, начинают оценивать свою производительность по критериям обоснованных знаний, а не по тому, сколько новых опций они создали.

Тестирование гипотезы в Grockit

Grockit приняла новые критерии оценки, стала использовать новые методы, и все изменилось. Например, команда решила проверить одну из основных опций, получившую название «ленивая регистрация». Нужно было выяснить, стоит ли эта опция усилий на ее поддержку. Команда была уверена в ней, потому что «ленивая регистрация» считается одним из лучших методов привлечения клиентов для онлайн-сервисов. Клиенту не нужно заранее регистрироваться, чтобы воспользоваться сервисом. Он просто начинает им пользоваться, и его просят зарегистрироваться только после того, как он получит представление о преимуществах сервиса.

Для студента «ленивая регистрация» работает так: вы заходите на сайт Grockit и сразу включаетесь в сеанс обучения вместе с другими студентами, работающими над тем же самым тестом. При этом не нужно сообщать свое имя, адрес электронной почты или номер кредитной карточки. Ничто не мешает вам тут же начать обучение.

Для Grockit было очень важно протестировать одно из своих основных предположений: клиенты готовы принять новый метод обучения только в том случае, если сразу же убедятся в его эффективности. Для этого на сайте компании нужно было разделить три класса пользователей: незарегистрированные гости, зарегистрированные гости и клиенты, которые заплатили за премиальную версию продукта. Для такого разделения требовалось приложить дополнительные усилия: ведь чем больше классов пользователей, тем больше нужно опций, чтобы их отслеживать, и тем больше нужно маркетинговых инструментов, чтобы побуждать клиентов перейти в следующий класс. Grockit прилагала все эти усилия, потому что «ленивая регистрация» считалась одной из лучших практик в отрасли.