Алгоритм выбора метрик для Product / Market Fit

Одной из самых важных задач менеджера после запуска нового продукта или фичи является подтверждение product / market fit. Многие определяют его через показатели retention rate или с помощью формулы Шона Элиса ("Насколько расстроится потребитель, если продукт перестанет существовать?"). Однако, не всегда эти способы применимы. Не всегда понятно, почему product / market fit определяется именно таким образом и существуют ли альтернативы.

В этой статье мы поговорим о природе product / market fit - что именно он значит и какой универсальный алгоритм его определения можно выработать для любого продукта.

Каноническим определением product / market fit является формулировка:

Давайте разберемся, что это значит.

Допустим, есть некий Пашенька, которого жена заставляет раз в две недели ходить в магазин за вкусной колбасой, чтобы себя побаловать. Рядом с домом Пашеньки находится Перекресток, Магнит и магазин с белорусскими продуктами. А еще, когда у Пашеньки хорошее настроение, а на улице отличная погода, он прогуливается до фермерского рынка пешком.

Но есть пара нюансов. Колбаса из Магнита не нравится жене Пашеньки - она считает, что в Перекрестке колбаса намного лучше. В магазине с белорусскими продуктами намного больше выбор колбас, чем в Перекрестке, но до него дольше идти. На фермерском рынке выбор такой же, как и в магазине с белорусскими продуктами, но товары свежее. Однако, хорошее настроение, чтобы идти до него, у Пашеньки бывает только раз в два месяца. Соответственно, потакая желанию жены «побаловать себя карпачо или балыком», Пашенька использует разные способы удовлетворения этой потребности с разной частотностью.

В какой-то момент произошло важное событие – в доме Пашеньки открылась салюмерия «Белая плесень». И хотя цены в ней чуть выше, зато самая высокая свежесть продуктов из-за собственного производства. Салюмерия расположена рядом, а ассортимент лишь чуть-чуть уступает рынку или магазину с белорусскими товарами. Счастью Пашеньки не было предела.

Этот новый способ удовлетворения потребности изменил поведение Пашеньки – его вполне устроили цены в салюмерии, а жена оценила качество и свежесть продуктов. Он сократил практически до нуля свои походы в магазин белорусских товаров и Перекресток. При этом стал чаще ходить за вкусняшками в целом. Салюмерия вытеснила конкурентов за счет ценности, которую она предлагает. А значит - подтвердила свой product / market fit.

При этом для сегмента потребителей «Пашенька и его жена» Магнит изначально не обладал PMF – они не видели в нем ценности из-за маленького ассортимента товаров. Фермерский рынок тоже обладает куда меньшей значимостью для сегмента - до него долго идти. А вот Перекресток и магазин с белорусскими продуктами обладают PMF для Пашеньки, хоть и в разной степени.

Салюмерия смогла как убрать ключевые ограничения ценности – товарный ассортимент и местоположение – так и добавить новую ценность за счет свежести продукции. Тем самым изменилось поведение всего сегмента потребителей, к которому относятся Пашенька и его жена. Салюмерия завоевала доли прежних лидеров в общем объеме потребности.

Данное поведение потребителя хорошо выражено через показатель "средней частоты использования" для каждого из способов удовлетворения потребности. Сравнение этого показателя для разных вариантов позволяет сделать вывод о том, какой именно продукт обладает для Пашеньки большей ценностью, чем другие продукты. Несмотря на то, что он может пользоваться сразу несколькими.

Данный график приводит к двум важным выводам:

• Product / market fit – это не бинарное свойство продукта. Оно не просто есть или нет, а представляет собой градиент значений. Продукты, уменьшая или увеличивая ценность, влияют на свое положение на градиенте.
• Product / market fit существует только в контексте конкуренции, т.е. когда существует возможность сравнения одного с другим.

Последний вывод важен. Любым продуктом, каким бы плохим он ни был, будут пользоваться, если у потребителя есть потребность, но нет альтернативы. Ведь на рынке будет полная монополия. Поэтому ориентация только на метрику retention rate - не всегда правильное решение. Например, в СССР нашим бабушкам с дедушками приходилось покупать товары только одного «бренда». Retention rate в покупку (или использование) был высоким, т.к. на никакой альтернативы не существовало. Однако, с приходом свободной торговли рынок расширился альтернативами куда лучшего качества, тем самым снизился product / market fit товаров бренда «сделано СССР».

Потому что ценность – это степень в которой продукт удовлетворяет потребности потребителя по сравнению с альтернативами (прямыми или косвенными конкурентами). Если альтернатив не существует, определить ценность нельзя. Соответственно, нельзя подтвердить или опровергнуть наличие product / market fit, если одну кривую ценности нельзя сравнить с другой кривой.

В подавляющем большинстве случаев менеджер продукта не владеет данными об использовании потребителями альтернативных продуктов. Но если нет возможности сравнения, то как все-таки понять, что product / market fit у продукта действительно есть? Для этого можно воспользоваться логикой "кругов на воде".

Представьте, что вы сидите на пристани у озера и смотрите на воду себе под ноги. Ветра нет и водная поверхность гладкая-гладкая. Вдруг вы замечаете круги на воде. Не подняв голову, вы не знаете, что послужило причиной их появления. Может быть кто-то кинул камень или рыба поднялась на поверхность - неизвестно. Известно лишь то, что водная гладь изменила своё поведение по каким-то причинам, о которых вы не догадыватесь.

В определении ценности аналогичная история. Вы не знаете, каким образом Пашенька взаимодействует с другими магазинами и какое количество покупок там совершает, но как владелец салюмерии делаете умозаключение - если Пашенька возвращается от месяца к месяцу, значит он находит салюмерию ценной по сравнению с альтернативами.

Отображением этого поведения будет служить когортный график retention rate в совершение покупок. Такой график показывает, что часть новых потребителей остаются в продукте в последующие периоды в качестве постоянных клиентов. Если на графике присутствует "плато", значит такой сегмент потребителей существует.

Рассмотрим обратный случай, когда продукт может НЕ обладать PMF.

Смотря на успех Салюмерии, сосед Паши Гоша решает, что открытие собственного магазина в их районе - очень крутая идея. Он продает старый гараж, чтобы инвестировать деньги в бизнес. Договорившись с поставщиками он открывает неподалеку магазин "Псковская деревенька" и потирает руки в ожидании богатства.

Но богатства почему-то не идет к нему: новые покупатели заходят к нему, делают первые покупки, но практически никто не возвращается. На пятый месяц Гоша даже решил устроить распродажу, но это все равно не сработало и не вернуло ему клиентов. Может быть проблема была в наспех сделанной вывеске по сравнению с качественной вывеской салюмерии. Может быть проблема была в том, что сосиски из требухи и свиные ушки не вызывали восторг у потребителей. Может быть Гоша назначил слишком высокую цену за товар. Точно известно лишь одно - PMF у "Псковской деревеньки" не было, что соответствующим образом и отображается на когортном графике retention rate.

В случае салюмерии ценность считается принесенной потребителю, когда происходит сама покупка: Пашенька берет хамон и отдает деньги. Но в цифровых продуктах, как правило, событие покупки и событие принесения ценности разнесены во времени. Поэтому и retention rate определяется не в покупку, а в ту активность, которая приносит пользу потребителю:

• для Яндекс.Музыки - это проигрывание треков;
• для Miro - это использование доски;
• для онлайн кулинарной книги - это приготовление по рецепту;
• для Zoom - это созвон с коллегами;
• для CRM - это различные действия с карточкой клиента.

При выборе события для retention rate важно понять, что именно мы пытаемся определить: событие ценности в принципе или событие ценности с учетом выбранной бизнес-модели. Retention rate в покупку продукта не всегда будет являться хорошей метрикой для подтверждения product / market fit. Об этом могут рассказать половина подписочных бизнес-моделей, когда продукты стоят несколько долларов, пользователи просто не отписываются от них, но и не пользуются ими.

Небинарность product/market fit знатно усложняет жизнь менеджеров по продукту. С одной стороны, приходится искать способы сравнения своего продукта с альтернативами. С другой - кто сказал, что конкурентный продукт тоже обладает product / market fit по сравнению уже со своими конкурентами?

Это приводит нас к понятию нормы или номинального для отрасли показателя retention rate.

К сожалению, показатель нормы можно определить только имея какую-либо выборку продуктов по отрасли. При двух продуктах тоже можно определить какой из них потребители воспринимают более ценным через сравнение кривых retention rate. Однако, совсем не имея примера, можно лишь делать допущения о наличии pmf или строить суждения по аналогии с продуктами других классов, но схожих отраслей.

При этом, так как product / market fit является градиентом, а ценностью продукта можно управлять, то и значение этого градиента может со временем улучшаться. Не факт, что продукт с показателями меньше средних по отрасли вообще не обладает ценностью для потребителей. Просто уровень ценности ниже, а уровень product / market fit слабее.

Следовательно продукту нужно быть не лучших других, а лучше себя вчерашнего. Так, постепенно product / market fit выйдет на уровень, соответствующий вашим амбициям.

Покупка докторской колбасы и получение докторской степени – это потребности, которые обладают принципиально разной частотой использования. Если покупаем колбасу мы раз в одну-две недели, то защита на PhD проходит один раз в жизни. Несмотря на наличие большого числа альтернатив, показатель retention rate для последнего будет близок к нулю. Каким образом тогда определить, есть ли для такого сложного образовательного продукта product / market fit, если показатель retention rate получения PhD для Гарварда и МГУ будет одинаковым?

Для этого нужно понять, что использование продукта – это лишь часть общей воронки дистрибуции ценности до потребителей. А любая воронка состоит не только из этапа Retention.

У любой воронки есть три ключевых характеристики: конверсия перехода потребителя с одного этапа на другой, время перехода и «стоимость ресурсов», которые потребитель платит за эту конверсию. Да, именно так, потребитель тоже «платит» за конверсию либо деньгами, либо временем, либо нервами и другими эмоциями.

Для низкочастотных продуктов при одном и том же показателе retention rate (близким к нулю), ценность при прочих равных можно определить либо анализируя цену продуктов, либо время, либо эмоции. При двух одинаковых программах обучения PhD более ценной окажется та, которая либо дешевле, либо быстрее дает звание профессора (что включает в себя получение новых знаний, реализация научных проектов, участие в международной деятельности и т.д.), либо та, в которой потребитель получит больше положительных эмоций.

Воронка, или в широком понимании "бизнес-модель", определяет эффективность конвертации ресурсов пользователя в результат, который ему необходим. Структуры воронок одних продуктов делают это лучше, чем другие, тем самым ценность одних продуктов для потребителей более очевидна, чем других. В случае высокочастотных задач потребитель подтверждает эту эффективность конвертации тем, что возвращается снова, на новый цикл получения ценности. Однако, в случае низкочастотных задач потребитель может больше никогда не вернуться. Поэтому и метрикой определения product / market fit является не конверсия в его желание вернуться, а конверсия в желание совершить какие-то другие активности, стоящие ПОСЛЕ этапа получения ценности. Например, referral. Чем ценнее для потребителя оказался продукт, тем больше вероятность, что он посоветует его друзьям.

Однако, использование такого показателя в качестве определяющего product / market fit связано с трудностью – чтобы получить его значение требуется предоставить услугу полностью, т.е. завершить цикл удовлетворения потребности. В случае PhD это займет 3 года. Кажется, должны быть способы получше.

Предположим, вы опытный разработчик, который хочет устроиться в компанию Blizzard, чтобы участвовать в разработке DLC для Diablo 4. Но есть одна проблема – вы плохо владеете английским языком. Чтобы пройти собеседование, эффективно работать и общаться с коллегами, вам нужно поднять уровень языка как минимум до B2.

Для этого вы ищете продукт, который бы помог перейти из начального состояния «плохие знания языка» в целевое состояние «уровень B2».

Получение только одного уровня занимает в среднем 6 месяцев, а нужно получить три: A2, B1 и B2. Челлендж не из легких. Точкой удовлетворения потребности здесь является получение уровня. Соответственно, можно было бы сравнивать продукты через сравнение retention rate в получение уровня, но 6-месячные циклы – это так долго... Поэтому вместо retention в результат можно взять метрики, которые «подводят» нас к результату и получению конечной ценности.

Рассмотрим value stream обучения английскому языку. Программа обучения одному уровню строится из последовательности обучающих модулей, в конце каждого проходит проверочная работа, подтверждающая владение знаниями, умениями и/или навыками, составляющими этот уровень. Каждый модуль дает часть общей ценности (с учетом скидки на эффект синергии), как кусочки пирога. Съев кусочек, уже можно попытаться определить насколько ценным для будет весь пирог. Если вы находите эту ценность – пирог вкусный – вы продолжите его есть вплоть до получения уровня. Если же нет – вы прекратите это делать и пойдете искать более съедобный.

Тем самым, product / market fit для продуктов, в котором присутствуют длительные циклы удовлетворения потребностей, можно определить по конверсии в получение следующей порции ценности. Чем выше конверсия в прохождение следующего модуля, тем этот продукт, при прочих равных, ценнее альтернатив.

К продуктам с низкочастотными задачами, в которых существуют «порции ценности», относятся:

• Большинство образовательных программ;
• Выбор и покупка недвижимости;
• Автоматизация процесса проектирования и/или разработки проектов (неважно, что это за проект - разработки месторождения нефти или рекламный проект).

Свойство «порционности» может быть сжато до уровня «начало использования продукта – получение ценности», т.е. представлено в виде двух шагов воронки, конверсия из начала в конец которой и будет метрикой, по которой определяется product / market fit. В продукте, в котором до конца курса доходит большее число потребителей, будет обладать большей ценностью, чем другие.

В продуктах выделяется еще одна предварительная точка, по которой потребитель может судить о ценности, задолго до её полного удовлетворения - это aha moment. Момент, когда потребитель в первый раз осознал ценность продукта.

Это событие может различаться от продукта к продукту. Например, для платформы репетиторов по математике, предназначенному для наверстывания пробелов школьной программы, таким aha moment служит получение пятерки учеником, который ранее получал одни тройки. Или когда ребенок с горящими глазами прибегает к маме и делится радостью «Я наконец-то понял!».

Чем быстрее в продукте возникает эта точка, тем более явной ценностью продукт обладает в глаза потребителя. Отсюда можно сделать вывод и о влиянии на наличие product / market fit – чем для большего числа потребителей этот момент возникает за первые X периодов, тем продукт ценнее альтернатив.

Однако, есть продукты с длинными циклами, в которых такие порции не существуют в обычном виде. Поэтому product / market fit может быть определен по пользовательским действиям, которые он совершает, чтобы в конце концов получить ценность.

Например, вы, как разработчик, решили не выбирать курс английского языка, а нанять себе репетитора. Репетитор полностью отталкивается от ваших потребностей и уровня, но как таковой программы обучения у него нет. Вы можете заниматься с ним и шесть месяцев и два года, чтобы только получить один уровень.

При этом вы ходите на занятия к этому репетитору, выполняете домашки, учите новые слова. Все эти действия вы совершаете, чтобы рано или поздно получить желаемый уровень. Правда, само хождение на уроки не дает гарантий получения уровня, но если вы продолжаете это делать, значит вы находите в занятиях ценность. Тем самым мы получаем подтверждение наличия product / market fit не через ценность, а через поведение. Если retention rate в пользовательские задачи (прохождение уроков, выполнение домашек, обучение слов и т.д.) коррелирует с retention rate конкурентов.

Ключевой драйвер такого рода ценности – это вовлеченность потребителя в выполнение задач. При этом важен не только сам retention rate, но и поведенческие характеристики потребителя: количество выполняемых задач, время между выполнением задач одного типа, доля аудитории отдельных свойств продукта. Например, при одном и том же недельном retention rate в приложения Duolingo и Linguoleo вовлеченность в первое у потребителей может быть выше (на самом деле это предположение - нет статистики в распоряжении): пользователи Duolingo могут выполнять больше заданий и выучивать больше слов. Можно сделать вывод, что product / market fit для приложения Duolingo сильнее, чем у Linguoleo, ведь если бы пользователи не видели ценности в продукте, они бы не пользовались им так часто.

Вернемся к нашему разработчику. То, что он ходит на уроки и выполняет домашки, не дает гарантий, что он успешно пройдет модуль. То, что он успешно пройдет модуль — не значит, что он успешно овладеет уровнем языка. При этом и овладение уровнем языка это еще не трудоустройство в Blizzard, ради которого он изучает язык. Конечной его потребностью является именно трудоустроиться, английский – лишь способ достижения этого. И то не весь.

Здесь снова возникает разговор о границах продукта и, соответственно, что именно product / market fit значит. Будет ли это продуктом, помогающим трудоустроиться, где главной метрикой для подтверждения PMF это конверсия в трудоустройство. Или останется продуктом обучения английскому языку, главной метрикой которого будет конверсия в получение уровня.

Четко обозначить границы продукта важно, т.к. именно они определяют, какую потребность удовлетворяет продукт. Он или помогает трудоустроиться, или повышает уровень английского языка. Соответственно, и потребитель будет принимать решение о предпочтении именно вашего продукта альтернативам исходя из той потребности, на которую нацелен продукт. Может оказаться, что для овладения новым уровнем у продукта есть product / market fit, а для трудоустройства — нет.

Product / market fit напрямую зависит от контекста потребности, поэтому если один и тот же продукт нацелен на удовлетворение разных потребностей, потому что состоит из нескольких разных фич, то у продукта будет несколько PMF. Для одних потребностей этот продукт будет более ценным способом решения задач, чем альтернативы, а вот для других потребностей – product / market fit не иметь вообще.

Это кажется контринтуитивным, так как сам термин product / market fit предполагает продукт и рынок, и он "должен" быть только один, а не для каждой фичи продукта. Это противоречие возникает из-за неправильной трактовки понятия фичи. Feature, или свойство продукта, это реализация ценностного предложения, нацеленное на удовлетворение какой-либо потребности – это связка «ценностное предложение – потребность». А product / market fit – это свойство этой связки. Если продукт удовлетворяет две разные потребности, то его ценностные предложения обладают разными свойствами PMF.

Чтобы разрешить это противоречие, можно ввести понятие – feature / product fit – как свойства фичи, подтверждающего наличие сегмента потребителей продукта, использующих эту фичу как основной способ удовлетворения потребностей. В противовес product / market fit как свойства ключевого ценностного предложения всего продукта.

Из последней главы можно сделать вывод, что особой разницы между feature и product не существует. Отчасти это действительно так. Можно упаковать любую фичу продукта в виде отдельного продукта. Всё, вплоть до интерфейса, может оказаться тем же, кроме одного – способа дистрибуции, который в том числе определяет успешность подтверждения product / market fit.

Определение PMF содержит фразу «потребители выбирают именно этот продукт…», но чтобы они что-либо выбрали, они, во-первых, должны об этом знать. Во-вторых, должны иметь возможность прийти в продукт и начать им пользоваться. Без этих условий подтверждение product / market fit невозможно.

Представим зрелый b2b продукт, в который добавили новую фичу. О том, что она добавлена, практически никто не узнал из-за сложного интерфейса. Только 3% пользователей нашли эту фичу в продукте и стали ей пользоваться, да и то редко. Говорит ли это о том, что у этой фичи нет product / market fit? Неизвестно, потому что о ней узнала лишь часть целевой аудитории, для которого эта фича предназначалась. Необходима проработка онбординга и процесса активации в фичу, чтобы сделать соответствующий вывод о PMF.

Иногда в продукте нет возможности взять количественный показатель и по нему определить PMF. Тогда единственным вариантом получить уверенность в том, что продукт действительно приносит ценность, является проведение опроса.

Такой опрос играет ту же роль, что и метрики поведения пользователей, которые получены через систему аналитики. Только теперь вы сами являетесь системой аналитики, а опрос – это ваши сенсоры. При составлении таких опросов нужно решить две задачи:

• Выбрать события в жизни потребителя, после наступления которых проводится опрос
• Правильно составить список вопросов, чтобы избежать ошибок первого и второго рода

Как правильно составлять список вопросов для качественных исследований здесь писать не буду. Поговорим про события. Событиями, после которых можно провести опрос, являются:

• Событие удовлетворения ключевой потребности того value stream, на который нацелен продукт. Например, если у нас продукт обучения английскому языку для разработчиков, то главным вопросом будет вопрос вида «Насколько курс помог пройти собеседование и свободно общаться с коллегами?». Опрос проводится через несколько недель после того, как потребитель устроился на работу (или после несколько неуспешных собеседований).
• Событие удовлетворения потребности в границах продукта. Т.е. насколько сам потребитель почувствовал изменение в уровне языка после завершения обучения.
• Событие завершения определенной порции ценности в продуктах с длинными циклами. Например, когда опрос проходит после завершения одного из модулей.
• Событие, которые вы определили как aha moment своего продукта. Например, опрос после первой разговорной сессии с преподавателем без использования русского языка.
• Событие совершения какой-то операции внутри продукта определенное число раз. Например, когда пользователь прошел 4 или 6 уроков с преподавателем.

Знаменитый вопрос «Как вы будете себя чувствовать, если не сможете больше использовать продукт?», предложенный Шоном Эллисом, тоже относится к качественному способу определения product / market fit. По эвристике, которую приводит Шон Эллис, если более 40% клиентов скажут, что они будут очень разочарованы, то шанс наличия product/market fit у продукта есть. Более подробно об этом способе можно почитать в переводе статьи от GoPractice здесь.

Попробуем собрать все предыдущие тезисы в некий алгоритм, который поможет выбрать правильные критерии для подтверждения product / market fit любого продукта.

Шаг 1. Определитесь, является ли выбранная потребность высокочастотной или низкочастотной.

Если потребность высокой частотности, то можно выбрать retention rate в метрику ценности продукта:

• Если цикл получения ценности короткий, то используйте North Star Metric, как метрику в наибольшей степени отражающую ценность продукта. Не забудьте, что она выбирается с учетом границ продукта. Подробнее об этом читайте в статье "Ценность и North Star Metric".
• Если цикл получения итоговой ценности длинный, то определяются повторяемые действия пользователя в продукте, в наибольшей степени отражающие процесс получения ценности, и брать retention rate в них (с учетом частоты использования).

Если потребность низкой частотности, то:

• Если цикл получения ценности короткий, то можно посмотреть на метрики последующих за сделкой (принесением ценности) этапов воронки, например, конверсию в рекомендации или иную активность потребителя, которой он подтверждает, что ценность принесена.
• Если цикл получения итоговой ценности длинный, то определите, можно ли его поделить на какие-то порции получения ценности потребителем.
  • Если да – то возьмите метрику конверсии перехода из одной порции в другую, или же в событие aha moment.
  • Если на порции разбить не получится, то используйте конверсию прохода по user flow, который и представляет собой процесс оказания услуги (принесения ценности).
  • Альтернативный вариант - это взять скорость прохождения по воронке, а не конверсию.

Шаг 2. Выбрав показатель для определения product / market fit, попробуйте найти «номинальный» показатель подобного класса продуктов для сравнения.

• Если это получится, то сравнение показателей этой метрики и даст понимание о силе product / market fit продукта.
• Если этого сделать не получится, нужно самому определить понятие «нормы» исходя из ваших амбиций или при помощи суждений по аналогии о метриках других продуктов (например, косвенных конкурентов или продуктов из той же отрасли, но другого класса.

Шаг 3. Расширить схему подтверждения качественными опросом, выбрав события, после которых этот опрос проводится (см. главу выше).

При этом вы можете использовать сразу нескольких способов, через которые подтвердите наличие product / market fit продукта или отдельных его свойств. Например, в случае с курсом обучения английскому языку для разработчиков, можно использовать:

• Доходимость до середины курса;
• Retention rate в уроки;
• Конверсия в рекомендации курса после его завершения;
• Результаты опросов о приносимой ценности через месяц после старта обучения.