СТАТЬЯ
Алгоритм выбора метрик для Product / Market Fit
Как можно подобрать их для любого продукта
Одной из самых важных задач менеджера после запуска нового продукта или фичи является подтверждение product / market fit. Многие определяют это свойство через показатели retention rate или даже с помощью формулы Шона Элиса о том, насколько расстроится потребитель, если продукт перестанет существовать. Однако, не всегда это применимо и не всегда понятно, почему product / market fit определяется именно таким образом, а не каким-то другим.

В этой статье мы поговорим о природе product / market fit, что именно он значит и какой можно выработать универсальный алгоритм его определения для любого продукта.
Природа product / market fit
Каноническим определением product / market fit является такая формулировка:
Состояние продукта, которое подтверждается наличием группы потребителей, выбравших именно этот продукт в качестве основного способа удовлетворения их потребностей.
Давайте разберемся, что это значит.

Допустим, есть некий Пашенька, которого жена заставляет раз в две недели ходить в магазин за вкусной колбасой, чтобы себя побаловать. Рядом с домом Пашеньки находится Перекресток, Магнит, магазин с белорусскими продуктами. А еще, когда у Пашеньки хорошее настроение, а на улице отличная погода, он прогуливается до фермерского рынка пешком.
Но есть пара нюансов. Колбаса из Магнита не нравится жене Пашеньки - в Перекрестке намного лучше, считает она. В магазине с белорусскими продуктами намного больше выбор колбас, чем в Перекрестке, но до него дольше идти. На фермерском рынке выбор такой же, как и в магазине с белорусскими продуктами, но товары свежее, однако, хорошее настроение у Пашеньки бывает только раз в два месяца. Соответственно, потакая желанию жены «побаловать себя карпачо или балыком», Пашенька использует разные способы удовлетворения этой потребности с разной частотностью.
В какой-то момент произошло важное событие – в доме Пашеньки открылась салюмерия «Белая плесень», в которой хоть цены и чуть выше, но зато самая высокая свежесть из-за собственного производства, она расположена рядом, а ассортимент лишь чуть-чуть уступает рынку или магазину с белорусскими товарами. Счастью Пашеньки не было предела.

Этот новый способ удовлетворения потребности изменил поведение Пашеньки – его вполне устраивали цены в салюмерии, а жена оценила качество и свежесть продуктов. Он сократил практически до нуля свои походы в магазин белорусских товаров и Перекресток, чтобы купить колбасу. При этом увеличил количество походов за вкусняшками в целом. Салюмерия «вытеснила» конкурентов за счет ценности, которую она предлагает, тем самым подтверждая наличие product / market fit.
При этом для сегмента потребителей «Пашенька и его жена» Магнит изначально не обладал PMF – они не видели в нем ценности из-за качества данного способа удовлетворения потребности, выраженного в неподходящем ассортименте товаров. Фермерский рынок тоже обладает куда-меньшей значимостью для них, т.к. до него было долго идти. Однако, салюмерия смогла как убрать ключевые ограничения ценности, выраженные в товарном ассортименте и местоположении, так и дать больше ценности за счет свежести продукции. Тем самым изменив поведение всего сегмента потребителей, к которому относятся Пашенька и его жена.

Данное поведение потребителя хорошо отображается через показатель "средней частоты использования" для каждого из способов удовлетворения потребности. Сравнение таких показателей позволяет сделать вывод о том, какой именно продукт обладает для Пашеньки большей ценностью, чем другие продукты. Несмотря на то, что он может пользоваться сразу несколькими.
Данный график приводит к двум важным выводам:

  • Product / market fit – это не бинарное свойство продукта. Оно не просто «есть» или «нет». Оно представляет собой градиент значений. Продукты, уменьшая или усиливая ценность, влияют на значение этого градиента.
  • Product / market fit существует только в контексте конкуренции, т.е. когда существует возможность сравнения одного с другим.

Последний вывод важен. Любым продуктом, каким бы плохим он ни был, будут пользоваться, если у потребителя есть потребность, но нет альтернативы. Ведь на рынке будет полная монополия. Поэтому ориентация только на метрику retention rate продукта - не всегда правильное решение. Например, в разные периоды СССР нашим родителям и бабушкам с дедушками приходилось покупать товары только одного «бренда». Retention rate в покупку (или использование) был велик, т.к. на никакой альтернативы не существовало. Однако, с приходом свободной торговли рынок расширился альтернативами куда лучшего потребительского качества, тем самым снизился product / market fit товаров бренда «сделано СССР».

Потому что ценность – это степень в которой продукт удовлетворяет потребности потребителя по сравнению с альтернативами. Если альтернатив не существует, определить ценность нельзя. Соответственно, нельзя подтвердить или опровергнуть наличие product / market fit, если одну кривую ценности нельзя сравнить с другой кривой.
Количественный критерий PMF для высокочастотных задач
В подавляющем большинстве случае менеджер продукта не владеет данными об использовании потребителями альтернативных продуктов. Но если нет возможности сравнения, то как все-таки понять, что product / market fit у продукта действительно есть? Для этого можно вопользоваться логикой "кругов на воде".

Представьте, что вы сидите на пристани у озера и смотрите на водную поверхность себе под ноги. Ветра нет и водная поверхность гладкая-гладкая. Вдруг вы замечаете круги на воде. Не подняв голову, вы не знаете, что послужило причиной их появления. Может быть кто-то кинул камень или рыба поднялась на поверхность - неизвестно. Известно, что водная гладь изменила своё поведение по каким-то причинам, о которых вы не догадыватесь.

В определении ценности аналогичная история. Вы не знаете, каким образом Пашенька взаимодействует с другими магазинами, но как владелец салюмерии делаете умозаключение: "Если Пашенька возвращается от месяца к месяцу, значит он находит салюмерию ценной по сравнению с альтернативами."

Отображением этого поведения будет служить когортный график retention rate в совершение покупок, который показывает, что часть новых потребителей остаются в продукте в последующие периоды в качестве постоянных клиентов. Если на нём присутствует "плато", значит такой сегмент потребителей существует.
Со стороны салюмерии ценность считается принесенной потребителю, когда происходит сама покупка: Пашенька берет хамон и отдает деньги. Но в цифровых продуктах, как правило, событие покупки и событие принесения ценности разнесены во времени. Поэтому и retention rate определяется не в покупку, а в ту активность, которая приносит пользу потребителю:

  • для Яндекс.Музыки - это проигрывание треков;
  • для Miro - это использование доски;
  • для онлайн кулинарной книги - это приготовление по рецепту;
  • для Zoom - это созвон с коллегами;
  • для CRM - это различные действия с карточкой клиента и т.д.

При выборе события для retention rate важно понять, что именно мы пытаемся определить: ценности в принципе или ценности с учетом выбранной бизнес-модели. Retention rate в покупку продукта не всегда будет являться хорошей метрикой для подтверждения product / market fit. Об этом могут рассказать половина подписочных бизнес-моделей, когда продукты стоят несколько долларов, пользователи просто не отписываются от них, но и не пользуются ими.
Понятие нормы и сравнение ценности
Свойство небинарности product/market fit знатно усложняет жизнь менеджеров по продукту. С одной, приходится искать способы сравнения с другими продуктами, а с другой стороны кто сказал, что другой продукт тоже обладает product / market fit по сравнению со своими конкурентами?

Это приводит нас к понятию нормы или номинального для отрасли показателя retention rate.
К сожалению, показатель нормы можно определить только имею какую-либо выборку продуктов отрасли. При двух продуктах тоже можно определить, какой из них потребители воспринимают более ценным, чем другой, через сравнение динамики кривых retention rate. Однако, совсем не имея примера, можно лишь делать допущения о наличии pmf или строить суждения по аналогии с продуктами других классов, но схожих отраслей.
При этом, так как product / market fit является градиентом, а ценностью продукта можно управлять, то и значение этого градиента может со временем улучшаться. Продукт, чьи показатели ценности меньше номинальных для отрасли, не значит, что не обладает ценностью вообще. Это значит, что уровень ценности в нем просто ниже, чем принято в отрасли. Поэтому нужно быть не лучших других, а лучше себя вчерашнего. Так, постепенно градиент product / market fit выйдет на уровень, соответствующий вашим амбициям.
Количественный критерий PMF для низкочастотных задач
Покупка колбасы и получение докторской степени – это потребности, которые обладают, мягко говоря, несравнимой частотой использования. Если покупаем колбасу мы раз в одну-две недели, то защита на PhD проходит один раз в жизни. Несмотря на наличие большого числа альтернатив, показатель retention rate для последнего будет близок к нулю. Каким образом тогда определить, есть ли для такого сложного образовательного продукта product / market fit, если показатель retention rate получения PhD для Гарварда и МГУ будет одинаковым?

Для этого нужно понять, что использование продукта – это лишь часть общей воронки дистрибуции ценности до потребителей. А любая воронка состоит не только из этапа Retention.
Воронка "привлечь, удержать, вырастить" из методологии Customer Development
У любой воронки есть три ключевых характеристики: конверсия перехода потребителя с одного этапа на другой, время перехода и «стоимость ресурсов», которые потребитель платит за эту конверсию. Да, именно так, потребитель тоже «платит» за конверсию либо своими деньгами (покупая продукт), либо своим временем, либо своими нервами и другими эмоциями.

Для низкочастотных продуктов при одном и том же показателе retention rate (близким к нулю), ценность при прочих равных можно определить либо анализируя цену продуктов, либо время, либо эмоции. При двух одинаковых программах обучения PhD более ценной окажется либо та, которая дешевле, либо та, которая быстрее дает на выходе звание профессора, либо та, в которой потребитель получит больше положительных эмоций.
Три ключевых ресурса потребителя
Воронка, или в широком понимании "бизнес-модель", определяет эффективность конвертации ресурсов пользователя в результат, который ему необходим. Структуры воронок одних продуктов делают это лучше, чем другие, тем самым ценность одних продуктов для потребителей более очевидна, чем других. В случае высокочастотных задач потребитель подтверждает эту эффективность конвертации тем, что возвращается снова, на новый цикл получения ценности. Однако, в случае низкочастотных задач потребитель вообще может вообще никуда не возвращаться. Поэтому и метрикой определения product / market fit является не конверсия в его желание вернуться снова, а конверсия в его желание совершить какие-то другие активности, стоящие ПОСЛЕ этапа получения ценности. Например, referral. Чем ценнее для потребителя оказался продукт, тем показатель его рекомендаций будет выше по сравнению с альтернативами.
Однако, использование даже такого показателя в качестве определяющего product / market fit связано с одной трудностью – чтобы получить его значение требуется завершить цикл удовлетворения потребности. В случае PhD он составляет 3 года. Кажется, должны быть способы получше.
Долгие циклы удовлетворения потребности
Предположим, вы опытный разработчик, который хочет устроиться в компанию Blizzard, чтобы участвовать в разработке DLC для Diablo 4. Но есть одна проблема – вы плохо владеете английским языком, и, чтобы пройти собеседование и эффективно работать и общаться с будущими коллегами, вам нужно поднять уровень языка как минимум до B2.

Для этого вы ищете продукт, который бы помог перейти из начального состояния «плохие знания языка» перейти в целевое «уровень B2».
Получение только одного уровня занимает в среднем 6 месяцев, а нужно получить три таких уровня: A2, B1 и B2. Челлендж не из легких. Точкой удовлетворения потребности здесь является получение уровня. Соответственно, можно было бы сравнивать продукты через сравнение retention rate в получение уровня, но 6-месячные циклы – это так долго... Поэтому вместо retention в результат можно взять метрики, которые «подводят» нас к результату и получению конечной ценности.
Рассмотрим value stream обучения английскому языку. Программа обучения одному уровню строится из последовательности обучающих модулей, в конце каждого проходит проверочная работа, подтверждающая владение знаниями, умениями и/или навыками, входящими в состав этого уровня. Другими словами, каждый модуль дает часть общей ценности (с учетом скидки на эффект синергии), как кусочки пирога. Съев кусочек, уже можно попытаться определить насколько ценным для будет весь пирог. Если вы находите эту ценность, если пирог вкусный, вы продолжите его есть вплоть до получения уровня. Если же нет – вы прекратите это делать и пойдете искать более съедобный пирог.

Тем самым, product / market fit для продуктов, в котором присутствует длительные циклы удовлетворения потребностей, можно определить по конверсии в получение следующей порции ценности. Чем выше конверсия в прохождение следующего модуля, тем этот продукт, при прочих равных, ценнее по сравнению с альтернативами.
К продуктам с низкочастотными задачами, в которых существуют «порции ценности», относятся:

  • Большинство образовательных программ;
  • Выбор и покупка недвижимости;
  • Автоматизация процесса проектирования и/или разработки проектов (неважно, что это за проект - разработки месторождения нефти или рекламный проект).

Свойство «порционности» может быть сжато до уровня «начало использования продукта – получение ценности», т.е. представлено в виде двух шагов воронки, конверсия из начала в конец которой и будет метрикой, по которой определяется product / market fit. В продукте, в котором до конца курса доходит большее число потребителей, будет обладать большей ценностью, чем другие.
Aha Moment
В продуктах выделяется еще одна предварительная точка, по которой потребитель может судить о ценности, задолго до её полного удовлетворения - это aha moment. Эта точка определяется событием, когда потребитель в первый раз осознал ту ценность, которую ему приносит продукт.

Это событие может быть каким угодно и зависит от класса продукта. Например, для продукта платформы репетиторов по школьной математике, прдезначенному для наверстывания пробелов программы, таким aha moment служит получение пятерки, когда ранее ученик получал одни тройки. Или когда ребенок с горящими глазами прибегает к маме и делится радостью «Я наконец-то понял!».

Чем быстрее в продукте эта точка возникнет, тем более явной ценностью продукт обладает в глаза потребителя. Отсюда можно сделать вывод и о влиянии на наличие product / market fit - чем для большего числа потребителей этот момент возникает за первые X периодов, тем продукт ценнее альтернатив.
Определение PMF через метрики поведения, а не ценности
Однако, есть продукты с длинными циклами, в которых такие порции не существуют в обычном виде, поэтому product / market fit может быть определен по пользовательскому поведению, которое он совершает, чтобы в конце концов получить ценность.
Например, вы, как разработчик, решили не выбирать курс английского языка, а нанять себе репетитора. Репетитор полностью отталкивается от ваших потребностей и уровня, но как таковой программы обучения у него нет. Вы можете заниматься с ним и 6 месяцев и два года, чтобы только получить один уровень.

При это вы ходите на занятия к этому репетитору, выполняете домашки, учите новые слова. Все эти действия вы совершаете, чтобы рано или поздно получить желаемый уровень. Правда, само хождение на уроки не дает гарантий получения уровня, но если вы продолжаете это делать, это значит, что вы находите в занятиях ценность. Тем самым мы получаем подтверждение наличия product / market fit не через ценность, а через поведение - если retention rate в пользовательские задачи (прохождение уроков, выполнение домашек, обучение слов и т.д.) коррелирует с retention rate альтернативных продуктов.
Определение product / market fit через метрики поведения, а не ценности, имеет одно важное преимущество - таким образом можно "заместить" низкочастотную потребность высокочастотными действиями пользователя внутри продукта. Тем самым метрика retention rate будет валидна, но, не подскажет, действительно ли продукт ценнее альтернатив. Мы просто будем знать, что им пользуются больше. Сравнение будет не ценности, а поведения, что немного противоречит смыслу product / market fit, если подходить к этому понятию строго.
Ключевой драйвер такого рода ценности – это вовлеченность потребителя в выполнение задач. При этом важен не только сам retention rate, но и поведенческие характеристики потребителя: количество выполняемых задач, время между выполнением задач одного типа, доля аудитории отдельных свойств продукта. Например, при одном и том же недельном retention rate в приложения Duolingo и Linguoleo вовлеченность в первое у потребителей может быть выше (на самом деле это предположение - нет статистики в распоряжении): пользователи Duolingo могут выполнять больше заданий и выучивать больше слов. Тем самым можно сделать вывод, что product / market fit для приложения Duolingo сильнее, чем у Linguoleo, ведь если бы пользователи не видели ценности в продукте, они бы не пользовались им так часто.
Границы продукта и связка PMF с фичами
Вернемся к нашему разработчику. То, что он ходит на уроки и выполняет домашки, не дает гарантий, что он успешно пройдет модуль. То, что он успешно пройдет модуль, еще не значит, что он успешно овладеет уровнем английского языка. При этом и овладение уровнем языка это еще не трудоустройство в Blizzard, ради которого он изучает язык. Конечной его потребностью является именно трудоустроиться, английский – лишь способ достижения этого. И то не весь.

Здесь снова возникает разговор о границах продукта и, соответственно, что именно product / market fit значит. Будет ли это продуктом, помогающим трудоустроиться, где главной метрикой для подтверждения pmf это конверсия в трудоустройства. Или останется продуктом обучения английскому языку, главной метрикой которого это конверсия в получение уровня.
Четко обозначить границы продукта важно, т.к. именно они определяют, какую потребность продукт удовлетворяет. То ли он помогает трудоустроиться, то ли он повышает уровень английского языка. Соответственно, и потребитель будет принимать решение о предпочтении именно вашего продукта альтернативам по той потребности, на которую нацелен продукт. Может так оказаться, что для потребности овладения новым уровнем у продукта есть product / market fit, а для потребности трудоустройства нет.

Product / market fit напрямую зависит от контекста потребности, поэтому если один и тот же продукт нацелен на удовлетворение разных потребностей, потому что состоит из нескольких разных фич, то у продукта будет несколько pmf. Другими словами, для одних потребностей этот продукт будет более ценным способом решения задач, чем альтернативы, а вот для других потребностей – product / market fit не иметь вообще.
Это кажется контринтуитивным, так как сам термин product / market fit предполагает продукт и рынок, и он "должен" быть только один, а не для каждой фичи продукта. Это противоречие возникает потому, что происходит неправильная трактовка понятие фичи. Feature, или свойство продукта, это реализация ценностного предложения, нацеленное на удовлетворение какой-либо потребности, т.е. связка «ценностное предложение – потребность», а product / market fit – это по сути свойство этой связки. Если продукт удовлетворяет две разных потребности, то его ценностные предложения обладают разными свойствами pmf.

Чтобы разрешить это противоречие, можно ввести другое понятие – feature / product fit – как свойство фичи, подтверждающее наличие группы потребителей продукта, использующих эту фичу как основной способ удовлетворения их потребностей. В противовес product / market fit как свойству всего продукта главного ценностного предложения.
Проблематика дистрибуции
Следствием последних умозаключений является вывод, что особой разницы между feature и product не существует. Отчасти, это действительно так. Можно взять и упаковать любую фичу продукта в виде отдельного продукта. Всё, вплоть до интерфейса, может оказаться тем же, кроме одного – способа дистрибуции, который в том числе определяет успешность подтверждения product / market fit.

Определение pmf включает фразу «потребители выбирают именно этот продукт…», но чтобы они что-либо выбрали, они, во-первых, должны об этом знать, а, во-вторых, должны иметь возможность прийти в продукт и начать им пользоваться. Без этих условий подтверждение product / market fit невозможно, но делать это можно с разной степенью эффективности.

Допустим есть некоторый зрелый b2b продукт, в который добавили новую фичу. Но о том, что она добавлена в продукт, практически никто не узнал из-за сложного интерфейса. Только 3% пользователей нашли эту фичу в продукте и стали ей пользоваться, да и то редко. Говорит ли это о том, что у этой фичи нет product / market fit в принципе? Неизвестно, потому что о ней узнала лишь часть целевой аудитории сегмента потребителей, для которого эта фича предназначалась. Необходима проработка онбординга и процесса активации в эту фичу, чтобы сделать соответствующий вывод о pmf.
Качественные критерии поиска PMF
Бывает так, что в продукте нет возможности взять какую-либо метрику, чтобы по ней определить pmf. В этом случае единственным вариантом, чтобы получить уверенность в том, что продукт действительно приносит ценность является проведение опроса.

Такой опрос играет ту же самую роль, что и метрики о поведении пользователей, которые получены через систему аналитики. Только теперь вы сами являетесь этой системой аналитики, а опрос – это ваши сенсоры. При составлении таких опросов нужно решить две задачи:

  • Выбрать события в жизни потребителя, после наступления которых проводится опрос;
  • Правильно составить список вопросов, чтобы избежать ошибок первого и второго рода.

Как правильно составлять списов вопросов для качественных исследований здесь писать не буду. А вот про события поговорим. Такими событиями, после которых можно провести опрос, являются:

  • Событие удовлетворения ключевой потребности того value stream, на который нацелен продукт. Например, если у нас продукт обучения английскому языку разработчиков, то главным вопросом будет вопрос вида «Насколько курс помог пройти собеседование и свободно общаться с коллегами?», а опрос проводится через несколько недель после того, как потребитель устроился на работу (или после несколько неуспешных собеседований).
  • Событие удовлетворения потребности в границах продукта. Т.е. насколько сам потребитель почувствовал изменение в уровне языка после завершения обучения.
  • Событие завершения определенной порции ценности в продуктах с длинными циклами. Например, когда опрос проходит после завершения одного из модулей.
  • Событие, которые вы определили как aha moment своего продукта. Например, опрос после первой разговорной сессии с преподавателем без использования русского языка.
  • Событие совершения какой-то операции внутри продукта определенное число раз. Например, когда пользователь прошел 4 или 6 уроков с преподавателем.

Знаменитый вопрос «Как вы будете себя чувствовать, если не сможете больше использовать продукт?», предложенный Шоном Эллисом, тоже относится к качественному способу определения product / market fit. По эвристике, которую приводит Шон Эллис, если более 40% клиентов скажут, что они будут очень разочарованы, то шанс наличия product/market fit у продукта есть. Более подробно об этом способе можно почитать в переводе статьи от GoPractice здесь.
Алгоритм выбора метрики для определения product / market fit
Попробуем собрать все предыдущие тезисы в некий алгоритм, который поможет выбрать правильные критерии для подтверждения product / market fit любого продукта.

Шаг 1. Определитесь, является ли выбранная потребность высокочастотной или низкочастотной.

Если потребность высокой частотности, то можно выбрать retention rate в метрику ценности продукта:
  • Если цикл получения ценности короткий, то используйте North Star Metric, как метрику в наибольшей степени отражающую ценность продукта. Не забудьте, что она выбирается с учетом границ продукта. Подробнее об этом читайте в статье "Ценность и North Star Metric".
  • Если цикл получения итоговой ценности длинный, то определяются повторяемые действия пользователя в продукте, в наибольшей степени отражающие процесс получения ценности, и брать retention rate в них (с учетом частоты использования).
Если потребность низкой частотности, то:
  • Если цикл получения ценности короткий, то можно посмотреть на метрики последующих за сделкой (принесением ценности) этапов воронки, например, конверсию в рекомендации или иную активность потребителя, которой он подтверждает, что ценность принесена.
  • Если цикл получения итоговой ценности длинный, то определите, можно ли его поделить на какие-то порции получения ценности потребителем.
    • Если да – то возьмите метрику конверсии перехода из одной порции в другую, или же в событие aha moment.
    • Если на порции разбить не получится, то используйте конверсию прохода по user flow, который и представляет собой процесс оказания услуги (принесения ценности).

Шаг 2. Выбрав показатель для определения product / market fit, попробуйте найти «номинальный» показатель подобного класса продуктов для сравнения.

  • Если это получится, то сравнение показателей этой метрики и даст понимание о силе product / market fit продукта.
  • Если этого сделать не получится, нужно самому определить понятие «нормы» исходя из ваших амбиций или при помощи суждений по аналогии о метриках других продуктов (например, косвенных конкурентов или продуктов из той же отрасли, но другого класса.

Шаг 3. Расширить схему подтверждения качественными опросом, выбрав события, после которых этот опрос проводится (см. главу выше).

При этом вы можете использовать сразу нескольких способов, через которые подтвердите наличие product / market fit продукта или отельных его свойств. Например, в случае с курсом обучения английскому языку для разработчиков, можно использовать:

  • Доходимость до середины курса;
  • Retention rate в уроки;
  • Конверсия в рекомендации курса после его завершения;
  • Результаты опросов о приносимой ценности через месяц после старта обучения.
Тихомиров Сергей, ноябрь 2022
Made on
Tilda