Эффект Макнамары: Что меряют, тем и проигрывают

Месяц назад я сидел с одним маркетологом в кафе и слушал, как он с восторгом рассказывает мне про дашборд, который они допиливают уже четвёртый месяц. В дашборде сорок две метрики, восемнадцать графиков и три цветных тепловые карты. Он водил пальцем по экрану и объяснял, как они теперь в реальном времени видят CTR в разрезе сегментов, ROAS по каналам, средний чек по когортам и ещё штук пятнадцать аббревиатур, после которых официантка предусмотрительно подлила нам обоим воды.

Я спросил, видят ли они в этом дашборде, почему клиент Х в прошлом квартале купил у конкурента, хотя весь предыдущий год покупал у них. Он сказал, что это качественная история, а они работают с цифрами.

Я допил кофе и подумал про Роберта Макнамару.

Уитц-кид с Форд Мотор

В 1961 году президент Кеннеди привёл на должность министра обороны США сорокачетырёхлетнего человека, который ещё вчера был президентом Ford Motor Company. Роберт Макнамара, выпускник Гарвардской школы бизнеса, один из «whiz kids», команды молодых аналитиков, перестроивших послевоенный Форд по принципам статистического управления. Они вытаскивали корпорацию из управленческого хаоса по одной простой философии, которая звучала почти как заповедь. Меряй всё, что можно померить, и принимай решения на основе цифр, а не интуиции.

На Форде это работало. Сборочный конвейер хорошо ложится в таблицы.

Когда Макнамара пришёл в Пентагон, он привёл с собой ту же команду и ту же логику. Война в Северном Вьетнаме была военной операцией, военная операция была проектом, у проекта были метрики. Главной метрикой, символом всей его карьеры, стало то, что в американской военной истории навсегда осталось термином «body count». Количество убитых солдат противника за отчётный период.

Логика выглядела безупречно. У северовьетнамской армии конечный человеческий ресурс, значит чем больше мы убиваем, тем ближе победа. Каждый рейд, каждая зачистка, каждый удар оценивался не по тому, занят ли стратегический объект, не по тому, контролируется ли территория, не по тому, доверяет ли нам местное население. Оценивался по количеству трупов в отчёте.

Рис 1. Война как таблица. Что в таблицу не попало, того нет.

Через несколько лет американские офицеры в Сайгоне обнаружили, что их солдаты систематически завышают body count, потому что от этой цифры зависели награды, повышения и ротация домой. Убитого мирного крестьянина легко записать в Вьетконг. Сожжённую деревню без выживших удобнее, чем взятый укрепрайон. В отчётах война выигрывалась каждый квартал. В реальности американцы её проиграли в 1975-м.

В 1995 году Макнамара выпустил книгу «In Retrospect», в которой признал, что они были «не правы, ужасно не правы». Ему было 79 лет, и он провёл следующие 14 лет своей жизни, объясняя выжившим, что метрики бывают опаснее ракет.

Лестница самоубийства Янкеловича

В 1972 году социолог Дэниел Янкелович сформулировал четыре последовательных шага, которые потом получили имя McNamara Fallacy и до сих пор остаются лучшим описанием того, что происходит в любом отделе, помешанном на цифрах.

Первый шаг. Мы меряем то, что легко измерить. Это все еще нормально.

Второй шаг. Мы игнорируем то, что измерить трудно, или присваиваем этому произвольное число. А вот это уже искусственно.

Третий шаг. Мы считаем, что то, что трудно измерить, не очень важно. Здесь мы уже ищем черную кошку в темной комнате.

Четвёртый шаг. Мы заявляем, что то, что нельзя измерить, не существует. Здесь комментировать только портить.

Янкелович называл эту последовательность лестницей. Большинство компаний, как только покупают первый дашборд, начинают спускаться по ней не задумываясь.

Маркетинг как Сайгон

Современный маркетинг живёт в эпохе своего собственного Вьетнама. В 2013 году британские исследователи Лес Бине и Питер Филд опубликовали для Института практикующих рекламы (IPA) работу «The Long and the Short of It», в которой проанализировали почти тысячу рекламных кампаний за тридцать лет. Вывод был такой, от которого до сих пор открещиваются performance-агентства. Компании, инвестировавшие около 60 процентов бюджета в долгосрочный бренд и 40 процентов в краткосрочный performance, показывали рост в два-три раза выше, чем компании, отдавшие всё performance-каналам.

Причина простая. Бренд-инвестиции работают через эмоциональную память, которая не падает на дашборд CTR в режиме реального времени. Performance-инвестиции работают через мгновенный отклик и красиво ложатся в таблицу. Маркетинговый директор, у которого над столом висит экран с метриками, видит только performance. Бренд для него существует как абстрактная история, рассказанная агентством на квартальной презентации.

И вот через два года у компании всё ещё «оптимальный CAC», конверсия по таргету выросла на 23 процента, а узнаваемость в категории просела с 41 до 19. Менеджер недоумевает, почему дашборд зелёный, а выручка падает. Дашборд не показывает то, чего на дашборде нет.

Рис 2. Сорок две метрики. Ни одна не объясняет, почему уходят клиенты.

Я того самого маркетолога в кафе с дашбордом, кстати, не выдумал. Через две недели после нашего разговора он позвонил и попросил «помочь разобраться, почему перформанс вроде на месте, а продажи второй квартал в минусе». На это у меня нашёлся довольно очевидный ответ.

Отдел продаж в режиме Макнамары

В отделах продаж этот рефлекс работает ещё жёстче. Потому что цифр в продажах больше и они на первый взгляд понятнее. Количество звонков. Конверсия лида в встречу. Конверсия встречи в КП. Конверсия КП в счёт. Конверсия счёта в оплату. Средний чек. Длина сделки. Воронка по каждому менеджеру.

Всё это меряется, всё это сидит в CRM, и всё это, как правило, абсолютно бесполезно для понимания того, что на самом деле происходит в разговоре менеджера с клиентом.

Цифры не показывают, в какой момент клиент мысленно сказал «нет» и продолжил разговор из вежливости. Не показывают, что менеджер прервал клиента шесть раз, и клиент это запомнил. Не показывают, что закрытая на этой неделе сделка случилась благодаря случайному совпадению, а потерянная в прошлом месяце была близка к подписи, и её добил один кривой вопрос на восьмой минуте.

Цифры показывают тело. Они не показывают, как оно умерло.

В 1963 году социолог Уильям Брюс Кэмерон в книге «Informal Sociology» написал фразу, которую через шестьдесят лет приклеивают к Эйнштейну на каждой второй презентации:

«Не всё, что можно посчитать, имеет значение. И не всё, что имеет значение, можно посчитать.»

— Уильям Брюс Кэмерон, 1963

Эйнштейн её никогда не произносил. Кэмерон написал её, разглядывая, как социология начинает имитировать себя под экономику, чтобы выглядеть солиднее в глазах фондодателей. С тех пор её цитируют все, кто борется с дашбордами. Никто из них не помнит автора.

Рис 3. Внимание на экране. Лес где-то на периферии.

P.S.

Роберт Макнамара умер в 2009 году в возрасте 93 лет. Большую часть последних двадцати лет жизни он провёл, давая интервью и снимаясь в документальных фильмах, в которых пытался объяснить молодому поколению менеджеров, что считать важно, но считать вместо думать смертельно опасно.

Его, как и Земмельвейса, начали слушать примерно тогда, когда стало поздно.