Парадокс автоматизации: почему самые надежные системы убивают чаще всего

Первого июня 2009 года, в 2:10 ночи по местному времени, на высоте 10 700 метров над Атлантическим океаном в кабине Airbus A330 рейса Air France 447 прозвучал короткий электронный тон. Автопилот отключился.

Три секунды. Именно столько потребовалось, чтобы ситуация из штатного полета превратилась в катастрофу. Самолет падал в океан три с половиной минуты, и все это время два профессиональных пилота с суммарным стажем в тысячи часов не могли понять, что происходит. Они тянули штурвал на себя, задирая нос, хотя самолет кричал им сиреной: «Сваливание! Сваливание!». Они буквально разучились различать ощущение падения от ощущения набора высоты, потому что годами за них это делал компьютер.

228 человек погибли не из-за поломки. Они погибли потому, что автопилот работал слишком хорошо.

Рис 1. Кабина, в которой всё работает. До тех пор, пока не перестает.

Ирония Бейнбридж

За двадцать шесть лет до гибели рейса AF447 британский психолог Лисанн Бейнбридж из Университетского колледжа Лондона опубликовала статью с убийственно точным названием: "Ironies of Automation". Ирония автоматизации. В ней она сформулировала парадокс, который инженеры того времени предпочли проигнорировать, а мы с вами расхлебываем по сей день.

Парадокс, который она описала, звучит как издёвка. Чем надежнее автоматическая система, тем реже оператор практикуется в ручном управлении, и тем беспомощнее он оказывается в тот единственный момент, когда система выходит из строя. Автоматизацию придумали, чтобы компенсировать человеческие ошибки, но она выращивает людей, которые ошибаются ещё грубее, чем если бы автоматизации не существовало вовсе.

Бейнбридж показала механику этого безумия на пальцах. Инженеры не доверяют людям и автоматизируют процесс. Люди расслабляются, теряют хватку. Инженеры видят деградацию и автоматизируют ещё больше. А потом однажды ночью над Атлантикой система решает, что ей нужен перерыв.

Самый дорогой тумблер в истории

В четыре часа утра 28 марта 1979 года на атомной электростанции Three Mile Island в Пенсильвании отказал насос в контуре охлаждения. Ничего страшного, бывает. Для таких случаев есть автоматика, и предохранительный клапан реактора послушно открылся, сбросив давление. Всё по инструкции.

Проблема в том, что клапан застрял в открытом положении и теплоноситель начал утекать из активной зоны. На пульте управления при этом горел индикатор, показывающий, что команда на закрытие клапана отправлена. Не то, что клапан закрыт, а то, что команда отправлена. Операторы, привыкшие доверять показаниям автоматизированной панели, решили, что всё в порядке. Они смотрели на зеленую лампочку и верили ей больше, чем здравому смыслу, хотя все остальные приборы кричали о беде.

Два часа. Два часа операторы не могли поставить правильный диагноз реактору, который медленно расплавлялся у них под ногами, потому что между ними и реальностью стояла стена из автоматических систем, которые они привыкли не проверять, а принимать на веру.

«Парадоксально, но чем выше надежность автоматизированной системы, тем менее подготовлен оператор к тому моменту, когда ему придется вмешаться»

— Лисанн Бейнбридж, "Ironies of Automation", 1983

Рис 2. Зеленый огонек. Он врет, но вы привыкли ему верить.

Руки на руле, глаза в телефоне

Казалось бы, урок выучен. Сорок лет прошло. Мы стали мудрее.

Нет, конечно.

В мае 2016 года Джошуа Браун разогнался на своей Tesla Model S до 120 км/ч по шоссе во Флориде с включенным автопилотом. На перекрестке поперек дороги повернул белый трейлер. Ни Браун, ни автопилот не затормозили. Национальный совет по безопасности на транспорте установил, что Браун не держал руки на руле как минимум последние 7 из 37 минут поездки. Система предупреждала его. Он игнорировал предупреждения.

Но обвинять Брауна в беспечности означает совершить ту же фундаментальную ошибку атрибуции, о которой мы говорили раньше. Виноват не конкретный человек, виноват контекст. Автопилот Tesla работает настолько хорошо в 99.9% случаев, что мозг водителя неизбежно переключается в режим пассажира. Лимбическая система, натренированная миллионами лет эволюции, не умеет бояться того, что ни разу не причиняло боли. Если система работает безупречно сто тысяч километров, на сто тысяч первом километре ваши руки будут в карманах, а не на руле, и никакая сила воли тут не поможет, потому что миллион лет эволюции научил мозг экономить энергию на том, что ни разу не причиняло боли.

Прокрустово ложе кода

Я чувствую, как где-то в затылке начинает ныть неприятное узнавание, потому что всё описанное выше про пилотов и операторов АЭС подозрительно напоминает мою собственную ситуацию с AI-кодингом, о которой я писал раньше.

Несколько месяцев я использую нейросети как основной инструмент разработки. Результаты впечатляющие: сервисы работают, клиенты пользуются, деньги капают. Но если копнуть глубже, картина получается жутковатая. Я не просто не знаю, как работает мой код. Я с каждым месяцем всё хуже понимаю, почему он не работает, когда что-то ломается.

Раньше, когда я писал код руками (пусть медленнее и корявее), я понимал каждую строчку. Ошибка означала открыть файл, прочитать логику, найти баг. Сейчас ошибка означает скопировать стектрейс, вставить в чат и надеяться, что нейросеть разберется. Если она не разбирается, я сижу перед экраном как тот оператор Three Mile Island перед зеленой лампочкой и не понимаю, что вообще происходит.

Рис 3. Я вижу код. Я не понимаю код. Код работает. Пока.

Бейнбридж была права

Инженеры Google, OpenAI и Anthropic делают модели умнее, чтобы мы совершали меньше ошибок. Мы совершаем меньше ошибок и постепенно забываем, как они вообще выглядят. А когда модель галлюцинирует (и она это делает регулярно, с абсолютно невозмутимым лицом), мы не в состоянии отличить бред от правды, потому что для этого нужна та самая компетентность, которую мы с радостью делегировали полгода назад.

Бейнбридж написала свою статью про промышленные контроллеры и авиационные автопилоты. Она не могла знать, что в 2026 году её парадокс опишет отношения человека с чат-ботом лучше, чем любая свежая публикация Стэнфорда.

Пилоты рейса AF447 провели за штурвалом тысячи часов. Но они провели их рядом с автопилотом, а не вместо него. Когда автопилот замолчал, выяснилось, что тысячи часов сидения в кресле рядом с компьютером, который принимает решения за тебя, это не опыт.

Это стаж зрителя.

Я смотрю на свои работающие проекты, вспоминаю, как гордился собой полгода назад, называя себя «кентавром», и думаю: может быть, Air France 447 случилась не потому, что автопилот сломался. Может быть, она случилась потому, что пилоты привыкли быть кентаврами и забыли, что кентавр без лошади — это просто человек, бегущий по взлетной полосе на своих двоих.

А полоса, как выяснилось, заканчивается.