Однажды это случится – может, так, а может, немного иначе: автономный автомобиль мчит по загородной дороге. Водитель устроился поудобнее и читает газету; за рулем компьютер. Вдруг на дорогу выскакивают трое детей, слева и справа деревья.

В это мгновение решать придется машине. Но сможет ли она поступить правильно? От ее выбора зависят три человеческие жизни. Точнее, четыре. Допустим, компьютер приходит к выводу, что в данных обстоятельствах лучше пожертвовать водителем, и «затормозит», врезавшись в одно из деревьев. Почему бы и нет? На другой чаше весов – три детские жизни.

Увы, водителя в таком случае ждет незавидная смерть. Однако провидцы от автопрома предпочитают не усложнять: дескать, человек сможет ехать, наслаждаясь привычным комфортом и безопасностью, как на железной дороге. Но всегда будут происходить аварии, которых не избежать: дети, появившиеся из ниоткуда, мотоциклист, вдруг мчащийся наперерез, автомобиль, выскочивший на встречку в попытке избежать столкновения.

И что тогда?

К тому моменту, когда человек оторвется от чтения и сможет оценить положение, будет уже поздно. При таком сценарии компьютер обязан сам просчитать, как поступить. Можно надеяться, что он будет запрограммирован на минимизацию последствий. Но это значит, что ему решать, кто из участников неизбежного ДТП выживет, а кто – едва ли.

Готово ли общество с этим мириться? Вероятно, такой вопрос встанет уже на раннем этапе.

Технический прогресс в этой сфере оказался неожиданно быстрым. Не исключено, что скоро будут доведены до ума первые автомобили, которые смогут обходиться совсем без водителя. Автопилот для автострад появится в 2020 году, убеждены оптимисты. А еще через пару лет – и для всей дорожной сети.

Многие производители, начиная с Daimler и заканчивая Tesla, уже работают над созданием автономного автомобиля. Больше всех торопится Google; поисковый концерн не страшится самых смелых прогнозов. Директор подразделения самоуправляемых автомобилей Крис Урмсон недавно сказал: через 4 года его сын сможет получить свое первое водительское удостоверение, и «мы хотим, чтобы к тому времени оно ему уже не понадобилось».

Бесспорно, компьютер будет лучше справляться с обязанностями водителя: его невозможно отвлечь, у него всегда хорошая реакция, он постоянно контролирует дорожную ситуацию со всех сторон. Если он «сядет» за руль, то, следует полагать, количество ДТП резко снизится. Зато появятся принципиально другие аварии – новые, зловещие.

Ведь подчас их жертва будет отнюдь не случайной. Автомобиль сам сможет выбирать, кто получит травму, а кто отделается легким испугом. В крайнем случае – кто останется жить, а кому умирать. Рядом с этим старое доброе ДТП кажется почти безобидным.

Когда что-то случается, у человека за рулем фактически нет выбора: он ударяет по тормозам, выворачивает руль, направляет автомобиль куда придется, задевает прохожих, врезается в другой автомобиль или в дерево. Что бы он ни делал, как можно винить его за рефлексы, сработавшие в столь страшный момент? Даже если бедолага собьет семерых пешеходов у светофора, пытаясь объехать ребенка, который бросился под колеса, – что ж, такая судьба!

Никуда не денешься: автомобиль всегда остается в строю – вплоть до самого столкновения. Так что же считать меньшим злом? Ответ зависит исключительно от вычислений. Любой ущерб здоровью и жизни должен получить определенный числовой коэффициент, точнее, цену. Что обладает большей ценностью: жизнь ребенка или жизнь взрослого? А двух взрослых? Пяти?

Как учитывать фактор вины? В частности, как быть с невинными детьми в автомобиле виновника неизбежного ДТП, который не остановится на красный? Все это должно быть заложено в программном коде. Программисты говорят о стоимостных функциях – уравнениях, позволяющих сопоставлять конфликтующие интересы. В конечном итоге автомобиль принимает решение с минимальной «суммой ущерба» – оптимальную аварию.

Но как вообще соизмерить благополучие и страдания? Философы издавна бьются над этим вопросом. Английский идеолог социальных реформ Иеремия Бентам еще в конце XVIII века предложил специальную формулу. Его алгоритм позволяет просчитать количественный эквивалент всей радости и боли, которые повлечет за собой то или иной действие. В уравнении учтено все: интенсивность, продолжительность, число пострадавших и выгодоприобретателей. Неотъемлемые права человека Бентам называл «чепухой на ходулях». Конституция наподобие немецкой вызвала бы у него только смех: основной закон ФРГ запрещает убивать (и даже пытать) вне зависимости от того, сколько человеческих жизней это может спасти. Бентам грезил обществом, которое производило бы максимум общественного блага – на строгих научных началах, с бесстрастием машины и, если нужно, жертвуя интересами индивидуума.

Идеи Бентама с его «принципом пользы» долгое время считались сумасбродными и трудноприменимыми на практике. Однако сегодня в контексте автономных автомобилей рассуждения старого утилитариста вновь вызывают интерес: возможно, они позволят урегулировать щекотливую проблему подобных решений?

По всей видимости, простой баланс вреда и пользы делу не поможет. Автомобили, которые будут руководствоваться исключительно ею, станут постоянной угрозой для общества. Ведь они в любой момент смогут, например, переехать безобидную старушку на тротуаре, объезжая ребенка, который вдруг выскочил на проезжую часть. Это все равно, как если посетитель в больнице должен будет бояться врачей, которые, подкараулив за углом, могут схватить его и разобрать на органы, чтобы спасти жизни пяти смертельно больных пациентов.

Философы уже ищут решение этой дилеммы. Один из принципов: для любых подсчетов пользы необходимы определенные рамки, не все потенциальные жертвы имеют эквивалентную ценность. Так, участники дорожного движения вправе рассчитывать, что остальные будут вести себя сообразно ситуации. И тот, кто выходит на проезжую часть, знает, что ему нужно соблюдать осторожность. А вот по тротуару автомобили обычно не ездят; там пешеходы могут неспешно прогуливаться и чувствовать себя в безопасности. Автомобиль должен соблюдать эту защищенную сферу – даже ценой смерти ребенка. Таким образом, беспечный прохожий получает приоритетное право на жизнь.

Не важно, что ляжет в основу новых дорожных инструкций, они должны быть сформулированы математически, в виде чисел и уравнений, понятных компьютеру. Такова цена. Чем выше автономность машины, тем более машинной становится этика. Без широкой дискуссии здесь не обойтись. И вполне возможно, что такая дискуссия похоронит мечты об автомобилях без водителя, до того как они станут реальностью, поскольку их воплощение привело бы к формированию общества, в котором мало кому захочется жить. Тогда прогресс остановится, не правда ли? И человек на какое-то время сохранит за собой место за рулем.

Но и такое решение тоже не будет невинным. По разным оценкам, человеческим фактором обусловлены до 90% автомобильных аварий. Каждый год на дорогах планеты гибнет свыше миллиона человек – и, пока компьютер не пустят за руль, ситуация вряд ли сильно изменится. Не слишком ли высока цена?