FP: должны ли роботы-убийцы сами выбирать цель?
Соотношение человеческого решения и выбора машины для решения боевых и иных задач оценивают западные эксперты, статья об этом опубликована 20 января в Foreign Policy.
Формальные дебаты о боевых автономных системах оружия — машинах, которые могут выбирать и стрелять по целям самостоятельно — начались всерьез около полувека назад. Однако несмотря на ежегодные собрания, Конвенции Организации Объединенных Наций еще предстоит договориться о том, что такое «боевое автономное оружие», не говоря уже о том, чтобы определить, как его обуздать.
Тем временем технологии развиваются стремительно, военные не собираются ждать определения точного значения скользких терминов, таких как «значимый контроль со стороны человека», прежде чем отправлять в бой продвинутых боевых роботов.
Конечно, это кошмарная перспектива. Генеральный секретарь ООН Антонио Гутерриш, вторя растущему хору правительств, мозговых центров, ученых и технологов, назвал такое оружие «политически неприемлемым» и «морально отвратительным». Но все это упускает из виду столь же серьезную проблему: автономные системы, которые не являются сами по себе смертельными, а скорее выступают в качестве ключевого соучастника человеческого насилия.
Такие инструменты, как вспомогательные боевые автономные системы, могут звучать не так страшно, как рой интеллектуальных боевых дронов. Но они могут быть более опасными. В лучшем случае они сделают конфликт гораздо более непредсказуемым и менее ответственным. В худшем случае они могут облегчить чудовищные зверства.
Военные и разведывательные службы уже давно разрабатывают и внедряют программное обеспечение для автономного поиска потенциальных целей, которые могли бы ускользнуть незамеченными в потоке данных. Одно из особенно пугающих направлений исследований состоит в том, чтобы создать алгоритмы, которые указывают аналитикам, к примеру, автомобили, подозрительно ведущие себя в городе.
Широкое использование сложных автономных средств на войне чревато неизвестными последствиями. Алгоритм, позволяющий высчитать, должен ли танк использовать снаряд или ракету, чтобы убить врага, может показать разницу между жизнью и смертью для любого, кто оказывается поблизости от цели. Но разные системы могут выполнять одни и те же вычисления с широко расходящимися результатами. Даже надежность одного данного алгоритма может сильно различаться в зависимости от качества данных, которыми он оперирует.
Также трудно понять, будет ли искусственный интеллект вспомогательных боевых систем противостоять или усиливать те человеческие страсти, которые слишком часто приводят к ошибочным или незаконным убийствам. Также не существует единого мнения относительно того, как гарантировать, что человеческий палец на спусковом крючке можно считать надежной проверкой на предмет ошибочности действия алгоритма.
По мере распространения технологий даже высокоморальным военным, возможно, придется полагаться на помощь автономных систем, несмотря на многочисленные риски, просто, чтобы опередить своих противников, которые будут пользоваться искусственным интеллектом без всяких стеснений.
Как только система ИИ сможет ориентироваться в сложных обстоятельствах более грамотно, чем любая группа солдат, у человека не останется иного выбора, кроме как принять совет системы. Как выразился один вдумчивый участник недавнего симпозиума армии США, вопрос наведения на цель станет просто фактом нажатия кнопки «Я верю». В таком контексте заверения высшего руководства о том, что их машины никогда не примут окончательного смертельного решения, кажутся немного неуместными.
Напомним, рост производительных мощностей, миниатюризация, а также усложнение алгоритмов привело к появлению большого числа автономных или полуавтономных боевых систем. Кроме того, современный бой невозможно вести без широкого использования средств автоматизации, связи и боевой аналитики.
Все это приводит к ряду неизвестных доселе моральных и этических вопросов, связанных с участием автономных систем в боевых действиях и принятии решений, связанных с уничтожением людей.
