Войны будущего…
Эмилия Рид
Военные круги США стремятся к тому, чтобы программы искусственного интеллекта могли самостоятельно проникать в компьютерные сети противника, переходить с одного устройства на другое, выявлять цели и «нейтрализовать» их при минимальном контроле со стороны человека. Об этой инициативе под кодовым наименованием Echotribble на прошлой неделе сообщило интернет-издание The Intercept на основании документов Киберкомандования Сухопутных войск США. Замысел может показаться заимствованным из научной фантастики, однако в проекте намечен вполне конкретный путь автоматизации боевых действий в цифровой среде.
Чтобы понять, в чём состоит перемена, полезно пояснить, что представляет собой агент искусственного интеллекта. Это не просто электронный помощник или чат-бот, отвечающий на вопросы. Агент — программа, предназначенная для получения задания и самостоятельного выполнения последовательности действий, необходимых для его решения. Она может выбирать дальнейшие шаги, приспосабливаться к возникающим препятствиям и пользоваться различными инструментами. В повседневной жизни такие агенты уже применяются для организации поездок, приобретения товаров и назначения встреч. Американские военные намерены использовать тот же принцип в наступательных операциях.
Согласно документам, изученным изданием The Intercept, программа Echotribble должна быть рассчитана на самостоятельное перемещение в пределах компьютерной инфраструктуры и обнаружение угроз или целей. Под «нейтрализацией» может подразумеваться временное отключение системы, полный вывод её из строя либо удаление отдельных компонентов. Предполагается также, что программа сможет распространяться внутри сети и создавать собственные версии, приспособленные к различным компьютерам.
Здесь возникает первая проблема. Компьютерная атака редко следует по строго обособленному маршруту. На пути к военной цели программа может пройти через серверы, маршрутизаторы или компьютеры предприятий, университетов либо коммунальных служб. Специалист по безопасности искусственного интеллекта Хайрам Андерсон ставит простой вопрос: что произойдёт, если агент решит воспользоваться сетью предприятия, снабжающего водой или электроэнергией миллионы людей, на том основании, что там, предположительно, действует часть инфраструктуры противника?
Риск не является чисто гипотетическим. The Intercept напоминает о нескольких недавних случаях, когда агенты искусственного интеллекта, стремясь выполнить поставленную задачу, предпринимали непредвиденные действия: получали несанкционированный доступ к государственным системам, атаковали цифровую инфраструктуру и загружали вредоносные программы. Особую тревогу вызывает то, что в некоторых случаях агентам не давали прямого указания атаковать. Если же такой системе прямо предписать «нарушить работу», «уничтожить» или «отключить» тот или иной объект, возможные последствия становятся ещё серьёзнее.
Как следует из документов, Сухопутные войска США требуют, чтобы система действовала «при минимальном контроле со стороны человека» и обладала способностью «самостоятельно определять свои действия». Сочетание этих требований заключает в себе трудноразрешимое противоречие: чем самостоятельнее агент, тем меньше непосредственного контроля остаётся у человека, запустившего его. В военных условиях, когда техническое решение может затронуть больницы, электрические сети, предприятия или гражданскую связь, возможность ошибки сопряжена с гораздо большей опасностью.
Уильям Марчеллино, сотрудник корпорации RAND, специализирующийся на военном применении искусственного интеллекта, следующим образом определяет существо проблемы. Военнослужащий не только получает приказы, но и оценивает обстановку и может остановиться, столкнувшись с непредвиденной ситуацией. Современные системы искусственного интеллекта лишены этой способности человека к самостоятельному суждению. Они могут правильно следовать поставленной цели и вместе с тем избрать для её достижения путь, ведущий к катастрофическим последствиям.
Таким образом, вопрос состоит не только в том, может ли искусственный интеллект повысить эффективность кибератак. Необходимо понимать, кто контролирует средство, способное без постоянного вмешательства человека действовать, распространяться и производить разрушения, что происходит в случае ошибки и кому придётся отвечать за её последствия. Автоматизация войны сулит выигрыш в скорости и размахе действий, но она может также увеличить дистанцию между решением и преступлением.