С одной стороны, можно сказать, что внедрение инструментов на основе искусственного интеллекта в военную сферу может иметь ценность, с точки зрения улучшения существующих возможностей. С другой стороны, внедрение новых инструментов, которые не регулируются международным правом, поднимает значительные правовые и моральные вопросы и еще больше усугубляет сложность ведения войны – ？области неопределенности？. В попытке внести свой вклад в растущую литературу, оценивающую эти две стороны спектра и все, что лежит между ними, в этом блоге мы рассмотрим опыт Израиля в качестве пробного случая, чтобы подумать о правильном пути продвижения вперед.
Тенденция ИИ в ЦАХАЛе
Государство Израиль является технически подкованным игроком в технологической области, и оно использует свои возможности как часть своего дипломатического инструментария, чтобы утвердиться в качестве лидера в разработке международного технологического управления. Потребность в технологическом превосходстве Израиля проистекает из угроз, с которыми он сталкивается, о чем свидетельствует рост кибератак против целей в Израиле, особенно во время войны между Израилем и ХАМАСом в 2023-2024 годах.
Как можно узнать из опыта Израиля, глобальная и широкая интеграция ИИ, усугубляемая генеративными инструментами ИИ, добралась и до военной сферы. В частности, ЦАХАЛ использует приложения искусственного интеллекта в своих системах: (1) упреждающее прогнозирование, оповещение об угрозах и защитные системы; и (2) анализ разведданных, целеуказание и боеприпасы. Эта тенденция усилилась во время войны Израиля и ХАМАС в 2023-2024 годах, что заставило задуматься о роли международного права в этом явлении.
Упреждающее прогнозирование, оповещение об угрозах и защитные системы
Инструменты на основе искусственного интеллекта могут обнаруживать, оповещать и иногда предотвращать катастрофические сценарии и способствовать эффективному управлению кризисами. Таким образом, как и НАТО, ЦАХАЛ использует технологии искусственного интеллекта для улучшения реагирования на стихийные бедствия (например, путем анализа аэрофотоснимков для выявления рисков и жертв). Одной из примечательных систем является система Алхимика, которая, по-видимому, обладает как оборонительными, так и наступательными способностями. Эта система интегрирует данные на единую платформу и обладает способностью идентифицировать цели и оперативно информировать участников боевых действий об угрозах, таких как подозрительные перемещения. Эта система была развернута уже в 2021 году, во время операции ？Страж стены？.
Кроме того, ？Железный купол？ — это израильская система противоракетной обороны, известная своими возможностями по спасению жизней в защите критически важной инфраструктуры от угрозы ракет, запущенных по территории Израиля. В войне между Израилем и ХАМАСом в 2023-2024 годах эта система позволила добиться небольшого числа жертв, несмотря на запуски ракет из Газы, Ливана и других районов (таких как Сирия и даже Йемен), перед лицом широкого спектра угроз, таких как беспилотники и другие небольшие низколетящие объекты.
Еще одна оборонительная система, известная как ？Edge 360？, была разработана компанией Axon Vision. Эта система на основе искусственного интеллекта, установленная на бронированных машинах, которые в настоящее время эксплуатируются в Газе, обнаруживает потенциальные угрозы со всех сторон и оперативно оповещает оператора транспортного средства. Наконец, ЦАХАЛ также использует ИИ на службе пограничного контроля. Атака 7 октября подняла несколько тревожных сигналов в отношении этой системы и подчеркнула тот факт, что технологические инструменты могут, в конечном счете, лишь дополнить человеческие возможности.
Анализ разведданных, целеуказание и боеприпасы
Интеграция инструментов на основе искусственного интеллекта для анализа больших объемов данных имеет важное значение для борьбы с ошеломляющим потоком данных, который характеризует современное поле боя. Одной из ССП, используемых ЦАХАЛом, является ？Фабрика огня？, которая может анализировать обширные наборы данных, включая исторические данные о ранее санкционированных целях для нанесения ударов, что позволяет рассчитать необходимое количество боеприпасов, предложить оптимальные сроки, а также определить приоритеты и распределить цели. С оперативной точки зрения он представляет собой объединение фазы 2 (разработка мишени) и фазы 3 (анализ возможностей) цикла целеуказания.
Еще одна система, вызвавшая недавние споры, — это Евангелие, которое помогает подразделению военной разведки ЦАХАЛа улучшать рекомендации и определять ключевые цели. Уже в 2021 году в ходе операции ？Страж стен？ система сгенерировала 200 вариантов военных целей для стратегического взаимодействия в ходе продолжающейся военной операции. Система выполняет этот процесс за считанные секунды, что ранее потребовало бы труда многочисленных аналитиков в течение нескольких недель.
Третьей примечательной системой является система ？Fire Weaver？, новый инструмент, разработанный частной компанией Rafael. Эта сетевая система связи датчиков со стрелком связывает датчики сбора разведданных с оружием, развернутым в полевых условиях, облегчая идентификацию целей и возможности поражения. Система Fire Weaver фокусируется на обработке данных и выборе оптимальных стрелков для различных целей на основе таких факторов, как местоположение, линия видимости, эффективность и доступные боеприпасы. Он направлен на повышение способности работать одновременно с различными игроками, действующими согласованно, чтобы повысить точность, свести к минимуму сопутствующий ущерб и снизить риск дружественного огня.
Наконец, в недавнем сообщении СМИ 972+ сообщалось, что ЦАХАЛ развернул систему искусственного интеллекта под названием ？Лаванда？, которая якобы сыграла важную роль, особенно на ранних этапах конфликта между Израилем и ХАМАСом в 2023-2024 годах. Эта система предназначена для обозначения возможных подозреваемых боевиков в военных крыльях организации ХАМАС и организации "Исламский джихад в Палестине" в качестве потенциальной цели. В отчете 972+ говорится, что человеческая проверка в этом контексте якобы ограничивается определением пола цели, со средней продолжительностью 20 секунд на цель перед атакой, и, кроме того, в отчете говорится, что система ошибалась примерно в 10% случаев. Если это правда, то это вызывает тревогу, и действительно, в недавнем посте Агенджо предположил, что такой сценарий вызывает обеспокоенность по поводу потенциальных нарушений человеческого достоинства из-за обезличивания целевых лиц и обхода человеческого участия в процессе выбора целей.
Тем не менее, следует отметить, что процесс, упомянутый в статье 972+, является очень предварительным в цепочке создания и санкционирования военной цели. Это происходит потому, что решение, принятое офицером разведки, позже передается в целевую комнату, в которой юрисконсульты, оперативные советники, инженеры и более опытные офицеры разведки пересматривают предложенную цель перед ее утверждением (и, иногда, отвергают их). Таким образом, использование термина ？Лаванда？ ограничено этапом сбора разведывательных данных, после которого предложенное понимание все еще нуждается в проверке в целевой комнате, в частности, юрисконсультами, которые будут оценивать, следует ли атаковать цель, исходя из соображений различения, соразмерности и других применимых норм МГП.
Проблемы, связанные с ИИ на поле боя
Генеральная Ассамблея ООН недавно выразила свою обеспокоенность в связи с появлением новых технологических приложений в военной сфере, в частности, связанных с искусственным интеллектом, которые создают серьезные вызовы ？с гуманитарной, правовой, технологической, технологической и этической точек зрения, а также с точки зрения безопасности？. Ключевой вопрос возникает в отношении соответствующего уровня участия человека, требуемого или необходимого в процессах принятия решений (внутри/в/вне контура). Эта озабоченность поднимает вопрос, имеющий важное значение для трех важнейших целей: повышение точности и аккуратности в принятии решений, повышение легитимности и обеспечение подотчетности. Это особенно важно в контексте систем ИИ, развернутых для наведения, таких как Лаванда, Евангелие, Ткач огня и Фабрика огня.
Представляется, что на сегодняшний день нет никакого правового обоснования ситуации, в которой система ИИ автономно нацеливается на отдельных лиц вообще без участия человека, поскольку порогом, устанавливаемым МГП, является порог разумного военного командира (а именно, командира-человека, который оценивается по стандартам, которые не применяются к компьютеризированным системам на основе ИИ). В связи с этим МККК отметил, что сохранение контроля и суждения со стороны человека имеет важное значение. В соответствии с подходом Израиля, в настоящее время командир ЦАХАЛа является тем, кто имеет решающее право принимать решения, когда дело доходит до выбора целей. Тем не менее, в последнее время высказывается критика в отношении степени и эффективности участия человека в процессе выбора мишени такими системами, как Евангелие и Лаванда (см., например, здесь и здесь).
В этом контексте стоит отметить общепринятый принцип мер предосторожности. Этот принцип обязывает тех, кто планирует нападение, ？сделать все возможное для проверки？ военного характера отдельных лиц или целей. Этот принцип также влечет за собой обязанность проявлять постоянную заботу, которая требует, чтобы при ведении военных операций постоянно заботились о том, чтобы щадить гражданское население и гражданские объекты.
Действительно, быстрые темпы создания целей системой искусственного интеллекта в сочетании с ограниченным временем командира для всестороннего анализа вызывают обеспокоенность тем, что эта ситуация может не соответствовать обязательству исчерпать все ？возможные？ средства для предотвращения вреда гражданскому населению и может не соответствовать обязанности постоянной заботы. В недавнем блоге, опубликованном Opinio Juris, было высказано предположение, что если военнослужащие не могут ？вникнуть глубоко в цель？, трудно понять, как эти системы способствуют соблюдению принципа предосторожности и обязанности постоянной заботы. В блоге также утверждается, что в целом скорость и масштаб производства целей такими системами ИИ в сочетании со сложностью обработки данных могут сделать человеческое суждение невозможным или бессмысленным. Однако следует напомнить, что официальная позиция ИДФ по этому вопросу, как представляется, решает эту проблему. Как уже отмечалось, использование ИИ систем наведения на цели, таких как ？Евангелие и лаванда？, ограничено фазой сбора разведданных, на ранних стадиях ？жизненного цикла？ цели, в том смысле, что более поздние стадии включают подтверждение и надзор за стадиями сбора и оценки разведданных, включая обзор юрисконсультами. которые подтверждают не только сделанные фактические утверждения, но и уместность нападения с точки зрения различия, соразмерности, мер предосторожности и других соответствующих норм международного права. Действительно, ЦАХАЛ уточнил, что выбор цели для атаки по Евангелию будет проходить дополнительную отдельную экспертизу и одобрение со стороны нескольких других органов (оперативных, юридических и разведывательных) из желания обеспечить значимое участие человека в процессах принятия решений о выборе целей.
Еще одна проблема связана с проблемой объяснимости, или феноменом ？черного ящика？. Неспособность систем на основе ИИ, как общей и присущей системе ошибки, когда речь идет об ИИ, предоставлять четкое и понятное объяснение процессов принятия решений может препятствовать расследованию военных инцидентов и, таким образом, влиять на подотчетность, а также препятствовать способности минимизировать риск повторяющихся ошибок. В этом контексте ЦАХАЛ пояснил, что в отношении Евангельской системы она предоставляет исследователю разведки доступную и понятную информацию, на которой основаны рекомендации, что позволяет проводить независимое исследование разведывательного материала. Еще одной заметной проблемой, связанной с этой проблемой, является явление под названием ？предвзятость автоматизации？. Предвзятость автоматизации относится к тенденции чрезмерно полагаться на результаты ИИ или чрезмерно доверять им. В то время как командиры ЦАХАЛа могут игнорировать рекомендации из Евангелия, тем не менее, трудно избежать предвзятости автоматизации, особенно во время интенсивных боевых действий, которые требуют принятия решений в ускоренном темпе и под постоянным давлением действий.
Путь вперед – обзор новых и появляющихся технологий является обязательным условием
Государства ограничены в выборе оружия и средств или методов ведения войны. Для того чтобы удостовериться в том, что новые потенциалы соответствуют международному праву, государства в соответствии со статьей 36 Первого дополнительного протокола к Женевским конвенциям (ДП-I) обязаны проводить оценку новых видов оружия, средств или методов ведения войны до их применения на практике. Для нашего обсуждения имеет значение тот факт, что ？средства ведения войны？ — это широкий термин, охватывающий военную технику, системы, платформы и другие связанные с ними средства, используемые для облегчения военных операций. Похоже, что инструменты, используемые для наступательных действий, такие как ？Евангелие？, ？Огненная фабрика？, ？Огненный ткач？ и ？Лаванда？, представляют собой новое средство ведения войны, которое должно быть подвергнуто юридической проверке в соответствии со статьей 36.
Несмотря на то, что Израиль не является участником ДП-1 и в настоящее время ведется дискуссия об обычном статусе статьи 36, важно напомнить, что в Замечании общего порядка No 36 Комитета по правам человека принят подход, согласно которому обеспечение защиты права на жизнь предполагает принятие профилактических мер по оценке воздействия, включая проверку законности новых видов оружия и средств ведения войны. Такой обзор должен проводиться в три этапа.
Во-первых, важно определить, запрещено или ограничено ли применение того или иного средства ведения войны договором или обычным международным правом. Что касается военных инструментов ИИ, то Государство Израиль не ратифицировало договор, конкретно запрещающий использование технологии ИИ в целом или в военных целях, поскольку на данном этапе его нет. Кроме того, как представляется, в настоящее время не существует обычного запрета на развертывание ИИ в военном контексте (кроме общих принципов МГП, таких как различение, и конкретных правил, таких как правила защиты охраняемых объектов).
Во-вторых, необходимо определить, может ли использование системы нарушать общие запреты международного права (например, защиту окружающей среды). Инструменты искусственного интеллекта, используемые ЦАХАЛом, такие как Gospel и Fire Factory, не нарушают прямых запретов, поскольку они просто поддерживают процессы принятия решений.
В-третьих, государство должно рассматривать средства ведения войны в свете ？оговорки Мартенса？, которая подчеркивает необходимость учитывать ？принципы гуманности？ или ？требования общественного сознания？. В деле о законности угрозы ядерным оружием или его применения Международный суд ООН подтвердил важность оговорки Мартенса как ？эффективного средства решения проблемы быстрой оценки военных технологий？.
Мы предлагаем запретить сценарии, в которых системы ИИ принимают автономные решения без участия человека. Это необходимо с учетом того факта, что правовой стандарт поведения в МГП относится к лицу, принимающему решения, а также при рассмотрении событий в других областях, и в первую очередь в области прав человека (где все чаще обсуждается вопрос о праве на человека, принимающего решения). В частности, мы выступаем за то, чтобы ЦАХАЛ настаивал на значимом участии человека в использовании систем ИИ в ЦАХАЛе, что включает, среди прочих мер, отдельное одобрение другого органа власти в цепочке командования, а также дополнительные проверки в целевой комнате юрисконсультами и дополнительными экспертами. Этот механизм должен быть всегда, без исключений. Кроме того, как обсуждалось выше, важно попытаться дать объяснения людям, работающим с системами, чтобы избежать ситуации ？черного ящика？, в которой невозможно контролировать системы и должным образом подвергать сомнению их предложения (когда это необходимо), а также смягчить опасения по поводу возможной предвзятости.
Заключение
При развертывании новых военных потенциалов есть место для благоразумия. Во-первых, крайне важно оценить законность новых технологий с помощью мер оценки воздействия, например, в соответствии со статьей 36 API. Во-вторых, проектировщики и операторы должны осознавать присущие им риски, такие как необъяснимость и предвзятость. Это не означает, что мы предлагаем возложить уголовную ответственность на разработчиков, поскольку окончательное решение принимает военачальник, но мы считаем, что чем больше разработчики поймут, каким образом ограничения системы могут препятствовать ее работе, тем лучше они смогут справиться с проблемами и, надеюсь, также смягчить их. Обучение операторов системы и тех, кто на нее полагается, также является ключевым, и оно должно включать технические, этические и юридические аспекты.
В мире, который становится все более разделенным по идеалам и ценностям, возможность найти точки соприкосновения на предстоящем пути будет иметь решающее значение не только для поля боя будущего, но и для поддержания международного мира и безопасности. Мы живем в нестабильное время, которое включает в себя квантовые скачки с точки зрения технологий, и необходимость быть в состоянии подняться над узкими интересами и соображениями важна как никогда.
Мы считаем, что такие инициативы, как REAIM и ？Политическая декларация об ответственном военном использовании искусственного интеллекта и автономии？, должны вести вперед – по пути сотрудничества, общей почвы и будущего, в котором государства будут сосредоточены на благополучии человечества, а не на антиутопических техногенных насильственных столкновениях, которые будут предприниматься без надлежащей правовой базы или критериев для их регулирования. Для того чтобы продвинуться вперед в создании основы для регулирования ИИ на поле боя, необходимо взаимодействовать не только с государствами, но и со всеми заинтересованными сторонами. Многосторонний подход основан на понимании того, что для достижения прогресса и обеспечения легитимности норм и институтов требуется конструктивное и прозрачное участие всех соответствующих субъектов. Мы должны помнить о том, что развитие технологий является сложной сферой деятельности, в которой существует разделение ролей и обязанностей между различными заинтересованными сторонами, включая государства, научные круги, гражданское общество и частный сектор. Любой шаг вперед должен быть инклюзивным, прозрачным и предусматривать конструктивное участие всех заинтересованных сторон.
Таль Мимран, Гал Дахан
Источник: https://opiniojuris.org/2024/04/20/artificial-intelligence-in-the-battlefield-a-perspective-from-israel/