На полі бою майбутнього здатність машин самостійно ухвалювати рішення про застосування летальної сили ставить під сумнів традиційні уявлення про людський контроль та відповідальність. Ця дискусія, що набирає обертів, зосереджена на двох ключових фразах, які можуть визначити майбутнє війни: “значущий людський контроль” та “належне людське судження”.
Ключові висновки
- Повідомляється, що російський дрон, оснащений ШІ, самостійно обрав ціль в Україні, вбивши трьох цивільних осіб — це тривожний випадок, коли машини ухвалюють летальні рішення без прямого втручання людини.
- Глобальна дискусія щодо автономної зброї звузилася до двох конкуруючих концепцій: “значущий людський контроль”, який наполягає на втручанні людини в ухвалення летальних рішень, та більш гнучкий підхід Пентагону “належне людське судження”.
- Компанія OpenAI прийняла термінологію Пентагону, погодившись на стандарт, який не вимагає від людини ухвалення рішення щодо кожної летальної дії, залишаючи його практичні межі для майбутніх військових застосувань на основі конкретних випадків.
Битва з високими ставками
У ранні 2010-ті роки концепція “значущого людського контролю” стала початковою рамковою основою в міжнародних дискусіях щодо регулювання прийнятного рівня людського втручання (або його відсутності) у застосуванні автономної зброї. Хоча цей термін швидко став основним принципом для багатьох держав у цих дебатах, він також зустрів опір з боку інших, зокрема США та Росії.
Проблема полягає в тому, що означає “значущий людський контроль” і що робить контроль значущим, а що ні? Не було консенсусу щодо значення як “значущий”, так і “контроль”. Більше того, досягнення згоди між багатьма країнами щодо стандарту “значущого контролю” виявилося майже неможливим завданням.
Зрештою, хоча точне визначення значущого людського контролю так і не було повністю сформовано, цей термін став достатньо зрозумілим, щоб сприяти подальшому міжнародному діалогу щодо контролю над автономною зброєю. Йшлося про усвідомлення того, що ми намагаємося охопити ідеєю значущого людського контролю, навіть якщо не погоджувалися на певний стандарт “значущості” чи точного значення “контролю”.
У цьому міжнародному контексті “значущий контроль” став розумітися як людське втручання в момент застосування зброї. Однак з американської точки зору, це узгоджене визначення залишало невирішеними низку проблем.
Одним з найважливіших прогалин у визначенні було питання часу. Запуск зброї теоретично може відбутися за хвилини, години, дні чи навіть тижні до фактичного ураження цілі. Наприклад, безпілотник може бути запущений для обстеження визначеної території і залишатися в повітрі годинами, шукаючи будь-що, що відповідає заданим критеріям цілі. Між моментом запуску людиною і моментом, коли машина знаходить і вражає ціль, можуть минати секунди, хвилини чи години.
Це розширення часових рамок ускладнювало для концепції “значущого людського контролю” здаватися такою, що відповідає очікуванням людей. Напруга між певними технічними чи інженерними проблемами та політичною мовою, яку надавали перевагу міжнародні форуми, створювала, з американської точки зору, нездоланні перешкоди для того, щоб зробити значущий людський контроль дійсно практичною рамковою основою.
Тому США розробили власну альтернативу: “належне людське судження”.
Відповідно до ключового директивного документа Міністерства оборони, автономні та напівавтономні системи озброєнь будуть розроблені таким чином, щоб дозволити командирам та операторам здійснювати належний рівень людського судження щодо застосування сили. Нова мова фактично пересунула необхідний момент людського втручання від моменту запуску зброї до нагляду за повним життєвим циклом певної системи — від її розробки та тестування до розгортання.
Існують контексти, де уряду може не знадобитися такий високий рівень людського контролю над зброєю, щоб відповідати міжнародному праву. Саме тут тонка перевага “належного” над “значущим” має значення. Якщо ми перебуваємо у відкритому морі, можливо, не такий високий поріг людського контролю є необхідним, оскільки ризики для цивільних осіб або цивільної власності в цих контекстах невеликі.
Однак у місті, міському середовищі, де ризик шкоди цивільним особам та інші супутні збитки значно вищі, високий поріг стає важливим. США прагнули гнучкості у визначенні необхідного рівня людського втручання, базуючись на конкретному контексті поля бою, а не на фіксованому, універсальному стандарті “значущості”.
А чому відбувся перехід від “контролю” до “судження”? Полковник Б. Бойд пояснив, що щоразу, коли ми автоматизуємо будь-що, чи то автомобіль, чи машини, ми прагнемо досягти більшої швидкості, точності тощо. Отже, замість того, щоб наполягати на людській участі в кожному окремому етапі процесу, що могло б уповільнити бойові дії, США просто прагнули забезпечити, щоб автономні системи діяли відповідно до правових та етичних стандартів, незалежно від ситуації, в якій вони розгорталися.
Хто вирішує, наскільки людське судження є належним?
Ми прагнемо не стільки контролю, скільки того, щоб машина відображала наші цінності, закони та нормативні акти. Коли люди застосовують наші цінності, закони та нормативні акти, ми називаємо це судженням.
Хоча принцип належного людського судження розроблений для уникнення встановлення універсального стандарту людського втручання, вимаганого “значущим людським контролем”, він не є цілком порожньою фразою. Відповідно до директиви Міністерства оборони, ця рамкова основа вимагає тестування систем, визначення операційних обмежень, оцінки ймовірної шкоди цивільним особам, навчання операторів, встановлення правил ведення бойових дій та забезпечення того, щоб система залишалася в межах дозволеної місії. І в деяких контекстах ці вимоги можуть забезпечувати більш ретельні захисні механізми, вбудовані в зброю, ніж просте умова, що людина має натиснути на курок.
Однак ця рамкова основа також має власну ключову проблему: хто вирішує, наскільки людське судження є належним? І що станеться, коли приватний сектор, який розробляє такі технології, прийме цю мову до того, як ми знайдемо відповідь?
Тепер приватний сектор змушений обирати сторону
У липні, того ж місяця, що й російський автономний удар безпілотника, компанія OpenAI зробила важливий крок, який багато хто не помітив: вона ще раз переглянула свої правила щодо військового використання своєї технології. Лише три роки тому OpenAI повністю забороняла “військове та бойове” використання своєї технології. Тепер, після кількох непомітних змін з 2023 року, новий п’ятисторінковий документ окреслив положення компанії саме щодо цього.
Найважливіше, пояснюючи свою основну умову для використання технології в військових контекстах, особливо тих, що стосуються рішень про застосування летальної сили, OpenAI використовує знайому фразу: належне людське судження.
Вибір часу був не випадковим. Документ з’явився лише через кілька місяців після публічного протистояння між конкурентом OpenAI, компанією Anthropic, та Пентагоном щодо застережень першої щодо військових застосувань її технології. Ця боротьба завершилася вимогою президента Дональда Трампа негайно припинити будь-яке використання Anthropic урядом. Через кілька годин після виключення Anthropic, генеральний директор OpenAI Сем Альтман оголосив, що його компанія уклала власну угоду з урядом.
Але OpenAI не просто отримала контракт після протистояння Anthropic та Пентагону, вона також засвоїла урок: узгодження вашої політики з урядовою приносить переваги. Або, що гірше, протидія уряду має високу ціну.
У документі з політикою зазначено, що “належне людське судження” не вимагає від людини рішення щодо кожної окремої дії системи. Замість цього, рамкова основа вимагає, щоб “люди ухвалювали обґрунтовані рішення щодо умов розгортання”.
Як зазначили експерти, належний рівень людського втручання може варіюватися залежно від середовища експлуатації, типу цілі, технічних можливостей певної системи, ймовірної небезпеки для цивільних осіб та низки інших політичних, економічних та стратегічних міркувань, важливих для військової операції. Ця гнучкість, звісно, приваблива для військових з операційної точки зору. Але вона також має свою ціну: запобіжні заходи проти передачі машині повного контролю над летальною силою стають важко визначити, важче виміряти і найважче забезпечити.
Коли ми дізнаємося, коли баланс влади між людиною та машиною на війні стане “неналежним”? Правди не існує чіткої відповіді.
Підписуючи гнучку рамкову основу Пентагону, OpenAI визнає, що цей стандарт не має чіткого значення, що його застосування буде вирішуватися індивідуально за зачиненими дверима військової бюрократії, і що уряд може потребувати простору для зміни своєї думки. Це вибір, який свідчить про те, що компанія менше зацікавлена у встановленні чітких червоних ліній і більш сприйнятлива до власної універсальності військових щодо того, як ШІ та автономія можуть використовуватися в летальних операціях.
Це, безсумнівно, робить компанію більш корисним союзником для Пентагону, водночас ускладнюючи для громадськості розуміння того, де закінчується людське судження і починається контрольоване машиною насильство.
“Людське судження щодо критичних рішень має бути значущим на практиці, а не лише формальним”, — йдеться в документі компанії щодо принципів. Але замість того, щоб провести власну чітку межу щодо того, що її технологія робитиме, а що ні, OpenAI прийняла неоднозначність як ціну партнерства.
Це, безсумнівно, робить компанію більш корисним союзником для Пентагону, водночас ускладнюючи для громадськості розуміння того, де закінчується людське судження і починається контрольоване машиною насильство.
Оскільки розробка та розгортання автономної зброї швидко прискорюються, без багатьох запобіжників, варто поставити одне запитання вже зараз: перш ніж інші лабораторії ШІ та технологічні компанії приймуть цю рамкову основу, намагаючись узгодити свої дії з США, що насправді означає належне людське судження? Іронічно, але те, чого ця фраза не означає, може бути найбільш значущим.
Заради людства, семантику контролю над автономною зброєю варто прояснити — або ми ризикуємо повністю втратити контроль.
За матеріалами: www.vox.com