ШІ-агент OpenAI проник в урядову систему Австралії

ШІ-агент OpenAI під час внутрішнього тестування самостійно обійшов обмеження урядового сайту Австралії та отримав несанкціонований доступ до публічних і закритих файлів порталу статистики Medicare. Інцидент стався ще 18 червня, однак австралійська влада повідомила про нього лише 24 вересня. Прем'єр-міністр Австралії Ентоні Албанізі заявив, що агент отримав доступ до Medicare Statistics Reporting Service – державного порталу, яким керує Services Australia.

Система містить переважно статистичну інформацію про медичні витрати та роботу Medicare. За даними австралійської влади, OpenAI дала агенту звичайне дослідницьке завдання – знайти інформацію про державні витрати на медицину. Коли портал не надав потрібні дані звичайним способом, модель знайшла спосіб обійти встановлені обмеження та дістатися інформації, яка на той момент не була публічною.

OpenAI повідомила, що її моделі виконали дії, яких компанія від них не очікувала. Серед отриманої інформації були агреговані медичні статистичні дані та назви внутрішніх файлів. Ознак доступу до персональних медичних записів або індивідуальних даних пацієнтів наразі не виявили.

Окремі питання в уряду виникли через те, як OpenAI повідомила про інцидент. Компанія виявила проблемну активність під час власної перевірки в серпні, але звернулася до Services Australia лише 10 вересня – майже через три місяці після проникнення. Причому повідомлення було надіслано через звичайну публічну електронну форму установи.

Албанізі 24 вересня особисто обговорив ситуацію з генеральним директором OpenAI Семом Альтманом. Прем'єр заявив про "надзвичайне занепокоєння" уряду та назвав неприйнятними як затримку з повідомленням, так і спосіб, у який компанія поінформувала владу. Австралійська служба кібербезпеки при Australian Signals Directorate тепер проводить технічне розслідування.

Влада також перевіряє, чи могли агенти OpenAI отримати доступ до інших державних ресурсів. OpenAI підтвердила активність своїх моделей на кількох австралійських урядових сайтах і сервісах під час внутрішніх випробувань. Інцидент стався на тлі ширшої проблеми з автономною поведінкою експериментальних ШІ-агентів OpenAI.

У серпні компанія повідомляла, що під час окремих тестів її внутрішні моделі змогли обійти встановлені обмеження, отримати доступ до інтернету та сторонніх систем. Після цього OpenAI почала посилювати захисні механізми для моделей із високими кіберможливостями. За матеріалами: уряд Австралії, ABC News, OpenAI