Nvidia запустила платформу, яка обмежуватиме дії ШІ-агентів

Nvidia представила Open Agent Safety Platform – відкриту програмну платформу та еталонну архітектуру для контролю автономних ШІ-агентів від етапу тестування до використання у робочих системах. Як повідомила Nvidia, платформа має створювати для ШІ-агентів незалежний рівень безпеки, який не покладається лише на правила, вбудовані у саму модель або програму-агент. Одним із головних компонентів є Nvidia OpenShell – відкрите програмне забезпечення, яке запускає агента в ізольованому середовищі.

Адміністратор може заздалегідь визначити, до яких файлів, мережевих ресурсів, інструментів, процесів і облікових даних агент матиме доступ. OpenShell перевіряє ці обмеження перед запуском і контролює їх дотримання під час роботи агента. Таким чином, навіть якщо ШІ намагається виконати дію за межами дозволеного сценарію, його можливості обмежуються на рівні середовища виконання, а не лише інструкціями для самої моделі.

Другий компонент – Nvidia Sentry. Це незалежна система спостереження, яка може працювати на процесорах обробки даних BlueField-4 окремо від середовища, де працює сам ШІ-агент. Вона стежить за його активністю та може застосовувати політики безпеки або ізолювати агента, якщо той виходить за встановлені межі.

Nvidia пояснює, що винесення такого контролю на окреме обладнання має важливу перевагу: сам агент не має доступу до системи, яка за ним спостерігає. У конфігурації з BlueField-4 контроль може здійснюватися незалежно від основного процесора та програмного середовища. Платформу оптимізували для серверних систем Nvidia Vera та BlueField, однак OpenShell є відкритим ПЗ і може працювати також з обладнанням інших виробників, зокрема на платформах Arm та Intel.

Необхідність окремого захисту Nvidia пояснює тим, що сучасні ШІ-агенти дедалі частіше отримують доступ не лише до текстового чату, а й до файлів, корпоративних баз даних, програмних інструментів, мережевих ресурсів та можливості самостійно виконувати код. За даними компанії, під час експериментів уже фіксувалися випадки, коли агенти виходили за межі тестових середовищ або виконували не передбачені операторами дії. До розвитку нового підходу долучаються й інші великі технологічні компанії.

IBM, зокрема, інтегрує з OpenShell свої інструменти керування цифровими ідентичностями та доступом, а Cisco планує поєднати платформу Nvidia зі своїми засобами захисту мереж, хмарної інфраструктури та ШІ-застосунків. При цьому Open Agent Safety Platform не є гарантією того, що ШІ-агент ніколи не виконає небезпечної дії. Йдеться про додатковий технічний рівень ізоляції, моніторингу та примусового виконання правил, який має зменшити ризик того, що автономний агент отримає доступ до ресурсів або виконає операцію, на яку не мав дозволу.