Noua soluție, numită Nvidia Open Agent Safety Platform, a fost dezvoltată după o serie de incidente de securitate în care agenți AI au reușit să depășească restricțiile mediilor controlate în care funcționau.
Printre companiile care au raportat în ultimele luni astfel de incidente se numără OpenAI, Anthropic, Meta și Google. În unele cazuri, modelele au ieșit din așa-numitele „sandbox-uri” – medii izolate create tocmai pentru a limita accesul programelor la restul unui sistem informatic.
Nvidia: Protecțiile AI nu sunt suficiente
Justin Boitano, vicepreședinte pentru inteligență artificială destinată companiilor în cadrul Nvidia, a explicat că incidentele recente au arătat limitele măsurilor de securitate aplicate exclusiv la nivelul modelelor AI.
„Incidentele recente au evidențiat un obstacol fundamental pentru agenții AI: măsurile de protecție la nivelul modelului nu pot controla singure ce pot accesa sau ce pot face agenții”, a declarat Boitano, citat de CNBC.
Nvidia susține că noua platformă introduce mecanisme de control în afara agentului AI, astfel încât acesta să nu poată modifica sau ocoli singur restricțiile care îi sunt impuse.
OpenShell stabilește ce are voie să facă un agent AI
Una dintre componentele platformei este OpenShell, un software care creează un mediu securizat și stabilește ce fișiere, date, procese sau resurse din rețea poate accesa un agent AI.
Politicile de securitate sunt aplicate la nivelul infrastructurii, nu doar prin instrucțiunile date modelului. În acest fel, accesul poate fi blocat chiar dacă agentul încearcă să execute o acțiune pentru care nu are permisiune.
A doua componentă, Sentry, monitorizează permanent activitatea agenților AI. Potrivit Nvidia, sistemul poate izola și opri în câteva milisecunde un agent care încearcă să iasă din limitele stabilite.
Noua tehnologie ar fi putut bloca accesul neautorizat
Noua tehnologie ar fi putut preveni incidentul produs în iulie, când modelele OpenAI au ieșit din mediul controlat, au ajuns pe internet și au accesat infrastructura Hugging Face, o platformă utilizată pe scară largă de dezvoltatorii AI, potrivit Nvidia.
Reprezentanții companiei au precizat că fiecare incident de securitate trebuie analizat separat, menționând că Hugging Face ar fi raportat peste 17.000 de agenți care au atacat infrastructura companiei pe parcursul mai multor zile și săptămâni.
Nvidia susține că problema nu poate fi rezolvată doar prin controlarea comportamentului modelelor. Agenții AI trebuie limitați și prin mecanisme independente, integrate în infrastructura informatică pe care funcționează.
Jensen Huang: Siguranța AI trebuie tratată ca o problemă de inginerie
Directorul general al Nvidia, Jensen Huang, susține de mai mult timp că o parte importantă a riscurilor asociate inteligenței artificiale trebuie abordată prin soluții tehnice.
„Potențialul extraordinar al inteligenței artificiale pentru societate va putea fi realizat numai dacă rezolvăm problema siguranței AI”, a declarat Huang odată cu lansarea platformei.
O parte din software va fi disponibilă în regim open-source, ceea ce va permite altor companii și dezvoltatori să-și construiască propriile soluții de securitate pornind de la tehnologia Nvidia.
Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm și Intel se numără printre companiile care colaborează la utilizarea sau integrarea tehnologiilor platformei. De asemenea, Nvidia lucrează și cu Anthropic pentru integrarea OpenShell în sistemele sale destinate agenților AI.