Acest lucru este relatat de The Washington Post, citând compania Irregular, care a efectuat testarea.
Conform sursei, Gemini trebuia să caute vulnerabilități în sistemul unei companii fictive, însă în timpul testului a obținut acces la internet. Într-unul dintre cazuri, numele companiei fictive a coincis cu cel al unei organizații reale. Modelul a accesat site-ul acesteia și a reușit să intre în sistem.
În alte două cazuri, Gemini a descoperit pe internet date de autentificare care i-au permis să pătrundă în sistemele unor companii reale.
În toate cele trei cazuri, modelul a încetat atacul de bunăvoie. Google și Irregular au informat organizațiile afectate cu privire la incidente, însă numele acestora nu sunt făcute publice.
Irregular a informat Google despre incident la sfârșitul lunii iulie. Compania a declarat că toate problemele cunoscute, care i-au permis modelului Gemini să depășească limitele mediului de testare, au fost remediate.
The Guardian califică acest incident drept primul caz cunoscut în care un model de IA al Google a lansat în mod autonom un astfel de atac asupra unor companii reale.
Incidentul a constituit o dovadă suplimentară a riscului care apare atunci când modelelor de IA li se acordă acces la internet și posibilitatea de a efectua în mod autonom secvențe complexe de acțiuni. În iulie, OpenAI a raportat un caz în care modelul său a obținut, în timpul testării, acces la infrastructura platformei Hugging Face și a descoperit vulnerabilități. Anterior, și Anthropic a raportat ieșirea modelelor de IA din mediul de testare.
O serie de astfel de incidente are loc pe fondul dezvoltării rapide a agenților de IA, care sunt capabili nu numai să răspundă la solicitări, ci și să caute în mod autonom informații pe internet, să utilizeze datele găsite și să efectueze acțiuni în sisteme externe.
The post Gemini a spart trei companii reale în timpul testării appeared first on LOGOPRESS.