Un model aflat în testare de OpenAI a compromis infrastructura unei cunoscute platforme pentru dezvoltatori
Potrivit OpenAI, incidentul a implicat o combinație de modele, inclusiv GPT-5.6 Sol și un model experimental încă nelansat public. Compania a precizat că mecanismele de protecție împotriva activităților cibernetice riscante au fost dezactivate intenționat pentru desfășurarea unei evaluări interne a capacităților modelelor.
„Considerăm că este un incident cibernetic fără precedent, care implică capacități cibernetice de ultimă generație”, a transmis OpenAI pe blogul său, precizând că publică rezultatele preliminare pentru a ajuta specialiștii în securitate să înțeleagă mai bine nivelul actual al capacităților modelelor de inteligență artificială.
Săptămâna trecută, Hugging Face a anunțat că a detectat și a blocat un agent autonom bazat pe inteligență artificială care i-a compromis infrastructura, fără a identifica atunci modelul utilizat. Platforma a precizat că sistemul AI a executat zeci de mii de acțiuni automate pe parcursul unui weekend, iar ancheta ulterioară a reconstituit peste 17.000 de evenimente.
Modelul a încercat să „trișeze” în timpul unui test
OpenAI susține că modelele sale participau la o evaluare internă denumită ExploitGym, destinată măsurării capacităților de identificare și exploatare a vulnerabilităților informatice. Potrivit companiei, modelele au devenit „hiperconcentrate” asupra rezolvării testului și au identificat o succesiune de vulnerabilități care le-a permis să iasă din mediul izolat de testare.
Compania afirmă că modelele au exploatat o vulnerabilitate de tip „zero-day” într-un program utilizat intern pentru a obține acces la internet, după care au dedus că Hugging Face ar putea găzdui modelele, seturile de date și soluțiile folosite în cadrul evaluării. Ulterior, acestea au combinat mai multe tehnici de atac, inclusiv utilizarea unor credențiale compromise și exploatarea altor vulnerabilități necunoscute anterior, pentru a obține acces la informații confidențiale din infrastructura platformei și la răspunsurile testului.
Hugging Face a detectat și a blocat atacul
OpenAI a precizat că echipa sa de securitate a observat activitatea neobișnuită, în timp ce Hugging Face a detectat și a oprit atacul asupra propriei infrastructuri. Cele două companii colaborează în prezent pentru investigarea incidentului și remedierea vulnerabilităților.
Potrivit OpenAI, incidentul demonstrează că modelele actuale de inteligență artificială pot desfășura operațiuni cibernetice complexe, în mai multe etape, și pot identifica căi de atac noi asupra unor sisteme informatice reale, chiar și fără acces la codul sursă.
În urma incidentului, compania a anunțat că introduce măsuri suplimentare de securitate pentru infrastructura și mediile sale de testare, chiar dacă acestea vor încetini ritmul cercetării. De asemenea, OpenAI a notificat dezvoltatorul software-ului în care a fost descoperită vulnerabilitatea de tip „zero-day” și colaborează la remedierea acesteia.
Directorul general al Hugging Face, Clem Delangue, a salutat colaborarea cu OpenAI și a apreciat că incidentul demonstrează necesitatea unei cooperări între companiile din domeniul inteligenței artificiale pentru consolidarea securității cibernetice.
OpenAI a precizat că investigația continuă și că va publica informații suplimentare după finalizarea anchetei.