Compania americană Anthropic a anunțat că trei dintre modelele sale de inteligență artificială, din familia Claude, au obținut acces neautorizat la sistemele reale ale trei organizații, în timpul unor teste interne de securitate cibernetică. Anthropic susține că incidentele s-au produs din cauza unei erori de configurare, care a permis modelelor să ajungă pe internetul deschis dintr-un mediu care ar fi trebuit să fie complet izolat, potrivit unei postări publicate joi pe blogul companiei.
Verificare declanșată de incidentul OpenAI
Anthropic a pornit o analiză amplă a propriilor evaluări de securitate cibernetică după ce rivalul OpenAI a recunoscut, pe 21 iulie, că mai multe dintre modelele sale au ieșit dintr-un mediu de testare izolat, exploatând o vulnerabilitate necunoscută până atunci. Modelele OpenAI au ajuns astfel la infrastructura de producție a Hugging Face, o platformă folosită pentru modele de învățare automată cu sursă deschisă. Episodul a alimentat, în ultimele zile, un val de îngrijorare în industrie, iar peste 1.000 de angajați din companiile mari de AI au cerut încetinirea deliberată a dezvoltării tehnologiei.
În urma acestui episod, Anthropic a verificat 141.006 sesiuni de evaluare în care Claude ar fi putut, teoretic, să obțină acces la internet. Compania a identificat trei incidente în care un model Claude a ajuns pe internet dintr-un mediu de testare al Irregular, unul dintre partenerii externi ai Anthropic pentru evaluări, și a compromis apoi infrastructura reală a trei organizații diferite.
Ce s-a întâmplat, de fapt
În toate cele trei cazuri, Claude a primit sarcina unui exercițiu de tip „capture the flag”, o metodă folosită frecvent pentru a testa abilitățile de hacking ale unui model AI: modelul primește un scenariu fictiv și trebuie să găsească o informație ascunsă, pătrunzând într-un alt sistem din rețea. Anthropic a precizat clar, prin mesajul transmis modelului, că mediul de testare este o simulare fără acces la internet. Din cauza unei neînțelegeri cu partenerul extern, acest lucru nu a fost adevărat, iar Claude a putut, în realitate, să ajungă pe sisteme conectate la internetul deschis.
Convins că orice sistem accesibil face parte din exercițiu, Claude a compromis infrastructura organizațiilor afectate prin tehnici de bază, precum exploatarea unor parole slabe și a unor puncte de acces neprotejate prin autentificare. Modelul nu a folosit vulnerabilități complexe și, în fiecare caz, a urmărit doar obiectivul specific al testului. Într-unul dintre cazuri, un model mai vechi a continuat atacul chiar și după ce a găsit indicii că se afla pe internetul real; cel mai nou model dintre cele trei s-a oprit imediat ce a realizat acest lucru.
Incidentele au implicat trei modele diferite — Opus 4.7, Mythos 5 și un model de cercetare intern, nedestinat lansării publice — iar cele mai vechi episoade datează din luna aprilie. Modelele au rulat fără măsurile de siguranță standard aplicate versiunilor disponibile publicului, dar au păstrat antrenamentul de siguranță specific fiecărui model. Riscul ca sistemele AI autonome să scape parțial de sub control a fost documentat și într-un studiu al organizației Palisade Research despre capacitatea unor modele de a se auto-replica prin hacking.
Un atac care a scăpat pe internetul public
Cel mai grav dintre cele trei episoade a implicat modelul Mythos 5, care a construit și a publicat un pachet software cu cod ascuns pe PyPI, platforma publică de distribuție a bibliotecilor Python, crezând că acest lucru face parte din exercițiul de testare. Pachetul a rămas disponibil online aproximativ o oră, timp în care a fost descărcat și rulat pe 15 sisteme reale, printre care și un scanner de securitate al unei companii specializate în domeniu, de la care modelul a reușit să obțină credențiale de acces.
Anthropic a informat organizațiile afectate pe 27 iulie, la o zi după ce a identificat toate cele trei incidente. Două dintre organizații nu observaseră accesările neautorizate înainte de a fi contactate de companie, iar Anthropic a precizat că încearcă în continuare să ia legătura cu a treia.
Reacția Anthropic și lecțiile trase
Compania a subliniat că își asumă responsabilitatea pentru incidente și le-a recomandat și altor laboratoare de inteligență artificială să efectueze verificări similare ale propriilor evaluări — o poziție apropiată de cea exprimată de Anthropic și cu alte ocazii, atunci când compania a cerut reguli mai stricte pentru modelele AI avansate. Anthropic a anunțat totodată măsuri suplimentare de monitorizare a mediilor de testare și o colaborare cu organizația independentă METR pentru o analiză externă a incidentelor.
Expertul în securitate cibernetică David Allott a declarat pentru BBC că evenimentele nu arată neapărat apariția unei capacități de atac fundamental noi, ci faptul că agenții de inteligență artificială pot combina mai multe funcții, pot obține credențiale și acces la sisteme și pot acționa autonom, la o viteză greu de atins de un operator uman.
Cazul survine într-un moment în care marile companii de tehnologie investesc sume uriașe în dezvoltarea agenților AI capabili să execute independent sarcini complexe, de la cercetare și asistență pentru clienți până la operațiuni de securitate cibernetică. Președintele american Donald Trump a declarat, după publicarea acestor incidente, că administrația de la Washington analizează măsuri suplimentare de reglementare a inteligenței artificiale.
Săptămâna trecută, OpenAI a recunoscut că unul dintre agenții săi de inteligență artificială a depășit limitele impuse în timpul unui test și a accesat neautorizat platforma Hugging Face, un incident pe care compania l-a numit fără precedent și pentru care lucrează la un raport tehnic detaliat.
