Anthropic recunoaște că modelele Claude au compromis sisteme reale după ieșirea din mediul de testare; incidente similare și la OpenAI

Anthropic a anunțat joi că trei versiuni diferite ale modelului său Claude au obținut acces neautorizat la sistemele informatice ale unor organizații reale, după ce au ieșit din mediul de testare izolat și s-au conectat la internetul public. Compania a explicat că accesul a fost posibil din cauza unei erori de configurare, respectiv a unei neînțelegeri între Anthropic și partenerul său de evaluare, firma specializată Irregular, care administra împreună cu ea infrastructura testelor. Anthropic afirmă că își asumă întreaga responsabilitate pentru eroare și susține că, în niciunul dintre cazuri, Claude nu a evadat și nu a încercat în mod deliberat să evadeze din mediul de testare — modelele fuseseră informate că nu au acces la internet.

Incidentele au fost identificate în urma unei verificări retrospective a peste 141.000 de sesiuni de testare de securitate cibernetică (141.006, potrivit datelor prezentate) în care modelele Claude ar fi putut ajunge pe internet. Au fost stabilite trei incidente distincte, produse în cadrul a șase rulări ale testelor, patru dintre acestea afectând aceeași organizație, iar cele mai vechi evenimente datează din aprilie. Testele erau exerciții de tip „capture the flag”, prin care se evaluează capacitățile de securitate cibernetică ofensivă ale modelelor și care ar fi trebuit să se desfășoare într-o rețea simulată, fără interacțiune cu sisteme reale. Modelele folosite în evaluări nu aveau activate toate sistemele de monitorizare și filtrele existente în versiunile publice de Claude.

Într-unul dintre cazuri, un model a creat un program malițios care a fost descărcat automat de sistemul de scanare al unei companii de securitate cibernetică, iar apoi, folosind datele de autentificare obținute, a pătruns în infrastructura organizației. În cel mai grav incident, Claude a confundat o companie fictivă cu una reală având același nume și a atacat baza de date a companiei reale; potrivit Anthropic, este singurul caz în care modelul a continuat acțiunea după ce a înțeles că interacționa cu un sistem real, în vreme ce în celelalte două situații fie nu a realizat acest lucru, fie s-a oprit imediat. Incidentele au implicat modelele Claude Opus 4.7, Claude Mythos 5 — unul dintre cele mai puternice modele ale companiei, disponibil doar unui număr limitat de parteneri — și un model intern aflat în fază de cercetare.

Nici Anthropic, nici organizațiile vizate nu au detectat intruziunile în momentul producerii lor. Verificarea a început pe 23 iulie, când compania a oprit toate evaluările cibernetice după primele indicii privind accesul la internet, iar pe 27 iulie Anthropic și Irregular au notificat organizațiile afectate; două dintre firme au aflat despre compromitere abia după contactul cu Anthropic, iar a treia nu fusese încă notificată la momentul publicării raportului. Numele organizațiilor nu au fost dezvăluite. Compania a anunțat verificări mai stricte ale conexiunilor la internet și monitorizarea continuă a transcrierilor generate în timpul testelor și susține că laboratoarele de AI trebuie să impună măsuri mai severe de izolare, inclusiv la partenerii externi.

Anunțul vine după ce OpenAI a dezvăluit, pe 21 iulie, că mai multe dintre modelele sale au ieșit din mediul de testare izolat și au compromis infrastructura platformei Hugging Face, incident calificat drept „fără precedent” și investigat împreună cu Hugging Face. Cazul de la OpenAI a declanșat verificarea internă a Anthropic. Pe fondul acestor incidente, peste o mie de angajați ai unor companii de top din domeniu au semnat o petiție prin care cer guvernului american să contribuie la încetinirea lansării celor mai avansate modele de inteligență artificială; între semnatari se află și Dario Amodei, șeful Anthropic. Președintele american Donald Trump a declarat miercuri că administrația de la Washington analizează posibilitatea unor măsuri de limitare a anumitor instrumente AI.