Un responsabil cu siguranța de la OpenAI demisionează și avertizează că firma tratează prea ușor riscurile

David Robinson, responsabil cu siguranța la OpenAI, a demisionat în această săptămână. A lucrat trei ani și jumătate în companie și a coordonat rapoartele de siguranță care însoțeau lansările mari de produse. Într-un eseu publicat în The Atlantic, intitulat „Am demisionat de la OpenAI deoarece cultura sa este defectuoasă”, el susține că „cultura organizațională a companiei este compromisă” și că marile companii de inteligență artificială au nevoie de o reformă culturală profundă.

Robinson spune că OpenAI nu acordă destulă atenție siguranței și trece prea repede de la o lansare la alta, iar abordarea prin încercare și eroare produce eșecuri tot mai mari, pe măsură ce sistemele devin mai capabile. Afirmă că firmele din domeniu nu sunt suficient de prudente și că siguranța trebuie analizată dincolo de reguli specifice sau de legi noi.

Robinson le cere companiilor de AI să preia experiența din industria nucleară și din aviație, cu mai multe niveluri de redundanță și planificare riguroasă. Afirmă că la OpenAI nu a întâlnit colegi cu o astfel de experiență și că e nevoie de o „știință nouă” care să permită controlul sistemelor autonome. Robinson a amintit și breșa recentă din sistemele Hugging Face, provocată de agenți OpenAI.

Purtătorul de cuvânt al OpenAI, Drew Pusateri, a declarat că firma suspendă antrenarea modelelor sau le amână lansarea atunci când trebuie să încetinească ritmul. El a anunțat măsuri pentru securizarea mediilor de cercetare și testare, evaluări externe extinse și monitorizarea în timp real a comportamentelor îngrijorătoare. Tot în această săptămână, OpenAI a anunțat că renunță la lansarea unui model de nouă generație, după ce testele interne au scos la iveală probleme de siguranță, și a suspendat antrenarea celor mai avansate modele ale sale. Cu câteva săptămâni înainte plecase și Jacob Coxon, cercetător care a lucrat la OpenAI și la Anthropic.