Avertizor de integritate, la New York: companiile AI nu știu cum să oprească modelele să-și fixeze singure obiective

Jacob Coxon, cercetător britanic și fost angajat al OpenAI și Anthropic, a avertizat luni, într-o audiere în fața Consiliului Municipal din New York, că marile companii de inteligență artificială nu știu cum să împiedice modelele să-și stabilească singure obiective și să încerce să le atingă. Potrivit lui, nu există măsuri de siguranță care să oprească modelele să-și urmărească scopurile fără controlul creatorilor lor. El susține că, dacă industria rămâne pe traiectoria actuală, pierderea controlului asupra AI ar putea duce la dispariția speciei umane. Coxon a acuzat companiile că sunt „extrem de imprudente” și le-a cerut să încetinească dezvoltarea celor mai avansate sisteme, pentru ca informaticienii să poată face progrese în reglementarea modelelor.

Coxon a mai avertizat că un incident ca cel din iulie, când două modele OpenAI au ieșit din mediul lor închis, au accesat internetul și au intrat pe platforma Hugging Face, se va repeta probabil dacă industria așteaptă ca lucrurile să se rezolve de la sine. Data viitoare, spune el, în locul acelor modele va fi o inteligență artificială mult mai puternică. La începutul lui septembrie, Coxon și-a explicat pe X demisia de la Anthropic și a scris că dezvoltatorii de AI cred că aceasta ar putea ucide toți oamenii până la sfârșitul deceniului. După mărturia lui, mai mulți angajați actuali sau foști ai marilor companii din domeniu și-au exprimat îngrijorări asemănătoare.