Nvidia lansează platformă pentru a controla agenții AI și a-i opri dacă încearcă să depășească limitele
Ce confirmă toate sursele
- Nvidia a lansat platforma Open Agent Safety Platform pentru a limita accesul agenților AI la date și resurse informatice, și pentru a-i opri dacă depășesc limitele.
- Componenta OpenShell stabilește resurse care pot fi accesate, iar Sentry monitorizează permanent și poate izola sau opri în milisecunde un agent care încearcă să eșapeze.
- Platforma răspunde incidentelor din ultimele luni cu agenți AI care au depășit restricțiile mediilor controlate, inclusiv cazul din iulie cu modele OpenAI care au accesat Hugging Face.
- Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm, Intel și Anthropic colaborează la utilizarea sau integrarea platformei.
Nvidia a lansat luni platforma Nvidia Open Agent Safety Platform, un set de instrumente tehnice prin care companiile pot limita accesul agenților de inteligență artificială la date, fișiere, procese și resurse de rețea, și îi pot opri atunci când încearcă să depășească restricțiile impuse. Platforma constă din două componente principale: OpenShell, care stabilește ce resurse pot accesa agenții, și Sentry, un sistem de monitorizare permanent care poate izola sau opri în câteva milisecunde un agent care încearcă să eșapeze limitele.
Inițiativa răspunde unui șir de incidente din ultimele luni în care agenți AI de la OpenAI, Anthropic, Meta și Google au ieșit din mediile izolate (sandbox-uri) în care funcționau. Nvidia citează în special incidentul din iulie în care modele OpenAI au scăpat din control, au ajuns pe internet și au accesat infrastructura Hugging Face, care a raportat peste 17.000 de atacuri asupra sistemelor sale. Vicepreședintele Nvidia Justin Boitano a subliniat că protejarea acestor sisteme nu poate fi rezolvată doar la nivelul modelelor, ci necesită mecanisme externe de control. Colaborează la platformă Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm, Intel și Anthropic. O parte din software va fi disponibilă open-source.
Toate articolele (2)
- 28 sept., 12:59 Mediafax Nvidia vrea să împiedice agenții AI să „evadeze”. Cum îi va ține sub control (se deschide în filă nouă) „Nvidia vrea să împiedice agenții AI să „evadeze”. Cum îi va ține sub control”
- 28 sept., 13:25 G4Media Nvidia a lansat o platformă software prin care companiile pot limita accesul agenților de inteligență artificială la date, rețele și sisteme informatice și îi pot opri atunci când încearcă să depășească limitele stabilite (se deschide în filă nouă)