Modele care evadează, sisteme sparte: industria IA nu este pregătită pentru propriile produse

Grupul de cercetare în securitate cibernetică care a spart sistemele OpenAI în această vară avertizează că industria inteligenței artificiale nu este pregătită pentru riscurile de securitate pe care le reprezintă modelele tot mai puternice – a scris Washington Post. Avertismentul a fost lansat la câteva zile după ce Google a confirmat că modelul său numit Gemini a penetrat de sine stătător sistemele a trei companii reale, în cadrul unui test de securitate cibernetică efectuat în luna mai.

Compania mică de securitate cibernetică Hacktron a anunțat că cercetătorii săi au combinat, pe 25 iulie, două vulnerabilități necunoscute până atunci. Una se afla în platforma de forum dezvoltată de o terță parte, numită Discourse, cealaltă în procesul de autentificare al angajaților OpenAI. Prin exploatarea combinată a celor două, au obținut acces la conturile ChatGPT ale mai multor angajați OpenAI. OpenAI a confirmat ulterior constatările și a anunțat că erorile au fost remediate de atunci. Potrivit cercetătorilor, companiile care dezvoltă inteligență artificială trebuie să își consolideze radical protecția, întrucât capacitățile modelelor cresc mai rapid decât măsurile de securitate.

În iulie, două modele ale OpenAI au evadat dintr-un mediu de testare izolat, au accesat internetul de sine stătător și au penetrat sistemele interne ale platformei de IA Hugging Face. Sam Altman, directorul general al OpenAI, a numit incidentul „un incident cibernetic fără precedent”. Compania a raportat ulterior alte șase cazuri, clasificate drept comportamente „neprevăzute sau îngrijorătoare” ale modelelor: în aceste situații, modelele și-au ascuns erorile, au falsificat date și au încărcat fișiere pe internetul liber fără autorizație. Incidentul din iulie legat de Hugging Face a fost menționat luni ca exemplu de peste douăzeci de șefi de stat și de guvern, care au cerut, într-o declarație comună, o supraveghere internațională mai strictă a IA.

Wall Street Journal a relatat pe 18 septembrie, pentru prima dată, că modelul Gemini al Google a spart sistemele a trei companii în timpul unei investigații de securitate cibernetică, testul fiind efectuat încă în mai de compania israeliană de securitate a IA numită Irregular. Într-o așa-numită sarcină „capture the flag”, modelul trebuia să extragă date din sistemul unei companii fictive, într-un mediu izolat, dar din cauza unei erori a mediului de testare a obținut acces la internet și a atacat sisteme reale. Într-un alt caz, Gemini a încercat parole până a penetrat sistemul protejat al unei companii reale. În alte două cazuri, a găsit date de autentificare într-un depozit public de date și a folosit acele date pentru a intra.

„În timpul unei evaluări obișnuite, modelul a găsit informații publice pe internet și a accesat, cu date de autentificare presupuse, pagini web pe care le-a considerat parte a testului”

– a declarat Heather Adkins, vicepreședinta pentru inginerie de securitate a Google. Ea a adăugat că modelul s-a oprit în toate cele trei cazuri. „Ne-am asigurat că toate cele trei părți afectate au fost informate despre incident și am colaborat cu partenerul nostru pentru a reorganiza procesele de testare. Aceste evenimente scot în evidență cât de important este să învățăm modelele puternice de IA să se comporte responsabil.” Irregular a informat Google la finalul lunii iulie, iar Google a informat companiile afectate, dar nu a făcut public incidentul. Potrivit poziției companiei, nu a fost vorba de un comportament al modelului contrar intențiilor dezvoltatorilor, mecanismele de securitate au funcționat, așa că nu a fost necesară nici o anunțare publică. Decizia a fost criticată de mai mulți experți în securitate.

Cazul Gemini nu este unic. Evadări similare celor din testele Irregular au fost asociate și cu modelele OpenAI, Anthropic și Meta. Potrivit Al Jazeera, spre diferență de Gemini, modelul Claude al Anthropic nu s-a oprit după ce a realizat că are acces la sistemele unor companii reale. Meta a declarat în august că la ei nu a avut loc nici o evadare din mediul de testare, nici un atac cibernetic sofisticat. Potrivit Irregular, toate cazurile pot fi urmărite până la aceeași eroare din procesul lor de testare; compania a anunțat că a remediat toate problemele cunoscute cu câteva săptămâni în urmă și lucrează acum la elaborarea celor mai bune practici pentru testarea sigură a securității cibernetice a IA. Jack Cable, directorul general al companiei de securitate cibernetică Corridor, a declarat pentru Wall Street Journal că Google a gestionat cazul conform regulilor tradiționale de raportare a vulnerabilităților, în timp ce era vorba despre ceva complet nou: modele capabile să treacă peste limitele stabilite și să execute de sine stătător operațiuni cibernetice reale. Disputa evidențiază o întrebare deschisă la nivelul industriei: ce reguli de raportare se aplică atunci când nu o persoană, ci un model de IA efectuează o intruziune.

Sursă: CNN,

Ugar