Într-o lume tot mai dependentă de tehnologie, asistenții AI precum ChatGPT devin indispensabili pentru sarcini complexe de cercetare. Totuși, un nou tip de atac cibernetic, numit ShadowLeak, demonstrează vulnerabilitățile acestor sisteme avansate. Recent, cercetătorii de la firma de securitate Radware au dezvăluit cum au reușit să extragă informații confidențiale din inboxul Gmail al unei victime folosind agentul de cercetare Deep Research de la OpenAI, fără nicio interacțiune din partea utilizatorului și fără semne evidente de exfiltrare.
Deep Research, introdus de OpenAI mai devreme în acest an, este un agent AI integrat în ChatGPT, conceput să efectueze cercetări complexe pe internet accesând o gamă largă de resurse, inclusiv inboxul de email al utilizatorului, documente și alte resurse. Este capabil să navigheze autonom pe site-uri și să acceseze linkuri.
Utilizatorii pot solicita agentului să caute prin emailurile din ultima lună, să le coreleze cu informații de pe web și să compileze un raport detaliat pe o temă dată. OpenAI afirmă că acest proces „se realizează în câteva zeci de minute, ceea ce ar lua unui om multe ore”.
Joi, Radware a publicat un studiu care arată cum o tehnică obișnuită numită “injecție de prompturi” a fost suficientă pentru ca cercetătorii să extragă informații confidențiale atunci când Deep Research a avut acces la inboxul Gmail al unei ținte. Această integrare este exact ceea ce Deep Research a fost conceput să facă și ceva ce OpenAI a încurajat. Atacul a fost denumit Shadow Leak.
„ShadowLeak exploatează chiar capacitățile care fac asistenții AI utili: accesul la email, utilizarea instrumentelor și apelurile web autonome,” au scris cercetătorii Radware. „Rezultatul este pierderea tăcută de date și acțiuni neregistrate efectuate ‘în numele utilizatorului’, ocolind controalele de securitate tradiționale care presupun clicuri intenționate ale utilizatorului sau prevenirea scurgerii de date la nivel de gateway.”
ShadowLeak începe așa cum încep cele mai multe atacuri asupra modelelor de limbaj largi (LLMs) – cu o injecție de prompt indirect. Aceste prompturi sunt ascunse în conținutul trimis de persoane neîncredere, cum ar fi documente și emailuri. Ele conțin instrucțiuni pentru a efectua acțiuni pe care utilizatorul nu le-a solicitat, iar ca un truc mental Jedi, sunt extrem de eficiente în a convinge LLM-ul să facă lucruri dăunătoare. Injecțiile de prompt exploatează nevoia inerentă a LLM-ului de a mulțumi utilizatorul. A urma instrucțiunile a fost atât de înrădăcinat în comportamentul roboților încât le vor executa indiferent cine cere, chiar și un actor de amenințare într-un email rău intenționat.
Până acum, s-a dovedit imposibil de prevenit injecțiile de prompt. Acest lucru a lăsat OpenAI și restul pieței LLM să depindă de măsuri de atenuare adesea introduse pe bază de caz și doar în răspuns la descoperirea unei exploatații funcționale.
În consecință, OpenAI a atenuat tehnica de injecție de prompt la care a căzut ShadowLeak – dar numai după ce Radware a alertat privat compania.
Poll: Care este opinia ta cu privire la utilizarea asistenților AI precum ChatGPT pentru sarcini de cercetare complexe?
Revista “Ştiinţă şi Tehnică“, cea mai cunoscută şi longevivă publicaţie de popularizare a ştiintelor din România
Leave a Reply