De ce soluția OpenAI pentru “halucinațiile” AI ar putea pune capăt existenței ChatGPT

OpenAI a publicat recent un studiu care explică tendința ChatGPT de a “fabrica” informații. Din păcate, această problemă ar putea fi imposibil de rezolvat.

În cadrul cercetării, OpenAI a oferit cea mai riguroasă explicație matematică de până acum care demonstrează de ce aceste modele de limbaj pot afirma eronat anumite lucruri cu încredere. Rezultatele sugerează că aceste erori nu sunt doar un efect secundar nefericit al modului în care sunt antrenate inteligențele artificiale, ci sunt inevitabile din punct de vedere matematic.

Problema poate fi parțial explicată prin erori în datele de bază utilizate pentru antrenarea AI-urilor. Totuși, analiza matematică a modului în care sistemele AI învață arată că, chiar și cu date de antrenament perfecte, problema persistă.

Modul în care modelele de limbaj răspund la interogări — prezicând cuvinte unul câte unul într-o propoziție, pe baza probabilităților — generează natural erori. Cercetătorii au demonstrat că rata totală a erorilor în generarea propozițiilor este cel puțin de două ori mai mare decât rata erorilor pe care același AI le-ar avea la o simplă întrebare de tip da/nu, deoarece greșelile se pot acumula de-a lungul mai multor predicții.

Cu alte cuvinte, ratele de halucinație sunt limitate fundamental de capacitatea sistemelor AI de a distinge între răspunsuri valide și nevalide. Deoarece această problemă de clasificare este în mod inerent dificilă pentru multe domenii ale cunoașterii, halucinațiile devin inevitabile.

S-a constatat, de asemenea, că cu cât un model întâlnește mai rar un fapt în timpul antrenamentului, cu atât este mai probabil să halucineze când este întrebat despre acesta. De exemplu, în cazul zilelor de naștere ale unor figuri notabile, dacă 20% dintre aceste date apar doar o dată în datele de antrenament, atunci modelele de bază ar trebui să greșească în cel puțin 20% din cazuri când sunt interogate despre zile de naștere.

Mai îngrijorător este analiza din lucrare despre motivul pentru care halucinațiile persistă în ciuda eforturilor post-antrenament (cum ar fi oferirea de feedback uman extensiv la răspunsurile unui AI înainte de a fi lansat publicului). Autorii au examinat zece benchmark-uri majore AI, inclusiv cele utilizate de Google și OpenAI, precum și clasamentele de top care evaluează modelele AI. Aceasta a relevat că nouă dintre aceste benchmark-uri folosesc sisteme de notare binare care acordă zero puncte pentru AI-uri care exprimă incertitudine.