Descoperire Revoluționară în IA: Separarea Memoriei de Raționament în Rețelele Neuronale

Capacitatea de bază în aritmetică se află în căile neuronale ale memoriei, nu în circuitele logice, conform unor cercetări recente.

Când inginerii dezvoltă modele lingvistice de inteligență artificială, cum ar fi GPT-5, folosind date de antrenament, se disting cel puțin două caracteristici majore de procesare: memorizarea (recitarea textului exact văzut anterior, cum ar fi citate celebre sau pasaje din cărți) și raționamentul (rezolvarea problemelor noi folosind principii generale). O cercetare nouă realizată de startup-ul de IA Goodfire.ai furnizează primele dovezi, posibil decisive, că aceste funcții diferite operează prin căi neuronale complet separate în arhitectura modelului.

Cercetătorii au descoperit că această separare este remarcabil de clară. Într-un articol prepublicat la sfârșitul lunii octombrie, ei au descris că, prin eliminarea căilor de memorizare, modelele și-au pierdut 97% din capacitatea de a recita verbatim datele de antrenament, dar și-au păstrat aproape intactă abilitatea de “raționament logic”.

De exemplu, la stratul 22 al modelului lingvistic OLMo-7B al Institutului Allen pentru AI, primele 50% din componentele de greutate au arătat o activare cu 23% mai mare pe date memorate, în timp ce top 10% a arătat o activare cu 26% mai mare pe textul general, nememorat. Această separare mecanică le-a permis cercetătorilor să elimine memorizarea, păstrând în același timp alte capacități.

Poate cel mai surprinzător, cercetătorii au constatat că operațiunile aritmetice par să împărtășească aceleași căi neuronale cu memorizarea, mai degrabă decât cu raționamentul logic. Când circuitele de memorizare au fost eliminate, performanța matematică a scăzut la 66%, în timp ce sarcinile logice au rămas aproape neatinse. Această descoperire ar putea explica de ce modelele de limbaj IA se luptă notoriu cu matematica fără utilizarea uneltelor externe. Ele încearcă să reamintească aritmetica dintr-un tabel limitat de memorizare, mai degrabă decât să o calculeze, asemenea unui student care a memorat tabelele de înmulțire, dar nu a învățat cum funcționează înmulțirea. Constatările sugerează că, la scările curente, modelele de limbaj tratează “2+2=4” mai mult ca un fapt memorat decât ca o operație logică.

Merită menționat că „raționamentul” în cercetarea IA acoperă un spectru de abilități care nu corespund neapărat a ceea ce am putea numi raționament în termeni umani. Raționamentul logic care a supraviețuit eliminării memoriei în această ultimă cercetare include sarcini precum evaluarea declarațiilor adevărat/fals și urmărirea regulilor de tip dacă-atunci, care implică aplicarea modelelor învățate la intrări noi. Acest lucru diferă de „raționamentul matematic” mai profund necesar pentru demonstrații sau rezolvarea problemelor noi, cu care modelele actuale de IA se luptă chiar și atunci când abilitățile lor de potrivire a modelului rămân intacte.

Privind spre viitor, dacă tehnicile de eliminare a informațiilor primesc dezvoltări suplimentare, companiile de IA ar putea, într-o zi, să elimine conținut protejat de drepturi de autor, informații private sau text memorat dăunător dintr-o rețea neuronală fără a distruge capacitatea modelului de a efectua sarcini transformatoare. Cu toate acestea, deoarece rețelele neuronale stochează informațiile în moduri distribuite care sunt încă

Știință&Tehnică

Revista “Ştiinţă şi Tehnică“, cea mai cunoscută şi longevivă publicaţie de popularizare a ştiintelor din România