Impactul Modelelor de Limbaj de Mari Dimensiuni asupra Științei: Creștere în Publicații, Stagnare în Calitate

Odată cu utilizarea Modelelor de Limbaj de Mari Dimensiuni (LLMs), numărul lucrărilor științifice a crescut, însă calitatea acestora nu a evoluat în mod similar.

Recent, au fost mai multe cazuri notabile în care articole științifice au fost retrase din cauza conținutului generat de inteligența artificială, care era plin de erori. Cel mai recent caz a avut loc acum două săptămâni. Aceste situații au ridicat întrebări serioase privind calitatea procesului de recenzie în unele jurnale. Cum este posibil ca termeni ca „runctitional”, „fexcectorn” sau „frymblal” să fie acceptați, mai ales când „m”-ul din „frymblal” are un surplus de curbă? Totuși, nu este clar dacă aceste exemple izolate sunt reprezentative pentru întreaga literatură științifică.

Un grup de cercetători de la Universitățile Berkeley și Cornell a decis să investigheze acest aspect. Ei au scanat trei dintre cele mai mari arhive de pre-publicare și au identificat lucrările care probabil au fost produse folosind LLMs. Rezultatele lor arată că, deși cercetătorii produc mult mai multe lucrări după ce încep să utilizeze IA, rata publicării acestor lucrări a scăzut, deși calitatea limbajului folosit s-a îmbunătățit.

Cercetătorii au obținut rezumatele tuturor documentelor din trei arhive majore de pre-publicare din perioada 2018 până la mijlocul anului 2024. La arXiv, au găsit 1.2 milioane de documente; alte 675,000 au fost identificate în Social Science Research Network; iar bioRxiv a furnizat alte 220,000. Aceasta a reprezentat o cantitate semnificativă de material, acoperind multe domenii de cercetare. De asemenea, au inclus documente trimise înainte ca LLMs să fie capabile să producă un output acceptabil.

Cercetătorii au folosit rezumatele din perioada pre-ChatGPT pentru a antrena un model capabil să recunoască statisticile textelor generate de oameni. Aceleași rezumate au fost apoi rescrise de GPT 3.5, iar procesul a fost repetat. Modelul a fost folosit pentru a estima dacă un rezumat a fost probabil produs de un AI sau de un om.

Echipa de cercetare a folosit acest model pentru a identifica un punct de cotitură: momentul în care un autor de la una dintre aceste arhive a început să folosească un LLM pentru a produce o lucrare. Ei au comparat productivitatea cercetătorilor înainte și după utilizarea IA. „Adoptarea LLM este asociată cu o creștere semnificativă a outputului științific al cercetătorilor în toate cele trei depozite de preprinturi,” conchid ei.

Acest efect a fost probabil cel mai pronunțat în rândul persoanelor care nu sunt vorbitori nativi de engleză. Dacă cercetătorii au limitat analiza la persoane cu nume asiatice care lucrează în instituții din Asia, rata lor de trimitere a lucrărilor la bioRxiv și SSRN aproape s-a dublat odată ce au început să folosească IA și a crescut cu peste 40% la arXiv. Acest lucru sugerează că persoanele cu abilități mai slabe în engleză folosesc LLMs pentru a depăși un obstacol major: producerea unui text convingător.

Importanța textului convingător nu trebuie subestimată. „Lucrările cu un limbaj clar, dar

Știință&Tehnică

Revista “Ştiinţă şi Tehnică“, cea mai cunoscută şi longevivă publicaţie de popularizare a ştiintelor din România