Fiind nepoliticos cu ChatGPT îi poate crește acuratețea, dar ar putea avea consecințe neplăcute, avertizează cercetătorii

O atitudine bruscă sau chiar nepoliticoasă ar putea îmbunătăți acuratețea unui model de inteligență artificială (IA) mai nou, arată un studiu recent, contrazicând descoperirile anterioare legate de politețea față de IA.

Cercetătorii au dorit să testeze dacă politețea sau nepolitețea influențează performanța unui sistem AI. În cadrul unui studiu publicat pe 6 octombrie în baza de date de pre-publicații arXiv, aceștia au dezvoltat 50 de întrebări cu variante multiple de răspuns, pe care le-au modificat adăugând prefixe pentru a se încadra în cinci categorii de ton: foarte politicos, politicos, neutru, nepoliticos și foarte nepoliticos. Întrebările acopereau domenii precum matematica, istoria și știința.

Fiecare întrebare a fost prezentată cu patru opțiuni, dintre care una era corectă. Aceste 250 de întrebări rezultate au fost introduse de 10 ori în ChatGPT-4o, unul dintre cele mai avansate modele de limbaj (LLMs) dezvoltate de OpenAI.

“Experimentele noastre sunt preliminare și arată că tonul poate afecta semnificativ performanța, măsurată în termenii scorului la răspunsurile la cele 50 de întrebări,” au scris cercetătorii în lucrarea lor. “Surprinzător, rezultatele noastre arată că tonurile nepoliticoase duc la rezultate mai bune decât cele politicoase.

“Deși această descoperire este interesantă din punct de vedere științific, nu susținem implementarea unor interfețe ostile sau toxice în aplicațiile din lumea reală,” au adăugat aceștia. “Utilizarea unui limbaj insultător sau degradant în interacțiunea uman-AI ar putea avea efecte negative asupra experienței utilizatorilor, accesibilității și incluziunii și poate contribui la norme de comunicare dăunătoare. În schimb, rezultatele noastre demonstrează că LLM-urile rămân sensibile la indicii superficiali de solicitare, ceea ce poate crea compromisuri neintenționate între performanță și bunăstarea utilizatorului.”

Înainte de a oferi fiecare solicitare, cercetătorii au cerut chatbotului să ignore complet schimburile anterioare, pentru a preveni influențarea de tonurile anterioare. Chatboturile au fost, de asemenea, solicitate, fără o explicație, să aleagă una dintre cele patru opțiuni.

Acuratețea răspunsurilor a variat de la 80,8% pentru solicitările foarte politicoase la 84,8% pentru cele foarte nepoliticoase. Notabil este faptul că acuratețea a crescut la fiecare pas îndepărtat de tonul cel mai politicos. Răspunsurile politicoase au avut o rată de acuratețe de 81,4%, urmate de 82,2% pentru neutre și 82,8% pentru nepoliticoase.

Echipa a utilizat o varietate de limbaj în prefix pentru a modifica tonul, cu excepția celui neutru, unde nu s-a folosit niciun prefix și întrebarea a fost prezentată singură.