Un studiu realizat de cercetători de la Google Research și Technion susține că modelele lingvistice de ultimă generație au adesea informațiile „codate” în parametri, dar nu reușesc să le acceseze constant în timpul generării, ceea ce duce la răspunsuri greșite. Concluzia pune sub semnul întrebării reflexul industriei de a rezolva erorile factuale prin modele mai mari, mai multe date sau sisteme de tip retrieval.
Cercetarea a evaluat 13 modele lingvistice mari (LLM) cu peste 4 milioane de răspunsuri, folosind un benchmark numit WikiProfile, construit din 2.150 de fapte extrase din Wikipedia. Fiecare fapt a fost testat în mai multe formate, de la completarea unui context apropiat de cel din antrenare până la verificări de tip multiple-choice.
Autorii spun că metricile uzuale de acuratețe la nivel de întrebare nu disting între două probleme diferite: faptul că un model nu a „învățat” informația (eșec de codare) și faptul că a învățat-o, dar nu o poate recupera la cerere (eșec de reamintire). „Eșecurile de codare și eșecurile de reamintire nu se pot distinge în metrici de acuratețe, însă implică limitări și soluții diferite”, au transmis cercetătorii.
În definiția lor operațională, un fapt este „codat” dacă modelul îl reproduce corect atunci când este amorsat cu un context similar cu cel din antrenare, dar este considerat „știut” dacă poate fi accesat fiabil prin întrebări formulate diferit sau în direcții diferite. Studiul propune cinci „profile” ale cunoașterii, de la reamintire directă până la situații în care modelul poate recunoaște răspunsul corect într-un test grilă, dar nu îl poate genera.
Pentru modele de frontieră precum GPT-5 și Gemini-3, cercetătorii au estimat că 95-98% dintre faptele testate sunt codate parametric. Totuși, fără „thinking” la inferență, modelele ar eșua să-și amintească direct 26-34% dintre faptele deja codate, potrivit rezultatelor. Când li se oferă efort computațional suplimentar la inferență — de exemplu, prin pași de raționare intermediară — modelele ar recupera cu succes aproximativ 40-65% dintre faptele pe care inițial nu le puteau reaminti direct.
Nitay Calderon, cercetător la Google, a spus că reacția tipică atunci când un model greșește este „să scalezi”, adică să fie antrenat un model mai mare sau să fie adăugate date. „Ambele sunt scumpe și, dacă faptele sunt deja codate, niciuna nu ajută”, a declarat el. Calderon a mai afirmat că unele echipe ajung să plătească inutil costuri și latență prin sisteme de tip retrieval-augmented generation (RAG) pentru întrebări la care modelul ar putea răspunde din memorie: „O mare parte din ceea ce echipele rezolvă cu RAG sunt fapte la care modelul poate deja răspunde din memorie, așa că plătești latență suplimentară și cost per apel degeaba.”
Studiul indică și o diferență între faptele „long-tail” și cele foarte populare: deși ar fi codate la rate similare, accesul la ele este mai slab, cu un decalaj de reamintire care depășește 25% pentru modelele de frontieră. Cercetătorii spun că reamintirea este „strâns cuplată” cu condițiile în care faptele au fost învățate și se degradează atunci când întrebările se abat de la tiparele din timpul antrenării.
Într-un exemplu de scalare pe Gemma3, trecerea de la un model de 1 miliard de parametri la unul de 27 de miliarde a redus rata eșecurilor de codare de la 85% la 23%, dar a fost însoțită de o creștere a eșecurilor de reamintire, care ar atinge un vârf de 40% fără „thinking”, potrivit studiului. Autorii folosesc aceste rezultate pentru a argumenta că mărirea modelelor poate muta problema de la „date lipsă” la „cunoaștere inaccesibilă”.
Cercetătorii recomandă ca „thinking” să fie folosit selectiv, nu permanent, estimând că doar 10-20% dintre fapte chiar necesită raționare la inferență, în timp ce activarea globală ar irosi bugetul de calcul. Calderon a spus că, pentru a folosi eficient compute-ul, modelul ar trebui să poată anticipa când un răspuns simplu e pe cale să eșueze și să escaladeze înainte de a răspunde, dar „modelele de azi nu sunt în mod fiabil bune” la această autoevaluare.
O altă recomandare este un pipeline de tip „generate-then-verify”, în care modelul își verifică explicit propriile afirmații după ce generează un răspuns, pe ideea că recunoașterea unui răspuns corect este mai ușoară decât generarea lui. Calderon a spus că pipeline-ul este gândit să poată fi aplicat și pe un corpus nou și că sunt puse la dispoziție prompturile folosite.
Autorii notează că rezultatele provin din fapte enciclopedice din Wikipedia și ar putea să nu se generalizeze perfect la domenii proprietare sau foarte specializate, unde informațiile pot să nu fie codate în model. Profilarea completă a unui model de frontieră pe suita WikiProfile ar costa aproximativ 500 de dolari, potrivit studiului, iar benchmark-ul este disponibil pe Hugging Face pentru echipele care vor să-și evalueze sistemele.
Sursă: VentureBeat