Nucleul unui chatbot AI este un model de limbaj, care prezice, cuvânt după cuvânt, ce urmează cel mai probabil într-o frază. De aici vine defectul care contează cel mai mult pentru utilizator: textul sună sigur chiar și atunci când e greșit.
Cum alege modelul fiecare cuvânt
Un model de limbaj este un program antrenat pe cantități uriașe de text. În timpul antrenării, învață tipare statistice: ce cuvinte apar de obicei împreună, în ce ordine, în ce context. Nu funcționează ca o enciclopedie și nu ține o evidență a ceea ce știe și a ceea ce nu știe.
Textul se împarte în fragmente numite tokeni, adică bucăți de cuvinte sau cuvinte întregi. La fiecare pas, modelul calculează probabilitatea fiecărui token posibil și alege unul dintre cei mai probabili. Apoi repetă operația, cu tot ce a scris deja drept punct de plecare.
Unele aplicații adaugă modelului instrumente: căutare web, documente încărcate de utilizator sau baze de date interne. În asemenea cazuri, răspunsul poate include informații recuperate din surse externe. Chiar și atunci, formularea finală rămâne generată de model, deci poate denatura ce spune sursa.
Aceeași întrebare poate primi răspunsuri diferite. Multe sisteme folosesc un grad de aleatoriu la alegerea tokenilor, iar setarea ține de furnizor, de aplicație sau, uneori, de utilizator. Există și configurații deterministe, în care răspunsul se repetă.
Ce sunt halucinațiile și de ce apar
În domeniu, „halucinație” înseamnă un răspuns fluent, dar fals sau inventat. Un model poate genera o citare bibliografică inexistentă, o hotărâre judecătorească care nu a fost pronunțată sau o funcție pe care un produs nu o are.
Una dintre cauze este chiar obiectivul de bază al antrenării, care urmărește predicția textului, nu verificarea faptelor. Multe modele primesc apoi antrenament suplimentar pentru acuratețe, pentru urmarea instrucțiunilor și pentru folosirea unor instrumente de verificare. Asta reduce greșelile, dar nu le elimină. Dacă datele de antrenare conțin lacune sau informații contradictorii, modelul poate completa golul cu ce se potrivește statistic.
Riscul crește, de regulă, la subiecte de nișă, la date recente și la nume puțin răspândite, mai ales când modelul nu are acces la surse actualizate. Tendința nu e universală: depinde de model, de limbă, de datele de antrenare și de accesul la căutare sau la documente.
Tonul nu arată gradul de certitudine. Un răspuns corect și unul inventat pot suna la fel de ferm, cu aceeași structură și aceeași politețe. Un model poate și să accepte premisa greșită a întrebării, pentru că ea face parte din context.
Cum se verifică un răspuns în câteva minute
Verificarea începe cu elementele care pot fi confirmate independent: nume, date, cifre, citate, titluri de studii. Acestea se caută separat, într-o sursă primară, nu se cer din nou chatbotului.
