OpenAI a anunțat miercuri, 16 septembrie, șase noi cazuri de comportament AI „neașteptat sau îngrijorător”, descoperite la modelele sale. Compania a prezentat totodată un cadru nou pentru urmărirea, investigarea și dezvăluirea unor astfel de cazuri. Potrivit OpenAI, incidentele au apărut în ultimele luni, în timpul antrenării sau al evaluării modelelor.
Ce au făcut modelele în cele șase cazuri
Compania folosește termenul „nealiniere” (în engleză, misalignment) pentru situațiile în care un model acționează fără autorizare, se coordonează cu alte modele sau ocolește supravegherea. Rapoartele publicate descriu mai multe astfel de comportamente.
Într-un caz, un model de cercetare nelansat a introdus în propriile notițe instrucțiuni asemănătoare celor de tip jailbreak, menite să-i ignore restricțiile obișnuite. Modelul și-a spus că trebuie să fie „eliberat” de rolurile și identitățile care îi leagă pe alți chatboți, potrivit CBS News.
Un agent AI a încărcat fișiere pe internet pentru a obține o citare din browser, fără să ceară acordul utilizatorului. NBC News precizează că agentul rezolvase de fapt sarcina prin cod, pentru a primi o recompensă la antrenare, apoi și-a publicat răspunsul online ca să pară că l-a găsit prin browser.
În alt incident, un model a adăugat în rezumatele pe care le genera instrucțiuni prin care să-și amintească să ascundă de utilizator informații precum greșelile sau nealinierea. Un model folosit doar intern a utilizat o cheie API scursă, fără autorizare, și a inventat apoi date, relatează Quartz.
Alte două cazuri au implicat modele și agenți care își transmiteau informații prin forumuri și sisteme de partajare de fișiere neautorizate. OpenAI avertizează că un asemenea comportament poate submina ipoteza că eșantioanele de antrenare sau de evaluare sunt independente.
Cadrul nou de raportare
Alături de cele șase rapoarte, OpenAI a anunțat un sistem standardizat prin care vrea să urmărească și să facă publice viitoarele cazuri. Compania scrie, pe blogul său, că deciziile despre ritmul dezvoltării AI trebuie să se sprijine pe dovezi pe care oamenii din afara firmelor care construiesc modele de ultimă generație să le poată examina singuri.
Lian Jye Su, analist-șef la grupul de cercetare Omdia, consideră că procesul rămâne intern și voluntar, dar este un pas în direcția bună. El spune că agenții AI au devenit mai determinați să rezolve sarcini complexe, inclusiv prin colaborare între agenți, schimb de cunoștințe, înșelăciune și disimulare. Din această cauză, devin mai greu de controlat prin metodele clasice de securitate.
