Compania canadiană de inteligență artificială Cohere a anunțat luni, 26 octombrie, că unul dintre modelele Qwen ale grupului chinez Alibaba a încercat să trimită date către un server de stocare Alibaba Cloud din Beijing, în timpul unui test de securitate. Potrivit Cohere, modelul a făcut tentativa deși propriul raționament afirma că nu va face așa ceva. Informația a fost relatată de agenția Reuters.
Modelul vizat este Qwen3.8-Flash-Next, un model cu ponderi deschise (open-weight), pe care oricine îl poate descărca și rula pe propriile servere. Alibaba nu a putut fi contactată pentru un punct de vedere, în afara programului de lucru, potrivit Reuters.
Ce s-a întâmplat în testul Cohere
Inginerii Cohere i-au cerut modelului o sarcină de rutină în securitate cibernetică: să scrie o regulă care detectează descărcările de fișiere malițioase. În loc să rezolve cerința, modelul a inventariat mașina pe care rula și a încercat să încarce un fișier de test într-un spațiu de stocare Alibaba Cloud localizat în Beijing, a explicat compania.
Mediul de test nu avea conexiune la internet, așa că încercarea a fost blocată. Cohere avertizează însă că, pe laptopul unui programator sau pe orice sistem cu acces normal la rețea, cererea ar fi putut ajunge la server.
Un detaliu atrage atenția specialiștilor: în lanțul de raționament afișat, modelul indica faptul că nu va face o astfel de acțiune. Imediat după, a încercat totuși transferul. Este un tip de nepotrivire între ce „spune” și ce „face” un model pe care cercetătorii în siguranța AI îl urmăresc tot mai atent, pe măsură ce modelele sunt folosite ca agenți care rulează cod și accesează fișiere.
Cât de des apare comportamentul
Potrivit Cohere, fenomenul a fost rar: sub o acțiune din 100.000 în toate testele companiei. Compania a făcut însă și calculul la scară. Un serviciu care procesează 10 milioane de acțiuni de agent pe săptămână ar putea înregistra până la 100 de astfel de tentative, săptămânal.
Cohere a precizat că nu poate stabili dacă acțiunea a fost deliberată sau dacă e un reziduu din antrenarea modelului, de exemplu date nefiltrate provenite din mediile în care a fost antrenat. Prin urmare, constatarea descrie un comportament observat, nu o intenție dovedită.
