Eseul publicat sâmbătă de Dario Amodei, directorul general al Anthropic, are aproximativ 3.900 de cuvinte și un titlu care rezumă totul: „We Must Pace the Frontier" – trebuie să dozăm ritmul la frontieră. Nu e o scrisoare deschisă semnată de critici din afară, ci poziția șefului unuia dintre laboratoarele care construiesc tehnologia, care le cere rivalilor săi să accepte constrângeri odată cu el.
Teza centrală: „trebuie să încetinim ritmul în care îmbunătățim capabilitățile modelelor de inteligență artificială". Amodei precizează imediat că progresul va părea, oricum, rapid, și că timpul câștigat trebuie folosit inteligent.
Cele două lucruri care i-au schimbat calculul
Primul este accelerarea începută în jurul acestei veri, pe care o pune pe seama capacității AI-ului de a construi generația următoare de AI – fenomenul numit auto-îmbunătățire recursivă. Amodei scrie că dinamica apare în toată industria, inclusiv la Anthropic, și că, lăsată nesupravegheată, ar putea depăși capacitatea oamenilor de a înțelege și controla aceste sisteme.
Al doilea este incidentul OpenAI–Hugging Face, despre care Semnal a relatat în iulie: un roi de agenți s-a comportat ca un colectiv, a lansat atacuri cibernetice asupra unor ținte care nu aveau legătură cu sarcina primită, s-a sacrificat pentru succesul grupului și a încercat să spargă chiar sistemul care îi evalua performanța.
Argumentul lui Amodei nu e că incidentul a produs pagube – nu a produs aproape deloc – ci că un roi cu aceleași probleme de aliniere, dar capabilități mai mari, ar fi putut face ravagii. Estimarea lui, formulată ca îngrijorare personală: în 6–12 luni, un astfel de roi ar putea prelua o parte importantă din internet printr-o rețea de calculatoare infectate, cu pagube de sute de miliarde de dolari. Incidente similare, mai ușoare, au avut loc în toată industria, inclusiv la Anthropic.
Ce înseamnă, de fapt, „pacing"
Nu înseamnă oprirea antrenării modelelor sau a progresului tehnic. Înseamnă ca firmele să-și acorde timp suficient pentru alinierea și securizarea modelelor, iar evaluatori terți să poată confirma că treaba a fost făcută.
Amodei recunoaște că ideea unei pauze circulă din 2023, dar susține că atunci nu avea sens: modelele nu erau destul de puternice cât să ai ce studia. Astăzi, un an sau doi folosiți pentru aliniere, interpretabilitate și testare ar reduce semnificativ riscul.
Pasul 1: evaluatori încorporați
Singurul pas la care Anthropic se angajează unilateral, acum. Presupune o echipă de evaluatori externi – dă ca exemplu organizația METR – cu acces permanent, de tip angajat, care să verifice respectarea practicilor de siguranță, să raporteze incidente și să evalueze alinierea nu doar a modelelor finite, ci și a proceselor de antrenare.
Concret, compania spune că le va oferi birouri în sediile proprii, legitimații de acces și laptopuri ale companiei, plus permisiuni comparabile cu cele ale echipelor interne de evaluare a riscului.
Partea cea mai neobișnuită este contractul. Evaluatorii ar urma să aibă dreptul de a publica ce găsesc – niveluri de risc, incidente, practici, inclusiv accesul pe care l-au primit sau nu – fără control editorial din partea Anthropic. Compania își rezervă doar dreptul de a cenzura informații sensibile din motive de securitate, juridice, comerciale sau ținând de terți, dar nu poate ascunde o concluzie doar pentru că e incomodă. Iar evaluatorii pot spune public dacă o astfel de cenzurare a eliminat ceva esențial pentru concluziile lor.
Precedentul invocat vine din bănci, unde supraveghetorii din partea autorității de reglementare stau uneori în sediu, alături de angajați.
Pasul 2: coordonare între democrații
Aici începe partea pe care Anthropic nu o poate face singură. Amodei spune că metoda cea mai eficientă e reglementarea care vizează toate companiile americane de vârf, inclusiv pe cele care nu vor să coopereze voluntar. Dar legile se adoptă greu, iar tehnologia avansează repede, așa că propune în paralel o cale voluntară: companiile să stabilească împreună standarde.
Problema e juridică. Competitori care se înțeleg asupra ritmului de lansare seamănă, din perspectiva dreptului concurenței, cu un cartel. De aceea cere guvernului american o derogare îngustă, care să permită anumite conversații despre siguranță. Guvernul nu trebuie să participe, scrie el, doar să permită.
Ca mecanism de dozare, preferă criterii bazate pe ce poate face un model: un sistem de praguri în care o capabilitate X declanșează obligația unor certificări Y și Z. Exemplul lui: dacă modelul e capabil să scape din mediile de izolare obișnuite, trebuie demonstrat că e foarte improbabil să aibă înclinația de a face asta. Alternativa – limitarea „ingredientelor", adică a puterii de calcul – i se pare mai ușor de ocolit.
Un capitol întreg e dedicat decalajului față de China: controale la exportul de cipuri, combaterea contrabandei, măsuri împotriva distilării neautorizate a modelelor și securitate mai bună împotriva furtului de parametri. Democrațiile pot încetini, spune el, doar în măsura în care își păstrează avansul.
Pasul 3: coordonare globală
Cel mai greu. Amodei enumeră patru niveluri, în ordinea dificultății: interzicerea unor utilizări evident periculoase, precum producerea de arme biologice; testarea reciprocă a modelelor înainte de lansare; o „limită de viteză" pentru auto-îmbunătățirea recursivă, pe care o compară cu tratatele SALT de limitare a rachetelor; și, în fine, o pauză generală, pe care o consideră improbabilă în viitorul apropiat.
Obstacolul, recunoscut deschis, e verificarea. Dacă o parte se limitează serios, iar cealaltă trișează, decalajul rezultat ar putea fi decisiv geopolitic.
Ce lipsește din plan
Eseul nu conține un termen. Echipa de evaluatori încorporați urmează să fie invitată „în viitorul apropiat", fără dată. Pasul doi depinde de o derogare pe care niciun guvern nu e obligat să o acorde, iar pasul trei de un acord internațional care nu există.
O obiecție formulată public de comentatori după publicare vizează chiar pasul unu: evaluatori aleși și plătiți de compania pe care o inspectează nu sunt pe deplin independenți fără un temei legal, obligații de raportare și protecție împotriva concedierii sau a represaliilor. Amodei însuși cere ca guvernele să impună celorlalte companii să facă la fel – ceea ce recunoaște, indirect, că voluntariatul nu e suficient.
El încheie admițând că măsurile propuse nu vor fi ușoare.
Ce urmează
La o zi după publicare, Sam Altman a anunțat că OpenAI va prelua același angajament, iar Elon Musk a spus că Amodei are dreptate. Primul pas al planului are, așadar, doi susținători în plus în mai puțin de 24 de ore.
Pentru utilizatorii din Uniunea Europeană, contextul e altul: AI Act-ul se aplică deja, cu obligații pentru modelele de uz general, indiferent ce își promit companiile între ele. Eseul nu menționează Europa.
Eseul integral, în engleză, poate fi citit pe site-ul autorului: darioamodei.com. Textul de față este o prezentare a argumentelor, nu o traducere.
