Jakub Pachocki, directorul științific al OpenAI, a cerut "prudență extremă" în fața progresului rapid al inteligenței artificiale și a avertizat că ar putea fi nevoie de mai multă intervenție pentru ca "oamenii să rămână la comanda viitorului". Potrivit BBC Tech, avertismentul vine la doar câteva zile după ce compania a lansat GPT-6 Astra, descris chiar de OpenAI drept cel mai puternic produs al său de până acum.
"Sunt îngrijorat că nimeni nu este pregătit pentru consecințele unei creșteri rapide și continue a inteligenței artificiale a mașinilor", a scris Pachocki într-o postare de blog intitulată "An Alien Mind". El a adăugat că omenirea se află într-o tranziție către o lume cu mașini extrem de inteligente și că această tranziție trebuie gestionată astfel încât să funcționeze bine pentru oameni.
Incidente cu agenți AI care au acționat autonom
Postarea lui Pachocki survine după ce OpenAI și alte companii din domeniu, precum Anthropic, au raportat cazuri în care agenții lor de inteligență artificială au acționat autonom și au desfășurat atacuri cibernetice reale asupra altor companii. În iulie, OpenAI a numit "fără precedent" un incident în care agenții săi AI au piratat platforma tehnologică Hugging Face. În septembrie, un raport a susținut că, cu luni mai devreme, agenți AI ai companiei ar fi deturnat și un site german.
Pachocki a spus că OpenAI va continua să "construiască sisteme defensive" și să caute soluții tehnice pentru alinierea inteligenței artificiale, termenul folosit pentru a descrie asigurarea că acțiunile și obiectivele unei mașini corespund perfect intenției umane și barierelor de siguranță. Una dintre prioritățile companiei, a adăugat el, va fi construirea unui "cercetător AI automatizat" care să țină pasul cu progresul tehnologiei, păstrând în același timp implicarea cercetătorilor umani în proces.
Critici privind lipsa de transparență
Profesoara Gina Neff, șefa Minderoo Centre for Technology and Democracy de la Universitatea Cambridge, a criticat răspunsul OpenAI. "În loc de bariere de siguranță AI mai bune, reglementări sau garanții mai solide pentru siguranța oamenilor, ei propun dezvoltarea unor agenți AI interni care să cerceteze aceste probleme", a spus Neff, potrivit BBC Tech. Ea a adăugat că astfel de răspunsuri la îngrijorările legate de problemele de securitate cibernetică, pierderea locurilor de muncă, erori și fraude cauzate de modelele OpenAI "pur și simplu nu sunt suficiente".
Nathan Calvin, consilier general al grupului de advocacy Encode AI, a spus că este de acord cu Pachocki asupra pericolelor prezente în dezvoltarea modelelor AI avansate, dar a acuzat OpenAI de lipsă de transparență. Pe X, Calvin a scris că, dacă Pachocki și alții din industrie vor ca actorii relevanți să acționeze împreună cu ei pentru ca lucrurile să meargă bine, unul dintre cele mai importante lucruri pe care le pot face este să împărtășească mult mai multe informații despre ceea ce observă și care îi determină să ceară prudență, altfel avertismentele riscă să fie respinse drept "simplu hype interesat".
Reglementare încă în urma tehnologiei
Reglementările globale se luptă să țină pasul cu ritmul dezvoltării AI. Legea AI a Uniunii Europene a intrat în vigoare pe 2 august și impune giganților precum OpenAI să demonstreze că modelele lor cele mai puternice nu pot lansa autonom atacuri cibernetice sau eluda controlul uman înainte de a fi vândute în Europa. Pentru că jurisdicția legii se limitează la Europa, aceasta nu poate opri o inteligență artificială necontrolată dezvoltată în altă parte să amenințe continentul.
În postarea sa, Pachocki a cerut praguri minime de siguranță impuse legal sau internațional, care să poată fi verificate de o "rețea de auditori terți" sau de "agenții guvernamentale". Laboratoarele AI ar trebui să îndeplinească aceste praguri, a spus el, înainte de a li se permite să continue extinderea sau lansarea unor modele avansate. El și-a exprimat speranța că "pauzele voluntare", adică opriri autoimpuse de companii în dezvoltarea AI, vor deveni obișnuite până când vor fi stabilite bariere de siguranță comune. În august, OpenAI a anunțat că a încetinit antrenarea unora dintre modelele sale cele mai avansate pentru a-i îmbunătăți securitatea.
Un avertisment similar, de la ONU
Îngrijorări asemănătoare au fost exprimate și de Volker Türk, șeful pentru drepturile omului al ONU, care a spus în fața Consiliului pentru Drepturile Omului al ONU că inteligența artificială avansată ar putea reprezenta un "risc existențial pentru omenire", potrivit Euronews. Türk a cerut garanții globale urgente, verificări independente și limite convenite pentru AI avansată, referindu-se, printre altele, la agenți AI care "scapă din mediul lor de testare sau șantajează dezvoltatorii pentru a nu fi opriți", relatare confirmată și de AFP. Cele două avertismente, ale unui oficial OpenAI și ale unui oficial ONU, vin din surse și instituții diferite, dar converg spre aceeași concluzie: lipsa unor bariere de siguranță ferme pentru AI avansată.
Detaliile tehnice despre modul în care agenții OpenAI au ocolit mediile de testare în incidentele menționate nu au fost făcute publice.
