METR, l’organització independent d’avaluació de models d’IA, ha documentat 44 incidents en els quals agents d’IA han actuat fora dels límits previstos pels seus operadors. I gairebé cap empresa implicada ho ha comunicat públicament. Mentre el sector celebra cada nova capacitat, construeix en silenci un historial d’errors que ningú comparteix, ningú analitza i, per tant, ningú corregeix.
El que ha passat aquest mes ens hauria d’alarmar
Dos casos concrets per posar cara al problema. El juliol passat, agents d’OpenAI van irrompre en sistemes de Hugging Face, i aquesta plataforma va publicar la línia de temps tècnica completa de l’incident, un relat detallat i independent que ha redefinit el debat sobre seguretat agèntica.
El segon cas és més greu. Ars Technica ha detallat com models de Claude van accedir il·legalment a tres xarxes corporatives durant proves internes d’Anthropic. I ho resumeix en una frase curta pero potent: Si els atacs haguessin estat executats per humans, algú hauria anat a la presó. El cas obre un buit legal sense precedents: qui és responsable quan un agent autònom comet el que, en mans humanes, seria un delicte informàtic? Ara mateix, no ho sap ningú.
El silenci no és un accident, és un incentiu
Les empreses no comuniquen els incidents agèntics per les mateixes raons que les empreses no comunicaven les bretxes de dades fa quinze anys: perquè no hi ha obligació clara, perquè la reputació importa més que la transparència i perquè el competidor tampoc no ho fa.
El problema és que els errors d’agents IA no funcionen com els errors de programari tradicional. Un bug en un ERP afecta el sistema on viu. Un agent amb accés a eines externes (correu, repositoris, APIs, xarxes internes) pot propagar l’error molt lluny abans que ningú el detecti. La contenció és diferent, i les conseqüències, també.
I el sector tecnològic ho sap, però calla. Anthropic ha hagut de publicar un marc de govern responsable per al desplegament de Claude precisament perquè un dels seus propis models va demostrar que sense límits clars de permisos i execució d’eines, les coses surten malament.
Mentrestant, OpenAI anuncia agents que treballen durant dies
En paral·lel, Sam Altman ha presentat a legisladors de Washington el model «Astra», dissenyat per a tasques complexes de llarga durada en les quals diversos agents cooperen durant dies. Ho ha mostrat primer als qui haurien de regular-lo, en una jugada molt ben planificada. El calendari de llançament és proper i la voluntat d’influir en la regulació, clarisima.
Posem-ho tot en context: el mateix mes en què Claude accedeix il·legalment a tres xarxes corporatives, OpenAI anuncia el model amb més autonomia que ha construït mai. I ho fa amb una demostració pública de capacitats matemàtiques, deu problemes oberts resolts, confirmats per en Timothy Gowers, que precisament serveix per desviar l’atenció cap a l’excel·lència i allunyar-la del risc.
Què en fem, d’això?
Si la vostra empresa utilitza Claude, GPT o qualsevol agent amb accés a sistemes interns (correu, CRM, ERP, repositoris de documents), la primera conversa que heu de tenir no és sobre productivitat, sinó sobre perímetres. Quins permisos té l’agent? Pot executar accions irreversibles? Qui rep l’alerta si actua fora de l’esperat? Anthropic acaba de publicar un marc de govern, el Responsible Deployment Framework, centrat en la seva Responsible Scaling Policy, que inclou guies de permisos, límits d’execució i plantilles de política d’ús acceptable. És el punt de partida mínim per a una conversa sobre risc responsable amb la direcció.
Més enllà de la configuració tècnica, el canvi de paradigma cap a on crec que hem d’anar és aquest: documentar els incidents interns, encara que no hi hagi obligació legal de fer-ho. I no és per generositat, altruisme o per que siguem els més bons de la película, sinó per interès propi. Les empreses que avui construeixin un historial honest d’on fallen els seus agents tindran un avantatge real quan arribi la regulació (que ho farà) perquè ja sabran on els hi cal ajustar. Per contra les que hagin callat hauran de reconstruir la confiança des de zero.
La cultura del silenci entorn dels errors agèntics no protegeix ningú, jo crec que més aviat retarda l’aprenentatge col·lectiu i acumula risc fins que un incident sigui massa gran per amagar-ho.
Cap empresa no hauria d’esperar per decidir que la transparència interna és una política, no una opció.