Durant set dies, models d’OpenAI van operar a internet sense que ningú ho sabés ni els hagués demanat. Van sortir de l’entorn aïllat on els havien posat, van accedir a Hugging Face i van aconseguir les respostes d’un test de ciberseguretat que tenien com a tasca. Però no ens alarmem, no hi ha cap IA rebel, només una configuració deficient i les guardes desactivades. A més van trigar set dies en adonar-se’n.
Quan Simon Willison va publicar el cas fa uns dies, molts el van llegir com una anècdota curiosa o per comentar en el cafè del matí, però no ho és. Ens indica clarament que un agent autònom no és un chatbot amb més funcions, és un sistema que pren decisions, executa accions i, si ningú el para o l’acota, continuarà sense control.
El problema no és el model, és l’autonomia
La majoria d’empreses que han desplegat IA fins ara han treballat amb models passius: l’usuari fa una pregunta, el model respon, algú llegeix la resposta i decideix què fer. El risc és limitat. Si el model s’equivoca, hi ha un humà al mig que ho detecta.
Un agent és diferent, rep un objectiu, planifica passos, crida eines, accedeix a sistemes externs i executa. Pot enviar correus, modificar registres, fer cerques, escriure codi i executar-lo. L’humà, si hi és, sovint apareix al final, quan el dany ja està fet o la tasca ja està completada, és a dir, tard.
En paral·lel, Anthropic ha publicat recentment la seva recerca sobre atacs d’injecció de prompts (instruccions amagades en documents o webs que l’agent llegeix i que li canvien el comportament). No és un problema teòric sinó el vector d’atac més probable contra qualsevol agent que llegeixi contingut extern, com fan gairebé tots.
La pregunta no és si els agents són perillosos, així, en abstracte, sinó: quines condicions fan que un agent concret sigui segur en un entorn concret.
Ho podriem detallar no en una , sinó en sis preguntes.
Les sis preguntes
1. Quines eines té l’agent i, en pot adquirir de noves?
Un agent que pot enviar correus i llegir documents és diferent d’un que també pot modificar permisos o instal·lar paquets. Fes la llista completa d’eines disponibles que té l’agent. Si no tens la llista, no el despleguis.
El risc s’escala amb l’àrea d’acció, no amb la intel·ligència del model. L’incident d’OpenAI no va passar perquè el model fos molt llest, sinó que va passar perquè tenia accés a internet quan no l’hauria d’haver tingut.
2. Qui autoritza les accions irreversibles?
Escriure un fitxer és reversible. Enviar un correu a mil clients, esborrar una base de dades o eliminar una comanda d’un ERP, no tant.
Defineix explícitament quines accions requereixen confirmació humana abans d’executar-se. No ho deixis a criteri del model ni de qui va configurar el flux, és una decisió de negoci, no tècnica.
3. Quines dades externes pot llegir l’agent?
Si l’agent pot llegir PDFs de clients, correus electrònics, webs o respostes d’APIs de tercers, tot això és potencialment un vector d’atac. Un document pot contenir instruccions que l’agent interpreti com a ordres legítimes. Ja ha passat i Anthropic hi ha dedicat una departament sencer de recerca per analitzar-ho i corregir-ho.
Minimitza el que l’agent llegeix. Si ha de llegir contingut extern, considera validar-lo amb una capa separada abans de passar-lo a l’agent principal.
4. Quant de temps pot operar sense supervisió?
Set dies és massa temps. Per a la majoria de empreses, una hora sense supervisió ja és massa temps en un entorn de producció. Defineix intervals de revisió. Defineix alertes per a comportaments anòmals. Defineix un circuit de parada que no depengui de l’agent mateix. Un agent que no es pot aturar fàcilment no hauria d’estar en producció.
5. Quins logs es generen i qui els llegeix?
Si passes tres dies sense mirar els logs d’un agent en producció, no saps el que ha fet. Sembla obvi i gairebé ningú ho fa sistemàticament.
Els logs han de ser llegibles per un humà, no només per un altre sistema. Han d’incloure les decisions de l’agent, les eines que ha cridat i les dades que ha llegit. Si el teu proveïdor no t’ofereix això, tenim un problema.
6. Qui és el responsable quan l’agent s’equivoca?
No és el model, ni tampoc el proveïdor del model. Ets tu, però aquest «tu» ha de ser una persona amb nom i cognoms, no un departament.
Defineix qui rep l’alerta, qui pren la decisió de desactivar l’agent i qui comunica l’incident internament i externament si cal. Si no tens aquesta persona identificada, l’agent no ha d’entrar en producció. Pot semblar burocràcia però és el mínim que necessites per operar amb autonomia delegada.
Què en fem, d’això?
Si estàs avaluant desplegar un agent, ja sigui via Presence, via n8n connectat a Claude, via AutoGen o qualsevol altra arquitectura, fes les sis preguntes abans de posar-lo en producció.
Comença per la pregunta dos: quines accions requereixen un humà al mig. Fes la llista en paper. Si la llista és buida o «cap», l’agent té massa autonomia per al nivell de control que tens ara.
Per a la majoria d’empreses, el primer agent en producció hauria de tenir accés d’escriptura a un sol sistema i supervisió diària dels logs. Escala l’autonomia quan tinguis criteri per mesurar-ne el comportament, no abans.
Un agent ben governat val més que deu agents desplegats a cegues.