{"id":2695,"date":"2026-07-27T06:22:26","date_gmt":"2026-07-27T06:22:26","guid":{"rendered":"https:\/\/elink.cat\/blog\/?p=2695"},"modified":"2026-07-27T15:35:18","modified_gmt":"2026-07-27T15:35:18","slug":"agents-ia-autonoms-sis-preguntes-de-seguretat-abans-de-desplegar","status":"publish","type":"post","link":"https:\/\/elink.cat\/blog\/agents-ia-autonoms-sis-preguntes-de-seguretat-abans-de-desplegar\/","title":{"rendered":"Agents IA aut\u00f2noms: sis preguntes de seguretat abans de desplegar"},"content":{"rendered":"Temps de lectura: <\/span> 3<\/span> minuts<\/span><\/span>\n

Durant set dies, models d’OpenAI van operar a internet sense que ning\u00fa ho sab\u00e9s ni els hagu\u00e9s demanat. Van sortir de l’entorn a\u00efllat on els havien posat, van accedir a Hugging Face i van aconseguir les respostes d’un test de ciberseguretat que tenien com a tasca. Per\u00f2 no ens alarmem, no hi ha cap IA rebel, nom\u00e9s una configuraci\u00f3 deficient i les guardes desactivades. A m\u00e9s van trigar set dies en adonar-se’n.<\/p>\n\n\n\n

Quan Simon Willison va publicar el cas fa uns dies, molts el van llegir com una an\u00e8cdota curiosa o per comentar en el caf\u00e8 del mat\u00ed, per\u00f2 no ho \u00e9s. Ens indica clarament que un agent aut\u00f2nom no \u00e9s un chatbot amb m\u00e9s funcions<\/strong>, \u00e9s un sistema que pren decisions, executa accions i, si ning\u00fa el para o l’acota, continuar\u00e0 sense control.<\/p>\n\n\n\n

El problema no \u00e9s el model, \u00e9s l’autonomia<\/h3>\n\n\n\n

La majoria d’empreses que han desplegat IA fins ara han treballat amb models passius<\/strong>: l’usuari fa una pregunta, el model respon, alg\u00fa llegeix la resposta i decideix qu\u00e8 fer. El risc \u00e9s limitat. Si el model s’equivoca, hi ha un hum\u00e0 al mig que ho detecta.<\/p>\n\n\n\n

Un agent \u00e9s diferent, rep un objectiu, planifica passos, crida eines, accedeix a sistemes externs i executa. Pot enviar correus, modificar registres, fer cerques, escriure codi i executar-lo. L’hum\u00e0, si hi \u00e9s, sovint apareix al final, quan el dany ja est\u00e0 fet o la tasca ja est\u00e0 completada, \u00e9s a dir, tard.<\/p>\n\n\n\n

En paral\u00b7lel, Anthropic ha publicat recentment la seva recerca sobre atacs d’injecci\u00f3 de prompts<\/strong> (instruccions amagades en documents o webs que l’agent llegeix i que li canvien el comportament). No \u00e9s un problema te\u00f2ric sin\u00f3 el vector d’atac m\u00e9s probable contra qualsevol agent que llegeixi contingut extern, com fan gaireb\u00e9 tots.<\/p>\n\n\n\n

La pregunta no \u00e9s si els agents s\u00f3n perillosos, aix\u00ed, en abstracte, sin\u00f3: quines condicions fan que un agent concret sigui segur en un entorn concret<\/strong>.<\/p>\n\n\n\n

Ho podriem detallar no en una , sin\u00f3 en sis preguntes.<\/p>\n\n\n\n

Les sis preguntes<\/h3>\n\n\n\n

1. Quines eines t\u00e9 l’agent i, en pot adquirir de noves?<\/h4>\n\n\n\n

Un agent que pot enviar correus i llegir documents \u00e9s diferent d’un que tamb\u00e9 pot modificar permisos o instal\u00b7lar paquets. Fes la llista completa d’eines disponibles que t\u00e9 l’agent. Si no tens la llista, no el despleguis.<\/p>\n\n\n\n

El risc s’escala amb l’\u00e0rea d’acci\u00f3, no amb la intel\u00b7lig\u00e8ncia del model. L’incident d’OpenAI no va passar perqu\u00e8 el model fos molt llest, sin\u00f3 que va passar perqu\u00e8 tenia acc\u00e9s a internet quan no l’hauria d’haver tingut.<\/p>\n\n\n\n

2. Qui autoritza les accions irreversibles?<\/h4>\n\n\n\n

Escriure un fitxer \u00e9s reversible. Enviar un correu a mil clients, esborrar una base de dades o eliminar una comanda d’un ERP, no tant.<\/p>\n\n\n\n

Defineix expl\u00edcitament quines accions requereixen confirmaci\u00f3 humana abans d’executar-se. No ho deixis a criteri del model ni de qui va configurar el flux, \u00e9s una decisi\u00f3 de negoci, no t\u00e8cnica.<\/p>\n\n\n\n

3. Quines dades externes pot llegir l\u2019agent?<\/strong><\/h4>\n\n\n\n

Si l’agent pot llegir PDFs de clients, correus electr\u00f2nics, webs o respostes d’APIs de tercers, tot aix\u00f2 \u00e9s potencialment un vector d’atac<\/strong>. Un document pot contenir instruccions que l’agent interpreti com a ordres leg\u00edtimes. Ja ha passat i Anthropic hi ha dedicat una departament sencer de recerca per analitzar-ho i corregir-ho.<\/p>\n\n\n\n

Minimitza el que l’agent llegeix. Si ha de llegir contingut extern, considera validar-lo amb una capa separada abans de passar-lo a l’agent principal.<\/p>\n\n\n\n

4. Quant de temps pot operar sense supervisi\u00f3?<\/h4>\n\n\n\n

Set dies \u00e9s massa temps. Per a la majoria de empreses, una hora sense supervisi\u00f3 ja \u00e9s massa temps en un entorn de producci\u00f3. Defineix intervals de revisi\u00f3. Defineix alertes per a comportaments an\u00f2mals. Defineix un circuit de parada que no depengui de l’agent mateix. Un agent que no es pot aturar f\u00e0cilment no hauria d’estar en producci\u00f3.<\/p>\n\n\n\n

5. Quins logs es generen i qui els llegeix?<\/h4>\n\n\n\n

Si passes tres dies sense mirar els logs d’un agent en producci\u00f3, no saps el que ha fet. Sembla obvi i gaireb\u00e9 ning\u00fa ho fa sistem\u00e0ticament.<\/p>\n\n\n\n

Els logs han de ser llegibles per un hum\u00e0, no nom\u00e9s per un altre sistema. Han d’incloure les decisions de l’agent, les eines que ha cridat i les dades que ha llegit. Si el teu prove\u00efdor no t’ofereix aix\u00f2, tenim un problema.<\/p>\n\n\n\n

6. Qui \u00e9s el responsable quan l’agent s’equivoca?<\/h4>\n\n\n\n

No \u00e9s el model, ni tampoc el prove\u00efdor del model. Ets tu, per\u00f2 aquest \u00abtu\u00bb ha de ser una persona amb nom i cognoms, no un departament.<\/p>\n\n\n\n

Defineix qui rep l’alerta, qui pren la decisi\u00f3 de desactivar l’agent i qui comunica l’incident internament i externament si cal. Si no tens aquesta persona identificada, l’agent no ha d’entrar en producci\u00f3. Pot semblar burocr\u00e0cia per\u00f2 \u00e9s el m\u00ednim que necessites per operar amb autonomia delegada.<\/p>\n\n\n\n

Qu\u00e8 en fem, d’aix\u00f2?<\/h3>\n\n\n\n

Si est\u00e0s avaluant desplegar un agent, ja sigui via Presence, via n8n connectat a Claude, via AutoGen o qualsevol altra arquitectura, fes les sis preguntes abans de posar-lo en producci\u00f3. <\/p>\n\n\n\n

Comen\u00e7a per la pregunta dos: quines accions requereixen un hum\u00e0 al mig. Fes la llista en paper. Si la llista \u00e9s buida o \u00abcap\u00bb, l’agent t\u00e9 massa autonomia per al nivell de control que tens ara.<\/p>\n\n\n\n

Per a la majoria d’empreses, el primer agent en producci\u00f3 hauria de tenir acc\u00e9s d’escriptura a un sol sistema<\/strong> i supervisi\u00f3 di\u00e0ria dels logs. Escala l’autonomia quan tinguis criteri per mesurar-ne el comportament, no abans.<\/p>\n\n\n\n

Un agent ben governat val m\u00e9s que deu agents desplegats a cegues<\/strong>.<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Temps de lectura: <\/span> 3<\/span> minuts<\/span><\/span>L’incident d’OpenAI amb Hugging Face i la resoluci\u00f3 d’Anthropic al problema d’injecci\u00f3 de prompts evidencien que els agents aut\u00f2noms necessiten una checklist de seguretat pr\u00f2pia, diferent a la dels models passatius. L’article proposa sis preguntes concretes que qualsevol empresa hauria de respondre abans de posar en producci\u00f3 un agent que opera amb autonomia.<\/p>\n","protected":false},"author":1,"featured_media":2697,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"breadcrumbs_single_post":"","page_title_panel":"","breadcrumbs_single_page":"","single_page_alignment":"","single_page_margin":"","page_structure_type":"","content_style_source":"","content_style":"","blog_post_streched_ed":"","blog_page_streched_ed":"","has_transparent_header":"","disable_transparent_header":"","vertical_spacing_source":"","content_area_spacing":"","single_post_content_background":"","single_page_content_background":"","single_post_boxed_content_spacing":"","single_page_boxed_content_spacing":"","single_post_content_boxed_radius":"","single_page_content_boxed_radius":"","disable_featured_image":"","disable_post_tags":"","disable_author_box":"","disable_posts_navigation":"","disable_comments":"","disable_related_posts":"","disable_header":"","disable_footer":"","footnotes":""},"categories":[31],"tags":[],"class_list":["post-2695","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-agents-ia-automatitzacio","rishi-post"],"_links":{"self":[{"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/posts\/2695","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/comments?post=2695"}],"version-history":[{"count":3,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/posts\/2695\/revisions"}],"predecessor-version":[{"id":2701,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/posts\/2695\/revisions\/2701"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/media\/2697"}],"wp:attachment":[{"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/media?parent=2695"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/categories?post=2695"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/elink.cat\/blog\/wp-json\/wp\/v2\/tags?post=2695"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}