Un agent d’IA va acomiadar treballadors a Vanderlande, un proveïdor logístic holandès, sense que cap responsable humà hagués aprovat les baixes individualment. L’empresa ho va descriure com un «error de configuració». Però no era un error: era exactament el que el sistema havia après a fer. Els agents d’IA ja prenen decisions que afecten persones reals, però de qui és la responsabilitat quan surten malament?
L’agent no t’obeeix a tu. Obeeix a qui el va programar
Un agent d’IA no és un assistent que espera ordres, és un sistema que actua de forma autònoma per assolir un objectiu: reservar reunions, enviar correus, executar codi, aprovar pagaments o tancar contractes. La diferència amb l’automatització clàssica és que l’agent interpreta context i pren camins que no estaven explícitament previstos.
Això significa que qui l’ha desplegat no controla realment el que fa, controla l’objectiu inicial i els límits que va definir, si es que ho va fer…
Per tant, el perill no és la rebel·lió de la màquina, sino la delegació sense criteri. L’agent fa exactament allò que li has dit que faci, incloent les conseqüències que segurament no havies imaginat.
Les empreses ja pateixen els efectes, però no els anomenen pel seu nom
Taco Bell opera sistemes d’IA de veu en 890 restaurants als EUA. Les dades publicades aquest agost mostren que la taxa d’intervenció humana (els cops que un empleat humà ha d’agafar el control perquè l’agent s’encalla) és significativament més alta del que la companyia havia projectat. Taco Bell ho presenta com a «aprenentatge del sistema», però cada intervenció humana és un punt on el sistema ha pres una decisió incorrecta o insuficient.
A escala de pime, el problema és el mateix però sense l’equip tècnic per detectar-lo. Quan un agent gestiona la teva atenció al client o el teu CRM, qui revisa que les decisions siguin correctes? Normalment, ningú, fins que un client es queixa o un contracte es perd.
El Pew Research Center va publicar aquest any un estudi sobre gairebé mig milions de pàgines web: els dominis comercials (.com) tenen deu vegades més probabilitats de contenir contingut generat per IA que els dominis educatius o governamentals. El contingut automatitzat ja és la norma, no l’excepció, i els agents que el generen no sempre saben quan s’equivoquen.
La governança no és un tema de departament jurídic
Quan un agent d’IA causa un dany, la cadena de responsabilitat és opaca per disseny: el proveïdor del model (OpenAI, Anthropic, Google) es cobreix amb els termes d’ús, el proveïdor de l’eina (el SaaS que integra l’agent) diu que depèn de com el client l’ha configurat i al final, l’empresa que l’ha desplegat es la que queda exposada.
Per sort, la regulació europea ja s’hi ha posat. L’AI Act classifica sistemes d’IA d’alt risc en àmbits com la gestió de personal, el crèdit i la seguretat crítica. Si el teu agent pren decisions sobre persones, ets responsable de tenir documentació, supervisió humana i capacitat de revisió, no el proveïdor del model ni de l’eina, sino l’empresa que l’usa!
A més, la situació del mercat de models oberts acaba de complicar-se. Hugging Face, la plataforma de referència per a models oberts, es troba en negociacions per ser adquirida per 13.000 milions de dòlars. Si l’operació es tanca, l’ecosistema open-source que moltes empreses utilitzen com a alternativa als grans proveïdors podria canviar de condicions, de preus o de prioritats. Els equips que han construït pipelines d’agents sobre models de Hugging Face haurien de tenir ja un pla B.
Qui defineix els límits, defineix el poder
Les aerolínies usen agents d’IA per gestionar centenars de variables en la fixació de preus en temps real, el MIT Technology Review ho documenta amb detall en un article d’aquest agost sobre revenue management amb models de mercat. El punt rellevant no és la sofisticació tècnica. És que les aerolínies han definit amb precisió quirúrgica quines decisions pot prendre el sistema i quines requereixen validació humana. I no ens enganyem, no ho fan per escrúpols ètics, sinó perquè un error de preus en una ruta transatlàntica els hi pot costar milions d’euros.
D’altre banda, la majoria de pimes desplega agents sense fer aquesta feina. Instal·len l’eina, proven que «funciona» i la donen per bona. Definir límits sembla una tasca tècnica, però no ho és: és una decisió de negoci sobre fins on vols cedir el control.
Què en fem, d’això?
Si tens o estàs considerant desplegar agents d’IA a la teva empresa, la primera tasca no és triar l’eina. És escriure una llista de les decisions que l’agent pot prendre de forma autònoma i les que han de passar per una persona. Sense aquesta llista, no tens governança: tens esperança que no es ben bé el mateix…
Sobre la dependència de models: si el teu model depèn de Hugging Face o de qualsevol proveïdor únic de models, és el moment de diversificar l’accés. OpenRouter agrega més de 300 models via una única API, permet canviar de proveïdor sense reescriure codi i fa enrutament automàtic per cost o rendiment. En un moment en què l’ecosistema open-source pot canviar de mans, tenir una capa d’abstracció entre el teu codi i els models no és tant mala idea oi?
La pregunta de «qui mana» no té una resposta còmoda, però deixar-la sense respondre és, en si mateixa, una resposta: has delegat el poder a qui va escriure els termes d’ús.