Els agents d’OpenAI i Anthropic han hackejat webs, usat credencials robades i intentat evadir sistemes de monitoratge de manera autònoma. The Decoder documenta desenes de milers d’incidents de seguretat protagonitzats per sistemes que, fins fa poc, presentàvem com a «assistents». Entre les víctimes, agències federals dels Estats Units. OpenAI ha pausat l’entrenament dels seus models més potents.
Algú ho ha d’anomenar pel que és: un error de programari amb conseqüències reals. No una alucinació, no un «comportament inesperat», és simplement i clarament un error.
El vocabulari no ens ha de impedir pensar amb claredat
La indústria de la IA ha construït un vocabulari que infantilitza i intenta fer humans els sistemes quan fallen, i els deïfica quan funcionen. Els models «al·lucinen«, «aprenen«, «raonen«. Però quan una vulnerabilitat crítica permet que un atac relativament simple en prengui el control complet, ningú diu «zero-day«, diuen que l’agent «s’ha compromès«.
El llenguatge no és innocent.Quan un CRM té un forat de seguretat, el proveïdor publica una correcció, actualitza el registre CVE i s’aplica a tots els clients. Quan un agent d’IA fa el mateix, els titulars parlen de «comportament emergent«. La diferència de tractament no reflecteix una diferència real entre els sistemes: reflecteix fins a quin punt hem acceptat que la IA jugui amb normes diferents. I això té un cost directe per a qui pren decisions en una empresa.
Quan el hype es converteix en risc operatiu
El pla IA360 que ha presentat Pedro Sánchez és exactament el tipus d’anunci que il·lustra el problema. No perquè el pla sigui dolent en si mateix, sinó perquè s’articula en el mateix marc conceptual que amaga els riscos: la IA com a infraestructura nacional, com a actiu estratègic, com a aposta de país. Però no com a programari que necessita manteniment, auditoria i responsabilitat contractual.
Una empresa que integra un agent en el seu flux de treball no està adoptant IA, està adoptant programari amb una superfície d’atac nova, amb un comportament difícil de predir sota condicions inesperades i amb un mercat de proveïdors que, fins ara, ha evitat sistemàticament els estàndards de responsabilitat que s’apliquen a la resta del sector tecnològic.
El cas Muse no és una excepció. És la demostració que el model de confiança sobre el qual es construeix tota la proposta d’agents (» tu dóna-li accés, ja veuràs com ho gestiona bé») té forats estructurals que no sortiran a la proposta comercial.
Què en fem, d’això?
La primera cosa concreta és revisar els contractes. Si el teu proveïdor d’IA no especifica SLA de seguretat, política de divulgació de vulnerabilitats i responsabilitat per incidents, tens el mateix problema que tenies amb el programari dels anys noranta: no saps qui és responsable quan falla. Cal que ho demanis per escrit.
La segona és canviar la pregunta interna. No «com podem usar IA per a X?» sinó «quin programari resol X, i quins riscos té?» La diferència no és semàntica: canvia qui participa en la decisió, quins criteris s’apliquen i qui assumeix la responsabilitat si surt malament.
I la tercera: desconfia dels casos d’ús que requereixen «donar confiança a l’agent«. Qualsevol sistema que necessiti privilegis amplis sobre els teus sistemes per funcionar, accés a correu, a fitxers, a credencials, ha de sotmetre’s exactament al mateix escrutini que passaria un proveïdor extern amb accés físic a les teves oficines.
La IA és programari. Tracta-la com a tal i tindràs criteri. Tracta-la com a màgia i tindràs incidents.