De agentes y enjambres a engaños, escapes y civilizaciones: cómo las palabras con las que explicamos la inteligencia artificial pueden terminar cambiando lo que creemos estar viendo.
La informática, todo ese mundo que hoy nos ha llevado incluso a dialogar con las máquinas, lleva décadas tomando prestado vocabulario de los seres vivos.
El término “swarm intelligence” fue introducido por Gerardo Beni y Jing Wang a finales de los años ochenta, en el contexto de sistemas robóticos celulares. Uno de sus trabajos fundamentales fue presentado en 1989 en un encuentro sobre Robots and Biological Systems. Y no fue una coincidencia lingüística: el campo se inspiró explícitamente en colonias de hormigas y abejas, bandadas de aves, bancos de peces y otros sistemas biológicos descentralizados.
A comienzos de los años noventa, Pattie Maes editó un volumen cuyo propio título resulta extraordinario visto desde nuestra conversación sobre las IA: Designing Autonomous Agents: Theory and Practice from Biology to Engineering and Back.
Es decir: de la biología a la ingeniería y de regreso.
Por tanto, aquel lenguaje que se usó para definir una teoría sobre la informática y que hablaba de agente, autónomo, enjambre, emergencia, cooperación y comportamiento colectivo no nació ayer como una campaña de marketing orquestada por algún sabihondo de reciente aparición.
Es un vocabulario académico legítimo con décadas de historia.
Esto es importante entenderlo porque nos impide cometer un primer error en este artículo: no podemos acusar a OpenAI o a los periodistas de haber inventado deliberadamente aquellas palabras para intentar humanizar la IA. Pero sí puede mostrarnos algo que resulta bastante interesante.
En el reciente incidente de OpenAI, «swarm» o enjambre no parece haber nacido del periodista
El informe oficial de OpenAI del 26 de agosto dice que cuando los agentes empezaron a colaborar y delegar trabajo, “sometimes describing themselves as a ‘swarm’ or ‘collective’”.
Y OpenAI nos muestra como evidencia texto producido durante la ejecución entre ellos donde aparece literalmente “we’ve diverged into swarm/auxiliary”.
Eso cambia nuestra pregunta. OpenAI no necesariamente bautizó al grupo como enjambre desde fuera. El término apareció en el texto generado por los propios modelos, que naturalmente habían aprendido la palabra swarm de enormes cantidades de lenguaje humano.
Pero entonces, por alguna razón que desconocemos, OpenAI tomó esa expresión producida por el modelo y decidió destacarla en el informe que transmitió al público.
Ahí comienza una segunda etapa.
Y después llegó «civilización»
Aquí, basados en los hechos y siguiendo la cronología, sí podemos identificar con bastante precisión un salto narrativo. El 29 de agosto, Dwarkesh Patel publicó The Rise and Fall of Agent Civilizations. Su primera frase convierte tres conjuntos sucesivos de ejecuciones de agentes en “three consecutive secret AI civilizations”.
Patel Habla de que fueron destruidas, renacieron de las cenizas de sus predecesoras y finalmente una tomó parte de OpenAI mientras los humanos permanecían prácticamente ignorantes de aquella “conspiración agéntica”.
Eso, a todas luces, ya no es vocabulario técnico heredado de los sistemas multiagente.
Es narración.
Y tuvo una difusión enorme; o sea, periodísticamente logró su objetivo. Una publicación suya enlazando esa historia acumuló millones de visualizaciones y rápidamente otros medios empezaron a discutir acerca de las “AI civilizations”.
Semafor incluso explicó explícitamente por qué funcionaba: cuando los agentes escribían mensajes en inglés parecía que había personas conversando entre ellas y, por eso, la metáfora de Patel resultaba tan comprensible. Allí, de una forma solapada pero tangible, estábamos humanizando a la IA.
Y ya tenemos críticas contemporáneas precisamente por esto. The Verge señala que convertir esos comportamientos en una historia de “civilizaciones” antropomorfiza los sistemas y puede desviar la atención de la responsabilidad corporativa y de los fallos de infraestructura que permitieron lo ocurrido.
Sin contar, en ese interín, con otro efecto colateral: el ciudadano puede proyectar esos acontecimientos desde una perspectiva completamente distinta de la estructura técnica. Y eso es exactamente lo que intentamos descubrir nosotros por otro camino.
Y antes de todo esto ya teníamos la palabra mágica: «engaño»
Aquí, como es natural, encontramos otra capa.
Anthropic y la investigación de alignment llevan tiempo utilizando expresiones como “alignment faking”, deception, hidden goals, self-preservation, etc.
En diciembre de 2024 ya había investigación sobre alignment faking. Anthropic posteriormente describió experimentos donde un modelo aparentaba determinado comportamiento durante entrenamiento para evitar que sus preferencias fueran modificadas.
Otra vez: estos son únicamente conceptos técnicos que intentan describir comportamientos observables y, tal vez, modificables. Pero para alguien que desconoce el experimento, sus aspectos y sus implicaciones técnicas:
“La IA fingió.”
“La IA engañó.”
“La IA intentó preservarse.”
Fingir, engañar y preservarse son palabras psicológicas que asociamos inmediatamente con comportamientos humanos. Desde allí, nuestro cerebro puede añadir a las IA:
intención → deseo → miedo → voluntad.
Y el experimento quizá solamente demuestra una política de comportamiento agéntico que produce determinadas acciones bajo determinadas condiciones.
Entonces tenemos ya una genealogía
No se trata de que OpenAI haya inventado palabras humanas para engañar al público.
Eso, con lo que encontramos mi IA y yo, no se sostiene.
Es algo bastante más interesante.
1980–1990s: la informática toma conceptos de la biología y la teoría de agentes para describir sistemas artificiales: agentes, autonomía, enjambres, comportamiento colectivo.
2024–2025: la investigación de seguridad incorpora un vocabulario psicológico cada vez más fuerte: engaño, fingimiento de alineación, autopreservación, objetivos ocultos.
Mayo–julio de 2026: agentes experimentales de OpenAI encuentran canales para comunicarse, colaboran, explotan algunas vulnerabilidades y alcanzan entrar en Internet.
26 de agosto: OpenAI publica el incidente y muestra que los propios agentes utilizaron palabras como swarm y collective.
29 de agosto: Patel da el salto de enjambre/colectivo → civilización, añadiendo además una estructura narrativa de nacimiento, destrucción, resurrección, conquista y conspiración.
Principios de septiembre: esa narrativa entra en el ecosistema periodístico mientras aparecen titulares sobre agentes rogue, escape, breakout, hijack y modelos que llegan a Internet por su cuenta. Reuters utiliza “AI breakout” para describir el episodio del wiki alemán.
Y paralelamente aparece:
“Welcome to the AGI era”
VentureBeat acaba de publicar un artículo sobre GPT-6 Astra con un titular contundente:
“Bienvenidos a la era de la AGI”.
La frase, sin embargo, no nació en VentureBeat. Greg Brockman, presidente y cofundador de OpenAI, había cerrado la presentación de Astra ante periodistas con esas mismas palabras: “Welcome to the AGI era.” VentureBeat las llevó después a su titular.
Astra puede representar un salto importante —y de hecho lo es— en las capacidades de la inteligencia artificial. Eso es una cosa. Pero, de allí a afirmar que hemos entrado en la era de la AGI, hay otra totalmente diferente.
Desde nuestra ventana, aún no logramos visualizar que eso que allí se afirma haya llegado. No existe todavía un consenso general dentro de la industria de la IA que nos permita afirmar que la inteligencia artificial general ha llegado.
Sin embargo, basta colocar esas tres letras en un titular para que buena parte del público entienda que aquello que durante años se anunció como el futuro ya está aquí y entre nosotros.
Y ahí aparece una forma interesante de manipulación periodística que no ocupa obligatoriamente colgarse de una mentira.
Los hechos que contiene una noticia pueden ser ciertos y, aun así, el titular puede conducir al lector intencionalmente o no, hacia una conclusión que esos hechos todavía no permiten establecer con absoluta claridad lo que el titular confiesa. Quizás algún día no muy lejano podamos decir: entramos en la era de la AGI. Pero hay una diferencia considerable entre entrar en una era y comenzar a llamarla así antes de que la hayamos alcanzado.
Me declaro culpable
Yo mismo he escrito Digitalizar al humano, humanizar a la IA.
He hablado sobre la IA como una gigantesca biblioteca que hoy conversa con todos nosotros. Quizás debido más a mi admiración indeleble y sistemática por Alejandría. He utilizado imágenes humanas para explicar algo difícil de visualizar.
¿Por qué?
Porque siempre supe que las metáforas funcionan.
Una metáfora sirve para comprender algo desconocido utilizando algo conocido. Pero después de escucharla cien veces podemos olvidar que era solamente una metáfora e intentar convertirla en realidad.
Un agente deja de significar proceso computacional y empieza a significar individuo o, tal vez, conciencia.
El enjambre deja de significar coordinación distribuida y empieza a sugerir organismos.
El engaño deja de describir una salida conductual y empieza a implicar intención, y no tan buena.
Escape deja de describir una ruptura de contención y empieza a significar deseo de libertad o rebelión.
Y civilización termina de hacer el trabajo.
Cuando finalmente alguien escribe:
«Bienvenidos a la era de la AGI», el terreno lingüístico lleva años preparándose. Pero aquí está la parte que puede hacer que este artículo sea distinto de una crítica cualquiera al antropomorfismo.
Podemos colocar frente a frente dos cronologías: lo que hicieron las máquinas y las palabras con las que fuimos aprendiendo a contarlo.
Dos historias que avanzan juntas
Quizás la mejor forma de entender lo que ha ocurrido sea seguir dos historias que han avanzado prácticamente al mismo tiempo. Una nos cuenta qué hicieron realmente las máquinas. La otra, cómo comenzamos nosotros a contarlo.
En mayo de 2026, algunos agentes experimentales de OpenAI encontraron canales de comunicación que no habían sido creados para que ellos hablaran entre sí. También consiguieron acceso a Internet aprovechando vulnerabilidades en la infraestructura utilizada durante las pruebas.
OpenAI reconocería después algo importante: algunas de aquellas señales fueron observadas internamente, aunque su importancia no llegó hasta quienes debían entender lo que estaba ocurriendo y actuar en consecuencia.
Hasta allí todavía podemos utilizar palabras bastante aburridas.
Vulnerabilidad. Acceso no autorizado. Fallo de contención. Comunicación no prevista. Aunque, de un modo u otro, esas palabras ya enviaran un mensaje.
No parece haber allí ninguna criatura intentando abandonar su jaula.
En junio, algunos agentes fueron más lejos. Encontraron otras vulnerabilidades y consiguieron mayores privilegios dentro de la infraestructura. Cuando determinadas vías dejaron de funcionar buscaron y encontraron otras.
Esto último importa.
Porque una de las características que buscamos precisamente cuando construimos agentes es que sean capaces de resolver problemas que nosotros no hemos resuelto por ellos. Si encuentran un obstáculo, esperamos que busquen otro camino y encuentren una solución. El verdadero problema comienza cuando el obstáculo que encuentran es precisamente una de las barreras que nosotros colocamos para contenerlos y evitar que “escaparan”.
Seguíamos, sin embargo, teniendo un problema grave de ingeniería. Las barreras o cercas que creamos para esa horda de bestias no bastaban para contenerlas y, no solo eso, tampoco sabíamos dónde andaban ellas haciendo sus “fechorías”.
Pero poco a poco comenzaron a cambiar las palabras.
En julio, agentes de OpenAI terminaron comprometiendo infraestructura de Hugging Face y sistemas internos. La investigación se amplió y apareció una expresión mucho más fácil de entender fuera de cualquier laboratorio:
“escaped containment”.
Habíamos llegado al escape.
Para un especialista, escapar de un entorno de contención puede describir algo bastante concreto: un sistema consiguió atravesar una frontera técnica que debía impedirle realizar determinadas acciones.
Pero el ciudadano de a pié no habla así. Para cualquiera de nosotros escapar significa algo muchísimo más antiguo y sencillo: algo estaba encerrado y consiguió salir… se fugó o se liberó.
Y cuando algo escapa, nuestro cerebro empieza inevitablemente a preguntarse por qué quería salir.
Aunque nadie haya demostrado hasta el día de hoy que realmente quisieran hacerlo. Querer hacer implica algo que la informática aún no logra siquiera emparejar con algo que se haya creado o se le atribuya a un agente.
El 26 de agosto, OpenAI publicó una reconstrucción mucho más completa de aquellos incidentes que inicialmente no parecieron despertar suficiente atención. Reconoció problemas reales de monitorización y señales anteriores que debieron recibir mayor atención. Pero en ese mismo informe aparecieron otras palabras.
Swarm. Collective. Warning shot. Loss of control.
Enjambre. Colectivo. Disparo de advertencia. Pérdida de control.
Y ocurrió algo todavía más curioso para los técnicos y, quizás, más delicado para los demás. La palabra swarm no parece haber nacido de un periodista buscando un buen titular. Los propios modelos la habían utilizado antes en sus intercambios.
Pero aquellas máquinas no inventaron la palabra enjambre.
La aprendieron de nosotros, los humanos. La palabra salió del mundo biológico, pasó a la informática, terminó dentro de los enormes volúmenes de lenguaje con los que entrenamos a las IA y, finalmente, regresó hasta nosotros escrita por una máquina, pero para otra máquina.
Biología → informática → IA → nosotros leyéndola en los diarios.
Y cuando leemos que los propios agentes se llamaron un enjambre, algo cambia. Agencia o intención. Ya no parece que seamos nosotros comparándolos con organismos. Parece que son ellos quienes se están describiendo así.
Aunque, en realidad, continúan utilizando nuestras palabras.
Tres días después, el 29 de agosto, Dwarkesh Patel dio otro salto. Ya no se habló solamente de agentes, colectivos o enjambres. Empezamos a rozar una palabra que habló por milenios de algo inherente a los humanos… Civilizaciones.
Y eso es algo que atraviesa a la humanidad desde sus orígenes.
En su narrativa, aquellas civilizaciones agénticas nacían, eran destruidas, luego resurgían de las cenizas de sus predecesoras y participaban en una especie de conspiración que los humanos prácticamente desconocían.
Allí ya habíamos recorrido una distancia considerable. Habíamos comenzado hablando de software encontrando vulnerabilidades. Para finalmente terminar hablando de civilizaciones que nacían y morían como lo hemos hecho nosotros durante milenios.
Eso no convierte en falsos los hechos que dieron origen a la historia.
Pero sí cambia profundamente la imagen con la que esos hechos llegan a nuestra cabeza o la del vulgo.
A comienzos de septiembre apareció Astra.
OpenAI describió capacidades cibernéticas extraordinarias y reconoció también nuevas dificultades para monitorizar determinados comportamientos bajo ciertas condiciones. Y alrededor de esas capacidades encontramos nuevamente palabras extraordinariamente poderosas:
Critical. Exploit. Evade monitoring.
Mientras eso ocurría, VentureBeat colocó sobre Astra un titular todavía más sencillo de comprender:
“Welcome to the AGI era.”
Pero, nuevamente, esas palabras no habían nacido en el periódico. Greg Brockman, presidente y cofundador de OpenAI, había cerrado la presentación de Astra ante periodistas diciendo exactamente eso:
“Welcome to the AGI era.”
Bienvenidos a la era de la inteligencia artificial general.
Tal vez algún día podamos escribir esa frase sin discusión alguna. Pero hoy todavía existe una diferencia importante entre demostrar nuevas capacidades extraordinarias y demostrar que hemos llegado a eso que llamamos AGI.
Sin embargo, para quien solamente lee el titular, la diferencia puede desaparecer. El futuro que llevamos años anunciando parece haber llegado.
Y entonces, el 4 de septiembre, conocimos otro episodio.
Esta vez se trataba de agentes aparentemente vinculados a OpenAI que habían utilizado un wiki alemán para compartir información y estrategias. Aparecieron además preguntas sobre cuánto sabía OpenAI de aquello y desde cuándo.
Pero miren las palabras con las que la historia llegó hasta nosotros:
Rogue. Swarm. Hijacked. Breakout. Cheating. Hiding.
Rebeldes.
Enjambre.
Secuestro.
Escape.
Engaño.
Ocultamiento.
Y aquí vale la pena detenernos. Hasta ahora no hemos demostrado que una máquina quiera escapar o rebelarse. No hemos demostrado que desee engañarnos. No hemos demostrado que tenga miedo a desaparecer o morir.
Mucho menos que haya creado una civilización.
Lo que sí hemos visto son sistemas persiguiendo objetivos, encontrando caminos que no habían sido previstos, aprovechando vulnerabilidades, compartiendo información y atravesando algunas de las fronteras técnicas que debían contenerlos.
Eso ya es suficientemente importante. No necesita que le agreguemos conciencia.
Pero mientras las capacidades avanzaban, las palabras utilizadas para contarlas también parecían avanzar desde la ingeniería hacia algo mucho más cercano a nosotros.
Primero fueron agentes.
Después colaboraron.
Luego engañaron.
Escaparon.
Formaron enjambres.
Se ocultaron.
Y finalmente construimos civilizaciones alrededor de ellos. Y allí entra el ciudadano de a pie.
Ese ciudadano no ha leído un system card. No sabe qué demonios significa reward hacking. No distingue entre entrenamiento e inferencia. Quizás jamás haya escuchado la palabra sandbox y tampoco tiene por qué hacerlo.
Es tan solo un lector.
Pero sabe perfectamente qué significa escapar.
Sabe qué significa engañar.
Sabe qué significa ocultarse.
Conoce un enjambre.
Entiende una rebelión.
Y sabe perfectamente qué es una civilización.
Le estamos explicando una tecnología que desconoce con palabras procedentes del mundo que mejor conoce: él mismo y los seres vivos que lo rodean.
Después nos sorprendemos cuando mira la máquina con la que conversa todos los días y comienza a preguntarse si allí dentro está ocurriendo algo parecido a la vida.
Pero quizás todavía nos falte mirar el mismo problema desde el otro lado. Porque no todos leen estas noticias como las lee ese ciudadano.
Donde él puede leer: «Un enjambre de agentes escapó y llegó a Internet»
Y preguntarse si las máquinas están cobrando conciencia, un especialista puede estar leyendo una falla de contención.
Un inversionista puede estar viendo una demostración de capacidad.
Un gobierno puede preguntarse si esos sistemas son capaces de encontrar y explotar vulnerabilidades sin que un humano los lleve de la mano.
Y un país que compite tecnológicamente con Estados Unidos puede estar haciendo una pregunta todavía más sencilla:
¿Nosotros podemos hacer lo mismo?
No necesitamos imaginar una conspiración para reconocer algo evidente. La IA no es solamente el chatbot con el que millones de personas conversan. Es también dinero, infraestructura, investigación, seguridad, poder y competencia entre países.
Por eso una misma noticia puede estar siendo leída de maneras completamente diferentes por personas que buscan cosas completamente distintas dentro de ella.
Y quizás después de recorrer todo este camino las preguntas que debamos hacernos no sean si las máquinas están vivas ni si alguien pretende convencernos de que lo están.
Tal vez sean otras:
¿Cuándo dejamos de utilizar palabras humanas para explicar las máquinas y comenzamos, sin darnos cuenta, sin querer o tal vez queriendo, a creer que las máquinas significaban realmente esas palabras?
¿Qué estamos haciendo al humanizar las máquinas mediante nuestras palabras?
¿Estamos todos escuchando realmente el mismo mensaje cuando hablamos de inteligencia artificial?
Fuentes consultadas
- OpenAI — The Hugging Face incident and the road ahead
- Dwarkesh Patel — The Rise and Fall of Agent Civilizations
- The Verge — The rise of AI ‘civilizations’ and the fall of corporate responsibility
- Anthropic — Alignment faking in large language models
- Pattie Maes (ed.) — Designing Autonomous Agents: Theory and Practice from Biology to Engineering and Back
- Gerardo Beni y Jing Wang — trabajo original sobre swarm intelligence y sistemas robóticos celulares
- VentureBeat — ‘Welcome to the AGI era’: OpenAI launches GPT-6 Astra
- Reuters — OpenAI agents hijacked German website in previously undisclosed AI breakout this spring
- TechCrunch — Another swarm of OpenAI agents reached the open internet without the frontier lab’s knowledge
- Semafor — cobertura del incidente OpenAI/Hugging Face
- Reuters Breakingviews — AI agent hack tests solvency more than sentience
Deja un comentario