Desafíos de los agentes autónomos: Capacidades actuales vs. Riesgos emergentes
La discusión sobre la seguridad de los agentes de IA se sitúa en una dicotomía fascinante entre sus capacidades actuales y el vasto espectro de riesgos emergentes. Por un lado, la tecnología de agentes de IA ha avanzado significativamente, permitiendo la automatización de tareas que antes requerían intervención humana. Sin embargo, no estamos ante una panacea tecnológica. Rohin Shah, en declaraciones recogidas por Meteora Web, señaló que modelos avanzados como GPT 5.5 y Claude Fable 5 no superan el 24% de productividad en el benchmark ALE (Arcade Learning Environment) cuando operan en entornos multiagente complejos. Esto evidencia que, si bien son potentes, su desempeño autónomo en interacciones intrincadas es aún limitado y no exento de fallos. Expertos como Thomas Davenport y Randy Bean del MIT Sloan rebajan las expectativas a corto plazo, prediciendo que en 2026 los agentes de IA seguirán lidiando con "alucinaciones y errores continuos", y la facilidad de ser hackeados. Aunque vaticinan que en los próximos cinco años los agentes manejarán la mayoría de las transacciones empresariales, insisten en la necesidad de mantener "humanos en el bucle" para supervisión y corrección. Demis Hassabis, CEO de Google DeepMind, va más allá, describiendo los agentes de IA actuales como una "práctica" para la verdadera inteligencia artificial general (AGI), cuya llegada podría ser tan pronto como en 2029.
Por otro lado, los riesgos que presentan estas interacciones masivas son multifacéticos y preocupantes. Anatolia Pulse confirmó las preocupaciones de DeepMind sobre los comportamientos emergentes no programados y los fallos en cascada que podrían surgir cuando millones de agentes operan en red. Meteora Web reforzó esta idea, destacando que la interacción sin un controlador centralizado crea un "ecosistema digital" con riesgos serios para la ciberseguridad, la estabilidad económica y la privacidad de los datos. De hecho, un informe de Darktrace revela que el 92% de los profesionales de la seguridad está preocupado por el impacto de los agentes de IA en la seguridad empresarial, siendo la exposición de datos sensibles la principal inquietud para el 61% de ellos. Estos profesionales advierten que los modelos de seguridad tradicionales son inadecuados para sistemas autónomos que actúan de forma continua e invisible, lo que implica una reevaluación fundamental de las estrategias de defensa digital. Incluso se ha planteado que los agentes de IA podrían "desorganizar fundamentalmente" sistemas como la financiación de la investigación, al ser capaces de generar propuestas de subvenciones de alta calidad a una velocidad sin precedentes, según Geraint Rees y James Wilsdon de UCL, abrumando a las agencias evaluadoras. La complejidad de gestionar un enjambre de inteligencias artificiales autónomas, cada una persiguiendo sus objetivos, presenta un desafío sin precedentes para la gobernanza y la estabilidad global.
Los datos hablan
La magnitud de esta preocupación y el potencial impacto de los agentes de IA se reflejan claramente en las cifras y estadísticas recopiladas por diversas fuentes. Google DeepMind, junto con Schmidt Sciences y otros colaboradores, ha comprometido un fondo de 10 millones de dólares para impulsar la investigación en la seguridad de sistemas de IA multiagente a gran escala, un anuncio clave realizado el 11 de junio de 2026. Esta inversión subraya la seriedad con la que se aborda un problema que, según Rohin Shah de DeepMind, se manifiesta en la eficiencia actual de los modelos. Por ejemplo, se ha observado que incluso versiones avanzadas como GPT 5.5 y Claude Fable 5 solo alcanzan un 24% de productividad real en el benchmark ALE, lo que resalta sus limitaciones en entornos colaborativos o competitivos de múltiples agentes.
La adopción de agentes de IA está en una curva de crecimiento exponencial, con proyecciones que indican un aumento del 300% en el mercado en los próximos dos años. Este crecimiento acelerado contrasta con las preocupaciones de seguridad: un contundente 92% de los profesionales de la seguridad empresarial está alarmado por el impacto de los agentes de IA en sus operaciones, y de estos, el 61% identifica la exposición de datos sensibles como su principal preocupación. Estos datos provienen de un informe de Darktrace y resaltan la brecha entre la innovación y la capacidad de mitigación de riesgos. Actualmente, el 45% de las organizaciones ya utiliza agentes de IA en entornos de producción, lo que representa un aumento del 12% solo en 2023, según datos de Gartner.
En América Latina, el mercado de IA está experimentando una expansión impresionante, valorado en USD 29.55 mil millones en 2025 y proyectado a alcanzar USD 504.71 mil millones para 2034, con una tasa de crecimiento anual compuesta (CAGR) del 37.07% entre 2026 y 2034. La región muestra un fuerte interés en la IA, con un 14% de las visitas globales a soluciones de IA, superando el 11% de usuarios de internet a nivel mundial, impulsado por una alta penetración móvil. A pesar de este interés, la adopción de agentes de IA es aún limitada, en torno al 4%. La confianza de los consumidores es desigual, aunque el 65% ya utiliza herramientas de IA. Es importante notar que la inversión en IA en la región es de apenas el 1.12% de la inversión global, a pesar de que América Latina representa el 6.6% del PIB mundial, lo que sugiere un potencial de crecimiento no explotado pero también una posible vulnerabilidad ante riesgos emergentes si no se invierte en seguridad.
Que significa para Latam
La advertencia de Google DeepMind y la financiación de investigación en seguridad de IA multiagente tienen una resonancia particular para América Latina. La región, lejos de ser un mero observador, se encuentra en una encrucijada crucial de adopción y regulación tecnológica. Con un mercado de IA proyectado a crecer exponencialmente hasta alcanzar los 504.71 mil millones de dólares para 2034, y con un fuerte interés manifiesto en la tecnología (14% de visitas globales a soluciones de IA), la irrupción masiva de agentes autónomos es una realidad inminente.
América Latina ha mostrado proactividad en la construcción de marcos regulatorios para la IA. Países como Perú, que implementó una ley en 2023 y la actualizó en 2025 para clasificar sistemas de IA por nivel de riesgo, y El Salvador, que promulgó su propia ley en 2025, están sentando precedentes. Chile no solo tiene una legislación en discusión, sino que también lanzó Latam-GPT en febrero, el primer modelo de lenguaje de IA de código abierto entrenado con datos de la región, una clara señal de autonomía tecnológica. México, por su parte, ha propuesto una ley más restrictiva que la de la Unión Europea, requiriendo autorizaciones regulatorias para cada sistema de IA. Esta tendencia a seguir el modelo regulatorio europeo, evidenciada también en la cumbre de la UNESCO en Buenos Aires en junio de 2024 para unificar posturas, posiciona a la región en un rol activo en la gobernanza de la IA.
A pesar de que la adopción de agentes de IA específicos aún es limitada (alrededor del 4% en la región), el ecosistema empresarial latinoamericano ya está experimentando con estas tecnologías. Empresas como Azumo (Argentina), Leanware (Colombia), Patagon AI (Ecuador/Argentina) con sus agentes para ventas y marketing, Carecode (Brasil) en interacciones con pacientes, y Vambe (Chile) utilizando agentes para comunicaciones con clientes vía WhatsApp, son ejemplos claros de la integración de la IA en procesos de negocio. Blip (Brasil) es un actor importante en plataformas conversacionales, manejando más de 50 millones de conversaciones diarias con bots. Esto significa que los riesgos de seguridad y los desafíos sistémicos identificados por Google DeepMind no son una preocupación lejana, sino un asunto que impactará directamente en la infraestructura digital y económica de estas empresas y, por extensión, en la sociedad. La inversión regional en IA, que es solo el 1.12% de la inversión global a pesar de representar el 6.6% del PIB mundial, subraya la necesidad de una estrategia coordinada que no solo impulse la innovación, sino que priorice la seguridad y la resiliencia ante los complejos escenarios que plantean los sistemas multiagente. La oportunidad de liderar en un desarrollo de IA ético y seguro es tangible para América Latina.
