Gobiernos y AI agentiva: identidad, soberanía y la urgencia de actuar

¿Qué pasa cuando los agentes de AI no solo asisten al gobierno, sino que empiezan a dirigirlo? No respondiendo preguntas o resumiendo documentos, sino iniciando procesos de adquisición, clasificando la ayuda en desastres, verificando el cumplimiento normativo, emitiendo permisos. Y en ese mundo, ¿cómo sabemos con quién —o qué— estamos tratando realmente?

En el segundo episodio de la serie sobre Deepfakes de Veriff Voices, la anfitriona Anisah Osman Britton reúne a Hubert Behaghel, director de tecnología de Veriff, y a Luukas Ilves, asesor de AI de la Oficina de Gobierno de Estonia y asesor del Ministerio de Transformación Digital de Ucrania. La conversación avanza rápidamente: desde un histórico documento de visión sobre el gobierno agentivo, pasando por los dilemas de soberanía de la dependencia de la AI, hasta los riesgos de seguridad específicos que introducen los sistemas autónomos y, en última instancia, por qué una infraestructura de identidad robusta no es una característica de este futuro, sino su precondición.

Producido por Any Other Business

El estado agentivo: qué es y por qué es importante ahora

La conversación comienza con el documento que motivó la invitación de Luukas Ilves: un trabajo de referencia sobre lo que él llama el «estado agentivo«, un modelo de gobierno reimaginado en torno a las capacidades de los agentes de AI autónomos. El proyecto intelectual, explica, consistía en desglosar lo que el gobierno realmente hace en sus tareas y flujos de trabajo componentes, para luego reflexionar detenidamente sobre cómo se transforma cada uno de ellos cuando los agentes pueden realizarlos.

La urgencia detrás de ese proyecto no es hipotética. Los gobiernos, argumenta Ilves, han pasado la última generación de cinco a diez años por detrás del sector privado en la transformación digital. El costo de ese rezago en la década de 2010 fue la fricción y la ineficiencia. El costo del mismo rezago ahora, advierte, podría ser mucho mayor, hasta incluir el colapso funcional de los servicios públicos en los países que no logran mantener el ritmo.

Pero no es solo el miedo lo que impulsa la agenda. Los factores de atracción son igualmente convincentes. Los gobiernos pueden desbloquear capacidades genuinamente transformadoras: servicios al ciudadano multimodales y proactivos; procesos de cumplimiento normativo totalmente replanteados, con empresas que generan pruebas agentivas de cumplimiento en lugar de navegar por informes burocráticos; adquisiciones —11 % del PIB mundial— rediseñadas en torno a la compra agentiva. Y en escenarios de crisis, la diferencia entre un centro de contacto que atiende a cien residentes afectados por inundaciones a la vez y los agentes que interactúan con cada persona en una zona de inundación simultáneamente, en tiempo real, clasificando y enviando apoyo sobre la marcha.

«El tiempo se agota para la adaptación del gobierno», dice Ilves, pero igualmente, «los gobiernos pueden desbloquear capacidades esenciales con agentes» que antes eran simplemente imposibles.

Estonia como modelo y sus límites

Hubert Behaghel presiona a Ilves sobre Estonia, el país que se ha convertido en el punto de referencia mundial para la transformación digital del gobierno. La historia de Estonia, aclara Ilves, no trata tanto de que el gobierno lidere al sector privado como de una genuina coevolución: un país reconstruyéndose desde cero en la década de 1990, una economía ávida de una ventaja competitiva, un sector bancario que produjo el primer banco en línea para consumidores del mundo y un gobierno que eligió digitalizarse en paralelo en lugar de esperar.

La lección que extrae de esa historia no es que el modelo de Estonia pueda replicarse por completo. Es que la coevolución fue importante, que ni el gobierno ni la economía podrían haberlo hecho solos, y que la red de alianzas e infraestructura compartida fue tan importante como cualquier elección tecnológica individual.

Ucrania, donde Ilves también trabaja, ofrece un caso diferente pero igualmente instructivo: un país que ha tenido que aprovechar la tecnología para sobrevivir bajo una invasión a gran escala, y que ahora enfrenta el desafío de la reconstrucción —planificación, permisos, adquisiciones, salud y salud mental— a una escala enorme. La única forma de que esos resultados sean alcanzables, argumenta, es con las capacidades que los agentes pueden proporcionar ahora.

La soberanía y la cuestión de la dependencia

La conversación gira hacia uno de los temas más debatidos en la política tecnológica europea: ¿qué significa construir una infraestructura de gobierno agentivo sobre modelos y plataformas que no controlas? Anisah Osman Britton lo plantea directamente: gran parte de lo que los gobiernos están construyendo se basa en grandes modelos de lenguaje de EE. UU. ¿Es la dependencia un riesgo que se puede gestionar o una trampa?

La respuesta de Ilves es característicamente precisa. El problema con la «soberanía» como marco, argumenta, es que centra la atención por completo en lo negativo —todo lo que podría salir mal— sin forzar una definición de cómo es el éxito. Antes de poder gestionar las dependencias de forma racional, necesitas saber qué resultados intentas proteger. Pregúntate cuál es tu dependencia en cada capa de la pila tecnológica, advierte, y te paralizarás o concluirás que necesitas reconstruirlo todo, un costo que ascendería a cientos de miles de millones para cualquier país de tamaño mediano a grande, por capacidades que aún podrían no ser verdaderamente autónomas.

El marco más útil: entiende tus procesos de negocio críticos, identifica qué dependencias crean vulnerabilidades genuinas en esos procesos y construye tu arquitectura con opciones de respaldo. «Enfócate en los resultados, no en las dependencias», es como lo resume, usa las mejores herramientas disponibles mientras te aseguras de no quedar atrapado sin alternativas.

Behaghel añade la dimensión del sector: la industria de la verificación de identidad, a diferencia de algunos sectores adyacentes, no tiene un jugador global dominante. Esa fragmentación crea tanto vulnerabilidad como oportunidad. La pregunta es quién reúne primero la pila tecnológica y las alianzas adecuadas.

Navegando la brecha entre lo técnico y lo no técnico

Uno de los intercambios con más matices del episodio se refiere al problema de la gestión del cambio humano dentro de las grandes organizaciones, y específicamente de los gobiernos. Ilves rebate sutilmente una suposición común: que el desafío es lograr que las personas «no técnicas» adopten herramientas diseñadas para las técnicas. Ese enfoque, argumenta, ya está obsoleto.

Un abogado, un médico o un científico social que ha pasado un día trabajando con un agente puede convertirse en un orquestador extraordinariamente capaz de flujos de trabajo complejos. Las herramientas se han vuelto lo suficientemente fluidas como para que la variable real sea la exposición, no la formación técnica. Su esposa, que trabaja en salud pública y no es tecnóloga, instaló Claude Code por sugerencia suya y, en un día, creó flujos de trabajo que triplicaron su productividad. El problema no es la capacidad, es lograr que suficientes personas superen ese primer encuentro.

El problema más difícil es hacer esto a escala, en grandes organizaciones, sin guías confiables sobre qué hace que la transición funcione. Lo que parece importar más, dice Ilves, no son las conferencias, sino la exposición práctica, idealmente con alguien que lo haya hecho antes: una especie de transmisión de conocimiento que se propaga, como él dice, como una religión.

Riesgos de seguridad en un mundo agentivo

Aquí, la conversación se vuelve más incisiva. Ilves identifica un riesgo específico que cree que aún no ha llegado a gran escala, pero que está por venir: los ataques de inyección en sistemas autónomos. En un mundo donde los agentes salen a recopilar información en nombre de los usuarios, un atacante que sabe lo que es probable que investigue el agente de un analista del ministerio de exteriores puede plantar cargas maliciosas en PDF sobre temas relevantes en la web pública. El agente los incorpora, se produce la inyección y el sistema se ve comprometido, sin que el humano esté realmente involucrado en el proceso.

«Hay muchas personas que por lo demás son muy conscientes de la seguridad y que están practicando el equivalente técnico de tener relaciones sexuales muy inseguras en este momento cuando dejan que los agentes en sus máquinas salgan y hagan cosas», dice.

Behaghel conecta esto con un cambio estructural en cómo debemos pensar sobre las interacciones en línea. Internet fue diseñado para humanos. Los bots eran la excepción, algo que debía eliminarse. Ahora, los humanos y los agentes operan en las mismas plataformas, y el desafío ya no es la eliminación, sino la verificación. Cada interacción debe ser tratada como potencialmente agentiva o humana, con la capacidad de escalar a un humano preservada en cualquier momento. Y cada interacción necesita un rastro —un registro de auditoría— porque la rendición de cuentas y la legitimidad son ahora las cuestiones de las que todo lo demás depende.

La identidad como el facilitador fundamental

Behaghel plantea el desafío directamente: en la visión de Ilves del estado agentivo, ¿no es la identidad simplemente importante, sino la base sobre la que se construye todo lo demás? Y ¿está el estado actual de la infraestructura de identidad, incluso con marcos como eIDAS 2, realmente lo suficientemente maduro como para soportar lo que se está proponiendo?

Ilves admite el punto. El problema de la identidad en un mundo agentivo, explica, tiene dos capas que aún no tienen respuestas claras.

La primera es simplemente tener identificadores confiables asociados a los humanos, credenciales verificables que no puedan ser suplantadas por deepfakes. Cita la propia experiencia de Estonia: no compromisos técnicos del sistema subyacente, sino credenciales robadas mediante phishing y utilizadas por delincuentes. La biometría, argumenta, aborda exactamente ese problema: si hay una verificación biométrica en el punto de uso, sabes que la credencial está en manos de la persona correcta. Ucrania ha tenido la biometría integrada en su pila de identidad digital desde el principio.

La segunda capa es más novedosa: cuando el modo de interacción ya no es un humano que interactúa directamente con un servicio, sino un agente que actúa en nombre de ese humano, ¿qué significa siquiera la identidad? «Ahora que hay una interacción en línea, debes poder asumir que podría ser una interacción agentiva o una interacción humana. Y debes poder escalar a un ser humano en cualquier momento», describe Behaghel.

Los mismos marcos para la delegación limitada que se aplican a los contadores o abogados humanos —la capacidad de otorgar autorizaciones específicas y limitadas en lugar de un acceso general— deben extenderse a los agentes. Estonia está explorando activamente cómo se vería eso técnicamente: se han presentado propuestas para una «residencia de agente» modelada en la e-residency, y para emitir códigos de identidad a los agentes análogos a los códigos de identidad personal que se dan a los ciudadanos.

La cuestión de si eso requiere una nueva infraestructura o puede apoyarse en los sistemas existentes no está resuelta. Tampoco la cuestión de si es una función pública o privada. Ilves tiene claro que probablemente no sea puramente pública —los estándares globales importarán y los intermediarios privados desempeñarán un papel importante—, pero es casi seguro que hay un papel público en la certificación y orientación de esos intermediarios.

Salvaguardas: la respuesta honesta es que aún no hemos llegado a ese punto

La sección final aborda directamente la cuestión de las salvaguardas: a medida que se otorga más autoridad a los agentes para actuar, ¿cómo limitamos a los que se equivocan?

Ilves es sincero en que todavía no hay una respuesta. Lo plantea en términos de dos tipos de salvaguardas: las integradas en el propio sistema agentivo y las integradas en el entorno con el que interactúa el sistema. Lo que podemos decir es que las salvaguardas deben calibrarse según el riesgo: la reversibilidad de una decisión, su impacto en las personas físicas frente a las personas jurídicas y la gravedad de los posibles efectos adversos. Él querría controles mucho más fuertes para mover dinero que para un proceso regulatorio donde un error puede corregirse. La emisión de permisos de construcción, donde un error tiene consecuencias económicas, exige salvaguardas diferentes a una decisión que afecta el bienestar médico o financiero inmediato de alguien.

Pero los principios abstractos, argumenta, solo te llevan hasta cierto punto. Las respuestas reales tienen que venir empíricamente, de implementar estos sistemas de manera controlada en procesos de menor riesgo, observando cómo funcionan realmente los controles en la práctica, aprendiendo qué sesgos cognitivos surgen en la supervisión humana e iterando. Empezar con las aplicaciones de mayor riesgo es claramente un error. Pero también lo es esperar hasta que todo esté teóricamente resuelto.

Behaghel retoma el argumento sobre el entorno: la propia Internet, la infraestructura sobre la que todo funciona, fue diseñada por académicos, no por actores comerciales, y eso es importante. Desconfía de un mundo en el que los intereses comerciales por sí solos den forma a los estándares que rigen las interacciones agentivas. Los gobiernos y las instituciones académicas, cree él, deben estar en la sala donde se establecen esos estándares, no simplemente ser consultados después del hecho.

Ilves cierra con un contrapunto que claramente le importa: a pesar de toda la legítima discusión sobre riesgos, existe un riesgo igualmente grave en el no uso. El potencial de los agentes para abordar los cuellos de botella fundamentales en la atención médica, la educación y los servicios públicos —para proporcionar apoyo cognitivo y atención personalizada que de otro modo requerirían ejércitos de profesionales— es realmente grande. «No querría volver al siglo XIX por todos los horrores del siglo XX», dice, buscando una analogía que capture lo que está en juego al no adoptar la tecnología transformadora junto con el desafío de gestionar sus riesgos.

Escucha el episodio completo

Este es el segundo episodio de la serie sobre Deepfakes de Veriff Voices. Escucha la conversación completa entre Hubert Behaghel y Luukas Ilves, y mantente atento a más episodios de la serie.