El harness es el argumento: por qué la fiabilidad de los agentes de código se decide fuera del modelo.

Por qué la fiabilidad de los agentes de código depende del entorno determinista que envuelve al modelo, no del modelo fundacional en sí.

Creemos que la próxima frontera de rendimiento en agentes de código no está en el modelo fundacional, sino en la ingeniería del harness —el entorno determinista que envuelve, restringe y entrega información al modelo—. La evidencia reciente converge en un patrón que IDO considera estructural: cada vez que un componente de decisión se extrae del LLM y se traslada a código verificable, la fiabilidad del sistema salta un orden de magnitud. No se trata de un hallazgo aislado; se repite en control de restricciones, gestión de contexto, ejecución de SOPs, memoria y evaluación.

El bucle cerrado como demostración empírica del principio

Zhou et al. ofrecen el caso más limpio. Al comparar un único prompt contra una arquitectura donde código determinista toma todas las decisiones de aceptación y rechaza cualquier edición que elimine entidades clave, el cumplimiento de restricciones numéricas pasó de un rango de 21,1–31,6 % (single-shot) a 92,5–98,8 % (bucle cerrado), alcanzando el objetivo en promedio en dos rondas de edición [3]. El modelo sigue haciendo lo que mejor hace —generar y editar texto—, pero la autoridad sobre qué se acepta nunca es suya.

Dos rondas de edición. No diez, no veinte. La mayor parte de la ganancia se captura con una inversión computacional modesta.

92,5 %–98,8 %Cumplimiento de restricciones con bucle cerrado vs. 21,1 %–31,6 % en single-shot

10,92×

Multiplicador de probabilidad de fallo con contexto retenido ≤25 %

[2]

>95 %

Reducción en coste de tokens de generación, agente especialista vs. generalistas

[4]

92,5 %–98,8 %

Cumplimiento de restricciones con bucle cerrado vs. 21,1 %–31,6 % en single-shot

[3]

Contexto, protocolo y el coste de dejar que el agente decida qué olvidar

Gaggar documenta un gradiente revelador en gestión de contexto para flujos multi-paso. Las estrategias convencionales —recencia, relevancia, sumarización— consiguen ahorro de tokens (~60 %) pero degradan la tasa de éxito de tareas a 66,6–77,3 % y la adherencia al protocolo a 85,5–88,6 %. El punto de inflexión llega cuando el trimming se hace consciente del protocolo (92,2 % de éxito) y sobre todo cuando guardianes de presupuesto adaptativo gobiernan dinámicamente cuánto contexto retener: 96,0 % de éxito, 96,3 % de adherencia al protocolo, solo 1,0 % de fallos en cascada [2]. La lectura que hacemos es directa: la decisión de qué conservar en contexto es demasiado consequential para delegarla a heurísticas agnósticas de dominio. El harness necesita conocer la estructura del flujo de trabajo.

Un dato particularmente elocuente: presupuestos de contexto retenido del 25 % o menos multiplicaron las probabilidades de fallo por 10,92 veces [2]. Existe un umbral bajo el cual el sistema no degrada gradualmente sino que colapsa. Esto refuerza que el guardrail adaptativo no es una mejora incremental: es la diferencia entre un sistema operable y uno que genera fallos en cascada.

Estrategias convencionales de trimming: ~60 % ahorro de tokens, 66,6–77,3 % éxito de tareas, 85,5–88,6 % adherencia a protocolo [Fuente 2]

Adaptive budget guardrails: 56 % ahorro de tokens, 96,0 % éxito de tareas, 96,3 % adherencia, 1,0 % fallos en cascada [2]

La memoria como propiedad del entorno, no como elección del agente

Saha articula un argumento teórico que consideramos central: el canal de memoria fiable para agentes de larga duración es aquel que el propio agente nunca necesita gestionar activamente [8]. La distinción entre delivery (entrega determinista por el harness cuando la situación lo activa) y storage (almacenamiento deliberado por el agente) no es semántica —es arquitectónica. El modelo propuesto asigna condiciones de activación de primer orden evaluadas determinísticamente por el harness: ruta, símbolo, semántica, evento, temporalidad [8]. Cuando el agente debe decidir tanto escribir como releer sus propios artefactos de memoria, se introduce exactamente el tipo de fragilidad que Zhou et al. eliminan en el bucle cerrado de control de restricciones.

La analogía cognitiva que usa Saha —codificación incidental, memoria prospectiva basada en eventos— no es decorativa: fundamenta por qué el segundo nivel de memoria debe ser involuntario para el agente [8].

SOPs compiladas y la frontera modelo-fuerte vs. modelo-débil

Yu et al. demuestran que compilar SOPs empresariales a pseudocódigo ejecutable y paginar el frame activo mediante una máquina de pila guiada por programa produce ganancias dramáticas —en el dominio Bank, la exactitud escala de 70,4 a 86,4 a 92,8, con 100 % de corrección en rechazos [6]—. Pero el hallazgo que más nos interesa es que la guía de runtime es capability-gated: modelos fuertes muestran contrastes positivos consistentes (58:19 y 75:31 pares discordantes), mientras que modelos débiles son perjudicados por la misma guía [6]. La implicación práctica es que diseñar el harness correcto no dispensa de elegir el modelo correcto. El harness amplifica capacidad existente; no la crea.

Compilar primero; habilitar el paginado de frame activo solo después de una verificación de disciplina a nivel de modelo.

— [6]

El caso especialista como validación lateral

Borman et al. ofrecen una instanciación concreta: un agente especialista para transformación de BPMN redujo los costes de tokens de generación en más del 95 %, eliminó iteraciones de reparación y mostró 2–4× menor latencia ajustada por penalización frente a agentes generalistas como Roo y Cline [4]. La clave no es que el especialista sea "mejor" en abstracto, sino que su dominio tiene semántica de control de flujo explícita —exactamente el tipo de estructura que un harness puede explotar—. Los propios autores no generalizan a tareas de dominio abierto [4], lo cual refuerza nuestro argumento: el valor del harness es proporcional a la legibilidad de la estructura de la tarea.

Evaluar el sistema, no solo la generación

Si el harness se convierte en el componente estructural que defendemos, la evaluación no puede limitarse a medir la calidad del output del modelo. Nguyen y Ghose proponen un pipeline de eval extremo a extremo que combina agregación aprendida de juicios, auto-consistencia e incertidumbre de predicción [1]. La contribución relevante aquí es que la agregación de respuestas no es heurística sino aprendida, mejorando el acuerdo entre jueces y la exactitud respecto a juicios humanos [1]. Tencent WorkBuddy Bench complementa esto con una decisión que consideramos metodológicamente acertada: no reportar ninguna media global de la suite, usando instrumentos de puntuación distintos por subconjunto [7]. Cuando cuatro dominios —código, web, oficina, seguridad— tienen estilos de verificación propios, una métrica agregada destruye más información de la que comunica.

La resistencia a contaminación de WorkBuddy Bench descansa en ingeniería inversa de commits y PRs reales, reescritos como solicitudes coloquiales de rol no recuperables por búsqueda web [7]. El dataset se publica en abierto, incluyendo harness de evaluación, pruebas y soluciones de referencia [7]. Creemos que este nivel de transparencia es la única base sostenible para benchmarks de agentes: la opacidad del dataset es una defensa temporal que no sobrevive a la escala de crawling de los proveedores de modelos.

La tesis sintetizada

Bucle cerrado para restricciones verificables [3]. Guardianes de presupuesto conscientes del protocolo para gestión de contexto [2]. Memoria entregada determinísticamente por el entorno [8]. SOPs compiladas a pseudocódigo con paginación de frame [6]. Agentes especialistas cuando la estructura del dominio lo permite [4]. Evaluación con instrumentos específicos por dominio y sin medias globales engañosas [7]. Cada uno de estos trabajos, por separado, presenta una mejora. Leídos como conjunto, revelan un principio de diseño: la fiabilidad de un sistema de agentes de código es, en primera instancia, una propiedad de la infraestructura determinista que rodea al modelo. El modelo es necesario, y como muestra la evidencia de capability-gating [6], su calidad importa. Pero el acto de ingeniería decisivo —el que convierte un demo en un sistema operable— ocurre en el harness.

Fuentes consultadas

Emma Thuong Nguyen and Abhishek Ghose. Towards a Reliable and Practical Eval Pipeline. arXiv:2609.00805, 2026.
Harish Gaggar. Protocol-Preserving Context Trimming for Agentic Workflows: Benefits, Failure Regimes, and Budget Guardrails. arXiv:2609.16461, 2026.
Quan Zhou, Shahbaz Siddeeq, Mika Saari, and Pekka Abrahamsson. A Closed-Loop Control Architecture for Reliable Constraint Satisfaction in LLM Text Generation. arXiv:2609.19710, 2026.
Harris Borman, Herman Wandabwa, Fusun Yu, Sandeepa Kannangara, Justin Liu, Anna Leontjeva, and Ritchie Ng. Beyond Generalist LLMs: Specialist Agentic Systems for Structured Code Workflow Execution. arXiv:2607.14456, 2026.
Tawatchai Salangsingha, Ashkan Sami, Md Zia Ullah, and Iain McGregor. AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs. arXiv:2607.14830, 2026.
Chenglin Yu, Li Yin, Qingxin Fan, Ying Yu, RunyangRay Zhong, and Ming Li. Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agents. arXiv:2607.11346, 2026.
Tencent WorkBuddy Bench Team, Siqi Cai, Shaopeng Chen, Xiang Fei, Yong Mao, Zihan Xu, Zhiheng Lyu, Zhijian Shao, Yuchen Shi, Shuwen Zhang, Chaofan Qiu, Linjie Che, Xiaoxi Zhao, Feng Wu, Kai Zhang, Chaofan Zhu, Yubin Qi, Xiaoyun Liang, Peijie Dong, Yunhao Zhang, Yuanjie Zhu, Ling Jiang, Xianjun Zhang, Zhehang Chu, Anyuan Sang, Zhen Feng, Sen Nie, Shi Wu, Yuanzhen Xu, Xin Li, Ning Yang, Zhiqiang Dong, Hande Dong, Qiang Lin, Yi Liu, Yunsheng Wu, Ke Li, and Xing Sun. Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction. arXiv:2607.20911, 2026.
Swapnanil Saha. Delivery, Not Storage: Cue-Anchored Working Memory as a Harness Property for Coding Agents. arXiv:2607.20972, 2026.