# En comercio agéntico, especificar bien pesa más que cambiar de modelo > Published: 2026-10-06T10:00:00+00:00 > Updated: 2026-10-06T10:05:00.026+00:00 --- ## En comercio agéntico, especificar bien pesa más que cambiar de modelo Creemos que en comercio agéntico el modelo dejó de ser la variable decisiva. Lo que separa un sistema fiable de uno que solo lo parece es la especificación: qué se le pide al agente, qué se mide y qué supuestos sobre el usuario se cuelan en el entrenamiento. Un trabajo reciente atribuye a la evaluación, no a la capacidad, la mayor parte de la brecha que mide [Fuente 1]. ## Augur, un laboratorio de decisión sintética El caso más claro es Augur, un laboratorio de decisión sintética que ensaya cómo reaccionaría el mercado a un cambio de producto o de política antes de lanzarlo. Sus autores lo evalúan sobre Gold-50, cincuenta episodios reales con resultado conocido. Lo llamativo es que presentan su hallazgo principal como **metodológico y negativo**. La mayor parte de la brecha entre modelos cloud de frontera y modelos open-weight afinados y servidos offline se explica por una evaluación sub-especificada, no por una diferencia de capacidad [Fuente 1]. - 0% → 73% — Oscilación del acierto de un mismo sistema (LoRA-SFT sobre Qwen3-32B) variando solo el prompt, con pesos, casos y evaluador fijos, en 11 casos. El 0% son respuestas fuera del esquema de cinco acciones, no errores de criterio. - +24 a +34 pp — Mejora de los tres modelos de frontera, en 50 casos, al definir la taxonomía de decisión en el prompt sin cambiar de modelo (de 38–46 % a 66–80 %) - +2,6 puntos — Ventaja media de RubricRanker sobre el baseline más fuerte (Rank4Gen) en cuatro benchmarks de investigación profunda (60,1 frente a 57,5) ## La taxonomía de decisión dentro del prompt Basta con definir la taxonomía de decisión dentro del prompt, sin cambiar de modelo, para que todos los modelos de frontera ganen terreno. Con el prompt sub-especificado, el modelo open-weight supera a los tres de frontera. Con un prompt equitativo, no se detecta diferencia significativa, lo que según los autores no prueba que sean equivalentes [Fuente 1]. En Augur, el acuerdo con el modelo profesor de la destilación sube sin que suba la precisión, y el pipeline amplifica un sesgo de pesimismo en el veredicto [Fuente 1]. ## El reranker que no sabe lo que prefiere Este patrón se repite cuando un LLM ordena candidatos de recomendación. Bito, Ren y He parten de una premisa sencilla: los candidatos forman un conjunto sin orden, así que el orden en que se serializan no debería influir en el ranking. Sin embargo, sí influye. Para medirlo proponen tres métricas: inestabilidad de preferencias por pares, inconsistencia global y consistencia de la salida listwise. Las tres se mueven juntas, pero pueden separarse de la efectividad de recomendación. Mejorar la relevancia o repartir mejor la exposición entre posiciones no garantiza recuperar preferencias estables [Fuente 6]. Reducir el sesgo marginal de exposición es insuficiente para establecer la validez de la función de ranking en reranking basado en LLMs.— [Fuente 6] (traducción propia) ## Lo que suele medirse: relevancia de la lista final y exposición por posición. Lo que haría falta medir: si el sistema mantiene preferencias coherentes cuando cambia un orden que, en teoría, es irrelevante. ## Supuestos que se cuelan en el entrenamiento La sub-especificación no aparece solo al evaluar. RCBS identifica un error concreto en las plataformas de comunidad local. Los negativos en el lote suponen que cualquier usuario puede ver cualquier ítem. En Karrot la exposición está limitada geográficamente, así que muchos de esos negativos son pares imposibles y diluyen la señal. Los autores construyen lotes homogéneos por región, de modo que cada usuario se contraste con ítems que podría ver de verdad. Con ese cambio mejoran el ranking del feed, la recuperación y los anuncios display, y los embeddings resultantes ya están en producción [Fuente 11]. ## Rúbricas jerárquicas en la recuperación RubricRanker ataca el mismo problema desde la recuperación. Documentos que encajan bien uno a uno pueden no formar un *conjunto* útil para una consulta agéntica. La solución es escribir explícitamente, en rúbricas jerárquicas, qué debe cumplir ese conjunto [Fuente 4]. CILER hace algo parecido con el entorno latente: fija condiciones de identificabilidad y acota el riesgo en despliegue en función del error al inferir ese entorno [Fuente 8]. En los tres casos, la mejora llega al hacer explícito un supuesto. ## La especificación abarca la topología Cuando el sistema es multi-agente, la especificación también abarca la topología. En filtrado colaborativo con agentes de usuario y agentes de ítem, la eficacia de ataques y defensas depende de dos ejes: cuántos candidatos recibe cada usuario por turno y cuánto se solapa el catálogo entre usuarios. Además aparecen asimetrías entre roles y una eficacia del ataque que no evoluciona de forma monótona en el tiempo [Fuente 7]. Un sistema multi-agente que solo se audita con benchmarks de precisión no ve nada de esto. ## Un espacio de configuración conjunto En la infraestructura ocurre algo análogo. RAG-Stack trata índices, modelos y estrategias de recuperación como un espacio de configuración conjunto. Con el mismo número de iteraciones, sus fronteras de Pareto cubren entre un 52,5% y un 153,2% más del espacio normalizado calidad-rendimiento que los métodos de búsqueda de configuración del estado del arte [Fuente 3]. Para quien construye o compra agentes de comercio, antes de cambiar de modelo conviene especificar la taxonomía de decisión, medir la estabilidad de las preferencias, revisar qué negativos son imposibles y entender la conectividad entre agentes. Augur muestra que la especificación del prompt puede mover el resultado más que el modelo [Fuente 1]. Las otras tres piezas aparecen en trabajos distintos [Fuente 6] [Fuente 7] [Fuente 11]; que pesen tanto como el modelo es nuestra hipótesis. Ninguno de estos trabajos estudia agentes de compra, así que aplicarlos al comercio agéntico es lectura nuestra. En el único estudio que lo compara directamente (Augur, 50 casos), quien no especifica bien termina comparando prompts y no modelos. ## Fuentes consultadas - Rahul Khedar, Mayank Malhotra, and Avinash Karn. Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes. [arXiv:2609.29952](https://arxiv.org/abs/2609.29952v1), 2026. - Anna Lipkina, Daria Tikhonovich, Viktor Yanush, Mariia Ulianova, Oleg Sorokin, Vladislav Dodonov, Ilya Murzin, Denis Burshtein, and Nikolay Savushkin. Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation. [arXiv:2608.06213](https://arxiv.org/abs/2608.06213v1), 2026. - Haiqiang Zhang, Yuanqing Lei, Wanting Li, Tao Zhang, and Wenqi Jiang. RAG-Stack: Co-Optimizing RAG Serving Performance and Quality. [arXiv:2608.03487](https://arxiv.org/abs/2608.03487v1), 2026. - Wenhan Liu, Yu Lu, Qiaolin Xia, Hui Xu, Tong Zhao, Jian Xi, Yutao Zhu, Haijin Liang, Haibo Shi, Hao Wang, and Zhicheng Dou. Training Documents Reranker with Search Rubrics for Deep Research Agent. [arXiv:2608.03527](https://arxiv.org/abs/2608.03527v1), 2026. - Eugene Lee, Oseong Choi, Byungsoo Kang, and Taeyeong Jang. LLM-Derived Priors for Thompson Sampling in Cold-Start Comment Recommendation. [arXiv:2608.03382](https://arxiv.org/abs/2608.03382v1), 2026. - Ethan Bito, Yongli Ren, and Estrid He. Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking. [arXiv:2608.03091](https://arxiv.org/abs/2608.03091v1), 2026. - Anjun Hu, Hanting Xie, Saranya Govindan, Jas Kandola, and Kurt Cutajar. Attacking and Defending Multi-Agent Collaborative Filtering Systems Through Connectivity. [arXiv:2608.03272](https://arxiv.org/abs/2608.03272v1), 2026. - Qianqian Wang, Wenwu Gong, Yunshan Li, Zhenqing Wu, Ruili Wang, and Lili Yang. Conditionally Identifiable Latent-Environment Modeling for Out-of-Distribution Recommendation. [arXiv:2608.03647](https://arxiv.org/abs/2608.03647v1), 2026. - Rui Zhou, Bo Chen, Qinglin Jia, Jiezhou Ji, Chaoyi Ma, Ruiming Tang, Hao Wang, and Enhong Chen. SITA: Semantic Interest Tokens for Target-Aware Compression in Long-Sequence Recommendation. [arXiv:2608.03692](https://arxiv.org/abs/2608.03692v1), 2026. - Pervez Shaik, Prosenjit Biswas, Abhinav Thorat, Ravi Kolla, and Niranjan Pedanekar. ATLAS: Learning to Recommend Across Unseen Domains. [arXiv:2608.03899](https://arxiv.org/abs/2608.03899v1), 2026. - Seungho Han, Byeongchang Kim, and Jin Yu. Don't Contrast the Impossible: Region-Constrained Batching for Contrastive User Modeling on a Local Community Platform. [arXiv:2607.28971](https://arxiv.org/abs/2607.28971v1), 2026. - Zhuang Zhuang, Shanshan Feng, Hangwei Qian, Mingqi Yang, Heng Qi, Yanming Shen, and Baocai Yin. Think2Go: Generative Next POI Recommendation with LLM Reasoning. [arXiv:2607.28997](https://arxiv.org/abs/2607.28997v1), 2026.