# Qué es un test A/B en marketing y por qué la mayoría se ejecuta sin las garantías que necesita

> Published: 2026-09-14T10:00:00+00:00
> Updated: 2026-09-14T10:05:00.019+00:00

---

## Qué es un test A/B en marketing y por qué la mayoría se ejecuta sin las garantías que necesita

Un test A/B es un experimento aleatorio controlado en el que se divide una audiencia en dos grupos — uno expuesto a una variante (A) y otro a una variante distinta (B) — para medir cuál produce un resultado superior. Esa es la definición canónica. La tesis de IDO es que entender qué es un test A/B exige ir mucho más allá de esa frase: exige comprender qué lo hace válido, qué lo invalida y por qué la mayoría de los tests que se ejecutan en marketing digital operan con una ilusión de rigor que no resiste escrutinio causal.

## Lo que un test A/B promete: aislamiento causal del efecto de una variante sobre un resultado medible, con intervalos de confianza válidos.

**Lo que un test A/B típico entrega**: una comparación de medias sin verificación de balance, sin estimación conservadora de varianza y sin control de spillover entre grupos.

## La mecánica esencial: aleatorización y el modelo de Neyman

Un test A/B descansa sobre un principio: la **asignación aleatoria** de unidades (usuarios, hogares, regiones) a tratamiento o control. Cuando esa asignación es genuinamente aleatoria, las diferencias observadas en el resultado se atribuyen causalmente a la variante, no a factores previos. Azriel, Krieger y Kapelner formalizan esto para resultados binarios — tasa de conversión, indicador de compra — bajo el modelo no paramétrico de Neyman, donde las mediciones de covariables son fijas pero los resultados potenciales son aleatorios. Derivan la **varianza exacta** del estimador de diferencia de medias y demuestran que cualquier diseño balanceado que satisfaga una condición de balance de covariables es asintóticamente óptimo [Fuente 3]. Esto significa que un test A/B bien diseñado no necesita modelos sofisticados de ajuste: necesita un buen diseño de asignación.

## El problema de la varianza con resultados binarios

La mayoría de tests A/B en marketing miden conversiones: resultados binarios (compró o no, hizo clic o no). Aquí surge un problema que pocas plataformas de experimentación resuelven. Dado que la varianza del estimador depende de probabilidades de éxito desconocidas, la estimación insesgada de la varianza es imposible [Fuente 3]. Los autores desarrollan dos estimadores conservadores — una generalización del estadístico Cochran-Mantel-Haenszel y una extensión del estimador de Robins — que son asintóticamente ajustados bajo alternativas locales [Fuente 3]. Creemos que la implicación práctica es directa: si tu plataforma de testing no usa estimadores conservadores de varianza para resultados binarios, tus intervalos de confianza son inválidos y tus decisiones de 'ganador' carecen de garantía estadística.

Uno de los supuestos más violados en tests A/B de marketing es la **ausencia de interferencia** entre unidades: que el tratamiento aplicado a un usuario no afecte al resultado de otro. Watson et al. formalizan exactamente este problema para experimentos espaciales, mostrando que bajo aleatorización por conglomerados con un tamaño de exposición fijo, los datos identifican la **forma** del kernel de spillover pero **no su nivel** — éste queda aliasado con el intercepto y el efecto directo, independientemente del tamaño muestral [Fuente 2]. La lectura que hacemos es que, en campañas de marketing donde usuarios comparten redes sociales, hogares o geolocalización, el efecto medido en un test A/B absorbe contaminación cuyo nivel exacto es **no identificable** sin un supuesto de anclaje explícito.

Los autores descomponen el sesgo de cualquier estimador anclado en tres términos: un término de nivel (del kernel no identificado), un error de forma (mala especificación del kernel) y un término de filtración absorbido por la geometría del diseño. Cada término es computable antes de recoger datos [Fuente 2]. Esto convierte al diseño del experimento — no al análisis posterior — en la herramienta principal para controlar el sesgo. Un test A/B que no modela la estructura de spillover entre sus unidades experimentales está estimando un efecto contaminado, y lo más grave es que ni siquiera sabe cuánto.

El análisis estándar de ensayo por conglomerados es el caso especial de un anclaje implícito, cuyo sesgo por contaminación queda en forma cerrada dentro de este marco [Fuente 2].

- Asintóticamente óptimo — Propiedad del diseño de bloqueo con balance de covariables para resultados binarios
- 0,08 DE — Mejora en salud infantil sostenida un año después, solo cuando aprendizaje propio y social coexisten

## Especificaciones múltiples: un test, muchas conclusiones

Un test A/B no termina cuando se recogen los datos. Hay que elegir: ¿qué ventana temporal considerar? ¿Qué controles incluir? ¿Qué transformación aplicar al resultado? Saraceno y Calcagnì demuestran que la visión por etapas — generar el multiverso de especificaciones y resumirlo con p-valores o estimaciones puntuales — **puede ocultar cómo se distribuye la incertidumbre inferencial a través de las especificaciones** [Fuente 1]. Su propuesta de representar cada especificación como una distribución de probabilidad sobre un espacio de salida común, analizando vecindarios locales, diámetros y baricentros de Fréchet, retiene simultáneamente la variación del efecto y la variación de la incertidumbre [Fuente 1]. Para un equipo de marketing que ejecuta un test A/B, esto significa que reportar un único p-valor sin explorar la robustez de la conclusión ante decisiones analíticas alternativas es una forma de autoengaño cuantificable.

## Cuando el test no es factible: alternativas cuasi-experimentales

No siempre se puede aleatorizar. Chikish et al. ilustran una alternativa rigurosa: el diseño de **diferencia en discontinuidades**, que combina una frontera geográfica nítida con variación temporal antes/después para aislar un efecto causal. En su estudio sobre precios de congestión en Nueva York, este diseño controló por una directiva concurrente del FDNY que confundía los estimadores estándar de diferencia en diferencias pero no afectaba al estimador basado en la discontinuidad geográfica [Fuente 5]. La reducción documentada en tiempos de desplazamiento de emergencias fue de 63 a 70 segundos, con un primer estadio de 18 a 21 por ciento de reducción en tráfico vehicular [Fuente 5].

Creemos que este tipo de diseños cuasi-experimentales son la alternativa correcta cuando el A/B clásico no es posible — por restricciones éticas, operativas o de escala — y que la comunidad de marketing debería familiarizarse con ellos en vez de recurrir a comparaciones antes/después sin control causal.

## La complementariedad que se ignora: efectos que dependen del entorno

Akram et al. ofrecen una lección fundamental para cualquier test A/B que mida cambio de comportamiento. En su experimento de campo sobre cloración de agua, los hogares del brazo de aprendizaje con vecinos también en ese brazo mostraron mejoras sostenidas de **0,08 desviaciones estándar** en salud infantil un año después. Pero los hogares del brazo de aprendizaje sin vecinos en ese brazo no mostraron cambio sostenido. Ni los hogares fuera del brazo con vecinos en él [Fuente 7]. El aprendizaje propio y el social son complementarios: ninguno basta solo. La implicación para A/B testing en marketing es que un test que mide el efecto de una intervención en individuos aislados puede subestimar o sobreestimar el efecto real si ese efecto depende del entorno social del usuario.

## Posición de IDO: qué debe ser un test A/B en marketing

Un test A/B es el instrumento más poderoso de medición causal disponible para un equipo de marketing. Pero su poder no reside en la facilidad de implementación — que las plataformas tecnológicas han trivializado — sino en la disciplina de diseño: aleatorización genuina con balance de covariables [Fuente 3], estimación conservadora de varianza [Fuente 3], modelado explícito de spillover [Fuente 2], análisis de robustez ante especificaciones alternativas [Fuente 1] y reconocimiento de que los efectos pueden depender del entorno social de las unidades experimentadas [Fuente 7]. Sin esas garantías, un test A/B es una comparación de medias con disfraz científico.

## Fuentes consultadas

- Giovanni Saraceno and Antonio Calcagnì. Towards a Geometric Characterization of Multiverse Analysis. [arXiv:2607.11345](https://arxiv.org/abs/2607.11345v1), 2026.

- Samuel I. Watson, Penny Hancock, Jack Fraser-Govil, Kieran DeWalt, and Thomas A. Smith. Embracing Spillover: Spatial Effects in Experiments. [arXiv:2607.06506](https://arxiv.org/abs/2607.06506v1), 2026.

- David Azriel, Abba M. Krieger, and Adam Kapelner. Optimal Designs with Robust Inference for Binary Treatment Effects. [arXiv:2607.05768](https://arxiv.org/abs/2607.05768v1), 2026.

- Alberto Bordino, Thomas B. Berrett, and Olga Klopp. Direct and efficient estimation of bilinear forms in staggered tensor panels. [arXiv:2607.06330](https://arxiv.org/abs/2607.06330v1), 2026.

- Diferencia en discontinuidades (*difference-in-discontinuities*): identificación en experimentos naturales con fronteras geográficas. [ver](https://www.nber.org/papers/w35414#fromrss)

- Síntesis de literatura y corrección del sesgo de selección en meta-análisis aplicado. [ver](https://www.nber.org/papers/w35403#fromrss)

- Aprendizaje experiencial y social: evidencia de un experimento de campo sobre adopción de comportamiento. [ver](https://www.nber.org/papers/w35410#fromrss)

- Inferencia causal para elasticidad de demanda: variables instrumentales, diferencia en diferencias y el problema del coeficiente faltante. [ver](https://www.nber.org/papers/w35413#fromrss)

- Inferencia con covariables generadas por IA: sesgo sistemático, ruido y el marco AI-PI. [ver](https://www.nber.org/papers/w35481#fromrss)

- Olli Saarela and Juha Karvanen. Graph-based causal variance decompositions: When "variance explained" means causation. [arXiv:2608.27140](https://arxiv.org/abs/2608.27140v1), 2026.