La potencia planificada no es la potencia que se obtiene
El caso más claro está en los cuasi-experimentos sobre datos de panel, que en marketing equivalen a los tests geográficos y a los lanzamientos escalonados por mercado. Ghose Chowdhury sostiene que los cálculos de potencia habituales para diferencia en diferencias y variables instrumentales asumen errores i.i.d. y, por eso, subestiman de forma sistemática la distancia entre la potencia planificada y la alcanzada [2]. El autor sostiene esa afirmación con un estudio de Monte Carlo de unas 9.837 condiciones paramétricas y cerca de 9,8 millones de conjuntos de datos simulados [2]. La correlación serial se puede recuperar con una calculadora ajustada por AR(1) cuando ρ es conocido. Cuando ρ se estima con pocos periodos pre-tratamiento, la recuperación es solo parcial [2].
La cifra importa menos que lo que ocurre fuera de ella. Cuando el desgaste se correlaciona con el tratamiento y depende del resultado, deja de restar potencia y pasa a introducir sesgo [2]. Para el desgaste, la adopción escalonada y el pretesting de tendencias paralelas no existe fórmula de forma cerrada [2]. Esos problemas solo se detectan simulando el diseño concreto antes de lanzarlo.
Problema de eficiencia: el test pierde potencia, los intervalos se ensanchan y la respuesta es ampliar la muestra o alargar el periodo.
Mirar antes de tiempo también es una decisión de diseño
Los tests secuenciales resultan atractivos porque permiten parar en cuanto hay respuesta. Kazin advierte que acoplar la regla de parada al criterio de decisión abre la puerta al sesgo de confirmación por early peeking. Con HDI+ROPE, un intervalo todavía amplio puede cumplir el criterio con muestras tempranas no representativas, lo que genera un coste sistemático de falsos positivos [9]. La alternativa PitG desacopla ambas reglas, pero a cambio produce con frecuencia resultados no concluyentes, sobre todo cuando la hipótesis nula es verdadera [9]. DPitG exige que se cumplan a la vez el objetivo de precisión y un veredicto concluyente.
La misma lógica aparece en la elección de arquitectura. Hait muestra que, cuando hay un único objetivo preespecificado, la inferencia pooled directa puede reducir drásticamente el coste de parada. Si se exigen garantías simultáneas por estrato, en cambio, se paga una penalización de primer orden por una multiplicidad local que no siempre hace falta [3]. Traducido a un equipo de marketing: pedir lecturas por segmento "por si acaso" encarece cada test.
La asignación no es un trámite
Hull estudia experimentos con resultados acotados, como las conversiones binarias. En ese contexto, el error cuadrático medio en el peor caso se minimiza con asignación aleatoria independiente y una regresión no convencional sin intercepto, lo que contradice la receta habitual de aleatorización balanceada y diferencia de medias [11]. Frente a la aleatorización completa la ganancia es asintóticamente pequeña. Frente a otros diseños puede ser de primer orden [11].
Este resultado nos parece especialmente relevante porque el emparejamiento de mercados es una práctica extendida en los tests geográficos, y se suele justificar por intuición.
Cuando no hay experimento, el diseño se traslada a los supuestos
Fuera del experimento, la decisión crítica se convierte en qué se condiciona. Caetano, Callaway, Payne y Sant'Anna señalan que eliminar los "controles malos", es decir, las covariables afectadas por el tratamiento, suele ser desaconsejable. Incluirlos tal cual también puede romper la identificación. Proponen condicionar en sus valores pre-tratamiento o, bajo no-confusión de la covariable, usar estimadores de imputación y de double/debiased machine learning [6]. En series temporales únicas, Yu, Chen, Du y Li combinan machine learning con debiasing, instrumentos y buffered block cross-fitting, y obtienen garantías solo bajo supuestos explícitos de mezcla geométrica beta [1]. En ambos trabajos la validez descansa en condiciones que se declaran por adelantado.
Esto incluye a los canales nuevos. GMMM de Kato, Honma y Kato extiende el Marketing Mix Modeling a la presencia de marca en motores generativos con probabilidades de noticia no observadas, pero su validación es por simulación y no con datos de mercado [12]. Leemos el marco como una propuesta de identificación que todavía no se ha contrastado.
Nuestra posición es que cada test de incrementalidad debería presentarse con su diseño simulado, su regla de parada y su mecanismo de asignación justificados antes de mostrar un solo resultado. Un efecto incremental se puede defender cuando esas tres decisiones son explícitas; si no lo son, el modelo solo está dando forma a un supuesto que nadie ha examinado.
Fuentes consultadas
- Shibo Yu, Yan Chen, Jin-Hong Du, and Guodong Li. Semiparametric Inference for Dynamic Causal Effects from Observational Time Series. arXiv:2609.27531, 2026.
- Spandan Ghose Chowdhury. Beyond the Illusion of Power: Calibrating Quasi-Experiments in Observational IS. arXiv:2609.27299, 2026.
- Subir Hait. Target-Aware Sequential Inference: Pooled versus Stratified Anytime-Valid Designs. arXiv:2609.37873, 2026.
- Tomoshige Nakamura and Ryo Emoto. Debiased and Simultaneous Inference for Heterogeneous Factorial Effect Modifiers via Residualized Walsh-Hadamard Scores. arXiv:2609.37382, 2026.
- Minxing Zheng, Wenbin Zhou, and Shixiang Zhu. Beyond Prediction: Conformal Inference for Latent Distributional Parameters. arXiv:2608.03607, 2026.
- Carolina Caetano, Brantly Callaway, Stroud Payne, and Hugo Sant'Anna. Difference-in-differences with "bad controls". arXiv:2608.03881, 2026.
- Keaven M. Anderson and Alison Pedley. Two-Stage Design with Sample Size Re-estimation Using gsDesign. arXiv:2608.03456, 2026.
- Simone Ciardulli, Nicole Fontana, Simone Vantini, and Francesca Ieva. Generalized propensity score weighting for functional causal inference framework. arXiv:2608.03200, 2026.
- Eyal A. Kazin. Precision and Decisiveness as Goals: Reliable Sequential Hypothesis Testing with a Dual Stopping Criterion. arXiv:2608.05301, 2026.
- Jeremy Lin and Tianchen Qian. Micro-randomized Trials with Categorical Treatments and Binary Proximal Outcome: Causal Effect Estimation and Sample Size Calculation. arXiv:2608.05135, 2026.
- Peter Hull. Optimal Experimental Design and Estimation when Potential Outcomes are Bounded. arXiv:2608.09812, 2026.
- Masahiro Kato, Daiki Honma, and Taka Kato. Generative Marketing Mix Modeling: A Causal Inference Framework Linking GEO and GEM to Business Impact. arXiv:2609.11915, 2026.
Publicado
Seguir leyendo
Piezas del mismo hilo de trabajo.
La atribución causal no es un problema de datos: es un problema de diseñoMedición
Un modelo perfecto sobre datos mal diseñados produce certezas falsas. Analizamos por qué el diseño experimental es la prioridad real en medición causal.
Parte de alguna de las mismas fuentes que este artículo.
Leer el artículo →La medición incremental exige elegir el nivel de garantía estadística antes de tocar los datosMedición
Sin una decisión explícita sobre el error tipo I, cada test de incrementalidad confirma sesgos en lugar de descubrir causalidad. Aquí se explica por qué.
Parte de alguna de las mismas fuentes que este artículo.
Leer el artículo →La atribución causal no es un problema de datos sino de supuestos: por qué la medición de incrementalidad exige compromisos de diseño explícitosMedición
Los errores en medición de incrementalidad no surgen de escasez de datos, sino de supuestos de identificación implícitos: spillovers, grafos causales y…
Leer el artículo →La medición causal no falla por falta de modelos, sino por creer que los modelos existentes toleran las decisiones que tomamos durante el experimentoMedición
El sesgo en la medición causal no surge de los estimadores, sino de observar resultados intermedios, reasignar presupuesto o condicionar en variables…
Parte de alguna de las mismas fuentes que este artículo.
Leer el artículo →Resultados binarios en experimentos de incrementalidad: por qué el bloqueo con inferencia CMH es la apuesta correctaMedición
Resultados binarios en experimentos de incrementalidad: por qué el bloqueo con inferencia CMH es la apuesta correcta. Di.
Leer el artículo →El nivel del kernel no se identifica: por qué la medición de incrementalidad necesita supuestos explícitos, no más datosMedición
Tres líneas de evidencia muestran que más datos no resuelven la no identificación en kernels de spillover: el sesgo de publicación infla efectos entre 5 y…
Leer el artículo →