El problema que casi nadie formula bien
Cuando un equipo de marketing monta un test de incrementalidad con resultado binario, la pregunta habitual es «¿cuántas observaciones necesito?». Esa pregunta presupone que sabemos estimar la varianza del estimador de diferencia de medias. No la sabemos — al menos no sin sesgo. Azriel, Krieger y Kapelner demuestran que, dado que la varianza depende de probabilidades de éxito desconocidas, la estimación insesgada de la varianza es imposible [2]. Esto no es un tecnicismo: significa que cualquier cálculo de potencia estándar que asuma una estimación plug-in de la varianza está mal fundamentado desde la raíz. La práctica habitual de insertar tasas de conversión históricas en una fórmula de tamaño muestral ignora que el objeto que se estima no admite estimación insesgada.
Dos estimadores conservadores que sí funcionan
Los autores desarrollan dos caminos. El primero es una generalización del estadístico CMH, aplicable a cualquier diseño balanceado. El segundo es una extensión del estimador de varianza de Robins, específica para diseños de bloqueo [2]. Ambos son conservadores — sobreestiman la varianza verdadera — pero ese conservadurismo tiene una propiedad crucial: bajo alternativas locales, el estimador CMH es asintóticamente ajustado (tight), lo que significa que la sobreestimación desaparece a medida que crece la muestra. Dicho de otro modo, los intervalos de confianza basados en CMH son válidos en muestras finitas y convergen a los más estrechos posibles asintóticamente. No estamos comprando seguridad a costa de potencia permanente; la pagamos solo mientras la muestra es pequeña.
Diseño sin bloqueo: balance de covariables dependiente del azar de la aleatorización; varianza no minimizada; inferencia válida solo asintóticamente con estimadores estándar que pueden subestimar la varianza verdadera.
Diseño con bloqueo + CMH: balance de covariables garantizado por construcción; varianza asintóticamente mínima; inferencia conservadora en muestras finitas y ajustada asintóticamente [2].
Cuando el experimento vive en el espacio: spillover como amenaza al diseño óptimo
El marco de Azriel et al. asume que los resultados potenciales de una unidad no dependen de la asignación de tratamiento de otras unidades — el supuesto SUTVA. Creemos que la mayor amenaza práctica a este supuesto en experimentos de marketing es el spillover espacial. Watson et al. demuestran que cuando intervenciones se administran en el espacio, los efectos se derraman entre unidades experimentales y los estimandos causales son funcionales lineales de un kernel de spillover cuya forma es identificable bajo aleatorización por conglomerados, pero cuyo nivel no lo es — queda aliasado con el intercepto y el efecto directo, independientemente del tamaño muestral [1]. Esto tiene una consecuencia directa para quien diseña un experimento de bloqueo geográfico: el bloqueo puede minimizar la varianza del estimador, pero si los bloques son geográficamente contiguos, el sesgo por spillover puede dominar la ganancia en varianza.
Lanzamientos graduales y la tentación del diseño escalonado
Muchos equipos de marketing no pueden aleatorizar de golpe: los lanzamientos de producto son graduales, las activaciones regionales secuenciales. Esto conduce naturalmente a diseños de adopción escalonada. Bordino, Berrett y Klopp estudian la estimación en estos diseños y proponen un algoritmo espectral que, en lugar de completar el tensor de datos faltantes, apunta directamente al funcional de interés [3]. Sus garantías exhiben una transición de fase en el número de capas: agregar más oleadas de adopción mejora la estimación solo cuando hay suficientes unidades de tratamiento disponibles. La implicación práctica es que un diseño escalonado con muchas oleadas pero pocas unidades por oleada puede ser peor que un diseño más simple con menos fases y más unidades por fase.
La ganancia de agregar capas en un diseño escalonado no es monótona: depende del número de unidades tratadas, no de la cantidad de fases [3].
La tesis integrada
Reuniendo las tres fuentes, la posición que defendemos es esta: para experimentos de incrementalidad con resultados binarios, el diseño de bloqueo con inferencia CMH es simultáneamente óptimo en varianza, conservador en muestras finitas y asintóticamente ajustado [2]. Pero ese diseño debe auditarse contra spillover espacial antes de su ejecución, usando herramientas como el level leverage [1]. Y cuando las restricciones operativas imponen un lanzamiento escalonado, la decisión de cuántas fases incluir debe regirse por el número de unidades disponibles por fase, no por la conveniencia del calendario [3]. No hay un diseño universalmente correcto. Hay un marco de decisión que empieza por el resultado (binario o continuo), sigue con la geometría (espacial o no, escalonada o simultánea), y cierra con la inferencia (conservadora, no plug-in). Ese marco ya existe en la literatura. Lo que falta es adoptarlo.