El marco AI-PI y la fragilidad inferencial de las covariables generadas por LLMs.

El marco AI-PI propuesto por Duan y Pelger estructura la solución en tres piezas que se refuerzan mutuamente. Primero, una corrección de sesgo específica por momento calibrada contra un conjunto etiquetado humanamente de tamaño reducido. Segundo, una ponderación adaptativa que combina de forma óptima múltiples pares modelo-prompt, explotando la variación entre ellos en lugar de tratarla como molestia. Tercero, un diseño óptimo del conjunto de calibración que concentra las costosas etiquetas humanas en las regiones donde las características generadas son menos fiables [9]. Los autores establecen consistencia y normalidad asintótica, permitiendo diseños de etiquetado adaptativos, ajuste cruzado del pipeline LLM, y GMM sobreidentificado [9].

Aquí es donde la propuesta de Saraceno y Calcagnì cobra relevancia práctica directa. Su marco distribucional-geométrico representa cada especificación como una distribución sobre un espacio de salida común y estudia vecindarios locales, diámetros y baricentros de Fréchet [1]. Cuando una o varias especificaciones del multiverso incluyen covariables generadas por IA y otras no, la geometría del multiverso puede revelar si esas especificaciones se agrupan como outliers en el espacio métrico o si su inclusión desplaza el baricentro de forma desproporcionada. El marco retiene simultáneamente la variación del efecto y la variación de la incertidumbre, información que los resúmenes escalares convencionales pueden perder [1]. Creemos que esta capacidad convierte al análisis de multiverso geométrico en un diagnóstico natural para evaluar cuánto dependen las conclusiones de la calidad de las covariables generadas.

Ganong, Garg y Kasy muestran que la media no corregida puede sobreestimar el efecto verdadero entre aproximadamente 5 y 8 veces [6]. La analogía con las covariables de IA es directa: así como la literatura publicada no es una muestra aleatoria de todos los estudios realizados, las covariables que un LLM genera no son una muestra aleatoria de las mediciones posibles. El sesgo de selección en la publicación y el sesgo dependiente del input en los LLMs comparten una estructura: ambos son sistemáticos, ambos sobreviven al aumento de muestra, y ambos requieren una corrección externa calibrada con datos de mayor calidad —sea un conjunto de estudios no publicados o un conjunto de etiquetas humanas.

Nuestra lectura de este cuerpo de evidencia se traduce en tres principios para cualquier equipo de medición que integre covariables generadas por IA.

Primero, nunca tratar una salida de LLM como observable directo en una ecuación de momentos sin un conjunto de calibración humano. El marco AI-PI demuestra que esto es condición necesaria para restaurar la consistencia [9].

Segundo, someter toda especificación que incluya covariables generadas a un análisis de multiverso geométrico [1], comparando explícitamente con especificaciones que usen solo variables directamente observadas. Si el baricentro de Fréchet se desplaza de forma material al incluir las covariables de IA, la conclusión debe considerarse frágil.

Tercero, en diseños donde la identificación ya depende de supuestos de anclaje —como los spillover espaciales [2] o los modelos de sustitución homogénea [8]—, la carga de validación de las covariables generadas debe ser más exigente, no menos, porque el error se propaga a través de canales que el investigador no puede diagnosticar con los datos experimentales solos.

La promesa de los LLMs como herramienta de extracción de covariables es real: permiten operar sobre texto, imágenes y señales no estructuradas a un coste marginal cercano a cero. Pero la inferencia causal no tolera costes marginales cercanos a cero en la calidad de las variables. El marco AI-PI de Duan y Pelger es, hasta donde conocemos, la primera respuesta formalmente rigurosa a esta tensión. Adoptarlo no es opcional para quien pretenda hacer incrementalidad con datos parcialmente generados por modelos de lenguaje.