Nadie te dice qué hacer con las dos cifras que ya tienes en pantalla
Tu cifra de visibilidad en IA se movió. La ejecución de la semana pasada decía que el 42% de tus Prompts te mencionaba; la de esta semana dice 30%. Doce puntos. Antes de salir a buscar qué se rompió, hay una pregunta más chica en el camino: ¿de verdad pasó algo?
Los consejos publicados son escasos, y todos hablan de tu próxima medición. Corre más muestras. Monitorea cada semana en lugar de a diario. Mantén fijo el conjunto de Prompts. Razonable, y sin ninguna ayuda con las dos lecturas que ya tienes. Así que la mayoría recurre a lo que el panel facilita y revisa si las barras de error se traslapan. Es la prueba equivocada, y se equivoca en la dirección que casi nadie espera.
Dos intervalos del 95% se traslapan más del 99% de las veces cuando nada cambió
Mark Payton, Matthew Greenstone y Nathaniel Schenker lo calcularon en el Journal of Insect Science en 2003. Toma dos muestras de poblaciones realmente idénticas y ponle a cada una un intervalo de confianza del 95%. ¿Con qué frecuencia se traslapan esos intervalos? Su cálculo para muestras grandes lo ubica por encima del 99%, y su simulación, 10,000 pares con n=10, dio 0.995.
Así que revisar si dos intervalos del 95% se traslapan no es una prueba del 5%. Se acerca más a una del 1%. Casi nunca vas a declarar real una diferencia, incluso cuando lo es.
El mismo artículo analiza el caso contrario. Las barras simples de error estándar se traslapan el 84.3% de las veces cuando no pasa nada, así que mirarlas a ojo es una prueba con una tasa de falsas alarmas cercana al 15%. Una de cada seis veces sales a buscar una causa que no existe.
También dan la corrección. Para que una revisión de traslape se comporte como una prueba del 5%, con errores estándar más o menos iguales, los intervalos tienen que tener un ancho de alrededor del 83% u 84%. Con n=10, sus intervalos del 84% se traslaparon el 94.9% de las veces, que es el 5% que buscabas.
Una caída, tres veredictos, y la industria usa el más callado
Pongámosle aritmética real a ese paso del 42% al 30%. Digamos que son 200 Prompts contra un motor, 84 te mencionan en la primera ejecución y 60 en la segunda.
- Intervalos de Wilson del 95%: el 42% queda entre 35.4% y 48.9%, y el 30% entre 24.1% y 36.7%. Se traslapan por cerca de un punto. Veredicto: nada que ver.
- Una prueba estándar de dos proporciones sobre las mismas dos cifras: z = 2.50, p = 0.012. Veredicto: real.
- Intervalos de Wilson del 84%, según la corrección de arriba: 37.2% a 47.0% frente a 25.7% a 34.7%. Claramente separados. Veredicto: real, y ahora coincide con la prueba, que es justo el propósito del ajuste.
Los mismos Prompts corridos dos veces son una medición pareada, y en el pareo está la potencia
Debajo de los tres hay un error más grande. Una prueba de dos proporciones trata las ejecuciones como muestras independientes. No lo son. Vuelve a correr los mismos 200 Prompts contra el mismo motor y cada Prompt se midió dos veces, así que la comparación corresponde hacerla Prompt por Prompt.
La mayoría de los Prompts no se habrá movido, y los que te mencionaron las dos veces o ninguna no te dicen nada sobre un cambio. Toda la información está en los Prompts que cambiaron.
Digamos que 30 Prompts te sacaron y 6 te agregaron. La misma diferencia neta de 24 Prompts, los mismos 12 puntos. La prueba de McNemar sobre esos 36 cambios, la prueba estándar para datos binarios pareados, da una chi cuadrada de 16.0 con 1 grado de libertad, así que p es de alrededor de 0.00006. La prueba independiente sobre datos idénticos decía 0.012. El pareo eliminó la varianza que viene de que los Prompts son distintos entre sí, y dejó la varianza por la que de verdad preguntabas.
Si cambias tu conjunto de Prompts entre ejecuciones, renuncias a eso, y ninguna estadística te lo devuelve. Mantén fijo el conjunto e inicia los Prompts nuevos como su propia serie.
Nuestras alertas también usan la regla conservadora, y esto es lo que te cuesta
Nuestras reglas de alerta necesitan dos cosas. Los intervalos de Wilson de la puntuación anterior y la nueva no deben traslaparse, y el movimiento debe superar un umbral que tú defines en una dirección que elegiste. La revisión de intervalos va primero, así que si las barras se tocan no se dispara nada, diga lo que diga el umbral.
Es la regla conservadora y la elegimos a propósito. Una alerta en la que nadie confía es peor que no tener alerta. Pero, según las cifras de arriba, es más o menos una prueba del 1%, así que la caída de 12 puntos del ejemplo pasa en silencio. Es un costo real, y preferimos dejarlo por escrito antes de que lo descubras tú.
Debajo de la aritmética hay un piso que importa más. Vuelve a correr un conjunto idéntico de Prompts contra un sitio que nadie tocó y la cifra se mueve igual, porque los motores no se repiten. La propia documentación de OpenAI lo dice sin rodeos: las chat completions no son deterministas por defecto, e incluso con una semilla definida, su sistema “hará su mejor esfuerzo por muestrear de forma determinista” y “el determinismo no está garantizado”. En nuestros propios muestreos hemos visto rotar entre el 9 y el 27% del conjunto de nombres mencionados de un día a otro, y dónde cae depende del motor. Eso sin que nadie publique nada.
Por eso Proofsource corre un reporte de prueba y reprueba: los mismos Prompts fijos, el mismo motor, dos veces al día, sobre un sitio que no ha cambiado. Te da el tamaño de tu propio ruido antes de que pongas un umbral encima. Sin eso, tu umbral es una adivinanza.
Dónde podríamos estar equivocados
Payton y sus colegas derivaron su resultado para medias de poblaciones normales, suponiendo errores estándar iguales y una muestra grande. La visibilidad es una proporción, y un intervalo de Wilson se vuelve asimétrico cerca del 0 y del 100%. La dirección se traslada sin problema, un traslape del 95% es demasiado conservador para una prueba del 5%, pero toma el 83 a 84% como regla práctica para nuestro caso y no como una demostración. Cerca de los extremos, corre la prueba en sí.
El ejemplo es aritmética, no una medición. Los 200 Prompts, el 84 y el 60, los 30 cambios frente a 6 son cifras que elegimos para que fueran coherentes y mostraran la diferencia. Las tuyas serán distintas, y la división es lo que hay que mirar.
La significancia estadística y “tú causaste esto” son afirmaciones separadas, y aquí solo cabe la primera. Una p de 0.00006 frente al ruido de muestreo dice que el comportamiento del motor cambió entre las dos ejecuciones. No dice nada de por qué. Con la rotación que medimos, un movimiento significativo aún puede ser el motor derivando por su cuenta.
La cifra del 9 al 27% es nuestra. Es lo que hemos visto en los motores que muestreamos, no una constante publicada, y no sustituye medir la tuya.
