Nadie te dice qué hacer con las dos cifras que ya tienes en pantalla
Tu cifra de visibilidad en IA se ha movido. La ejecución de la semana pasada decía que el 42 % de tus Prompts te mencionaba; la de esta semana dice el 30 %. Doce puntos. Antes de ponerte a buscar qué se ha roto, hay una pregunta más pequeña por delante: ¿ha pasado algo de verdad?
Los consejos publicados son escasos, y todos van sobre tu próxima medición. Haz más muestras. Sigue semanalmente en lugar de a diario. Mantén fijo el conjunto de Prompts. Razonable, y ninguna ayuda con las dos lecturas que ya tienes. Así que casi todo el mundo recurre a lo que el panel pone fácil y mira si las barras de error se solapan. Es la prueba equivocada, y se equivoca en la dirección que casi nadie espera.
Dos intervalos del 95 % se solapan más del 99 % de las veces cuando nada ha cambiado
Mark Payton, Matthew Greenstone y Nathaniel Schenker lo calcularon en el Journal of Insect Science en 2003. Toma dos muestras de poblaciones realmente idénticas y pon un intervalo de confianza del 95 % a cada una. ¿Con qué frecuencia se solapan esos intervalos? Su cálculo para muestras grandes lo sitúa por encima del 99 %, y su simulación, 10.000 pares con n=10, dio 0,995.
Así que mirar si dos intervalos del 95 % se solapan no es una prueba al 5 %. Se acerca más a una prueba al 1 %. Casi nunca darás por real una diferencia, tampoco cuando lo es.
El mismo artículo estudia el caso contrario. Las barras de error estándar simples se solapan el 84,3 % de las veces cuando no pasa nada, así que mirarlas a ojo es una prueba con una tasa de falsas alarmas cercana al 15 %. Una vez de cada seis te pones a buscar una causa que no existe.
También dan la corrección. Para que una comprobación de solapamiento se comporte como una prueba al 5 %, con errores estándar parecidos, los intervalos deberían ser de alrededor del 83 % u 84 %. Con n=10, sus intervalos del 84 % se solaparon el 94,9 % de las veces, que es el 5 % que buscabas.
Una caída, tres veredictos, y el sector usa el más silencioso
Pon cuentas de verdad a ese paso del 42 % al 30 %. Pongamos que son 200 Prompts contra un motor, 84 que te mencionan en la primera ejecución y 60 en la segunda.
- Intervalos de Wilson del 95 %: el 42 % está entre el 35,4 % y el 48,9 %, y el 30 % entre el 24,1 % y el 36,7 %. Se solapan alrededor de un punto. Veredicto: nada que ver.
- Una prueba estándar de dos proporciones con las mismas dos cifras: z = 2,50, p = 0,012. Veredicto: real.
- Intervalos de Wilson del 84 %, según la corrección de arriba: del 37,2 % al 47,0 % frente a del 25,7 % al 34,7 %. Separados limpiamente. Veredicto: real, y ahora coincide con la prueba, que es justo lo que busca el ajuste.
Los mismos Prompts ejecutados dos veces son una medición emparejada, y en el emparejamiento está la potencia
Debajo de los tres hay un error mayor. Una prueba de dos proporciones trata las ejecuciones como muestras independientes. No lo son. Vuelve a ejecutar los mismos 200 Prompts contra el mismo motor y cada Prompt se ha medido dos veces, así que la comparación se hace Prompt a Prompt.
La mayoría de los Prompts no se habrá movido, y los que te mencionaron las dos veces o ninguna no te dicen nada sobre un cambio. Toda la información está en los Prompts que cambiaron.
Pongamos que 30 Prompts te dejaron fuera y 6 te incluyeron. El mismo saldo neto de 24 Prompts, los mismos 12 puntos. La prueba de McNemar sobre esos 36 cambios, la prueba estándar para datos binarios emparejados, da una ji cuadrado de 16,0 con 1 grado de libertad, así que p es de alrededor de 0,00006. La prueba independiente con los mismos datos decía 0,012. El emparejamiento eliminó la varianza que viene de que los Prompts sean distintos entre sí, y dejó la varianza por la que de verdad preguntabas.
Cambia tu conjunto de Prompts entre ejecuciones y renuncias a eso, y ningún estadístico te lo devuelve. Mantén fijo el conjunto y empieza los Prompts nuevos como una serie propia.
Nuestras alertas también usan la regla conservadora, y esto es lo que te cuesta
Nuestras reglas de alerta necesitan dos cosas. Los intervalos de Wilson de la puntuación antigua y la nueva no deben solaparse, y el movimiento debe superar un umbral que fijas en la dirección que elegiste. La comprobación de intervalos va primero, así que si las barras se tocan no salta nada, diga lo que diga el umbral.
Es la regla conservadora y la elegimos a propósito. Una alerta de la que nadie se fía es peor que ninguna alerta. Pero, según las cifras de arriba, es aproximadamente una prueba al 1 %, así que la caída de 12 puntos del ejemplo pasa en silencio. Es un coste real, y preferimos ponerlo por escrito antes de que lo descubras tú.
Debajo de las cuentas hay un suelo que importa más. Vuelve a ejecutar un conjunto de Prompts idéntico contra una web que nadie ha tocado y la cifra se sigue moviendo, porque los motores no se repiten. La propia documentación de OpenAI lo dice sin rodeos: las respuestas de chat no son deterministas por defecto, e incluso con una semilla fijada, su sistema «hará lo posible por muestrear de forma determinista» y «el determinismo no está garantizado». En nuestro propio muestreo hemos visto cambiar de un día para otro entre el 9 % y el 27 % del conjunto de nombres mencionados, y dónde cae depende del motor. Y eso sin que nadie publique nada.
Por eso Proofsource ejecuta un informe de prueba y reprueba: los mismos Prompts fijos, el mismo motor, dos veces al día, en una web que no ha cambiado. Te da el tamaño de tu propio ruido antes de que pongas un umbral encima. Sáltatelo y tu umbral es una suposición.
Dónde podría fallar esto
Payton y sus colegas derivaron su resultado para medias de poblaciones normales, suponiendo errores estándar iguales y una muestra grande. La visibilidad es una proporción, y un intervalo de Wilson se vuelve asimétrico cerca del 0 % y del 100 %. La dirección se mantiene sin problema, el solapamiento al 95 % es demasiado conservador para una prueba al 5 %, pero toma el 83 a 84 % como regla práctica para nuestro caso y no como una demostración. Cerca de los extremos, haz la prueba en sí.
El ejemplo es aritmética, no una medición. Los 200 Prompts, los 84 y 60, los 30 cambios frente a 6 son cifras que elegimos para que fueran coherentes y mostraran la diferencia. Las tuyas serán distintas, y lo que hay que mirar es el reparto.
La significación estadística y «esto lo has causado tú» son afirmaciones distintas, y aquí solo entra la primera. Una p de 0,00006 frente al ruido de muestreo dice que el comportamiento del motor cambió entre las dos ejecuciones. No dice nada de por qué. Con el movimiento que medimos, un cambio significativo puede seguir siendo el motor derivando por su cuenta.
La cifra del 9 al 27 % es nuestra. Es lo que hemos visto en los motores que muestreamos, no una constante publicada, y no sustituye a medir la tuya.
