Una comprobación que te mencionó es compatible con una tasa real del 20,7 %
La forma más común en que una marca averigua dónde está en la búsqueda con IA es que alguien hace la pregunta una vez, lee la respuesta y o se relaja o entra en pánico. Esa única respuesta se convierte luego en la cifra que todo el mundo repite en la siguiente reunión.
Trátala como lo que es. Una pregunta, hecha una vez, con un resultado de sí o no, es una muestra de tamaño uno de una moneda cuyo sesgo no conoces. El intervalo de Wilson es la forma estándar de acotar ese tipo de proporción. Aplícalo a un éxito de un ensayo con un 95 % de confianza y la respuesta es del 20,7 % al 100 %.
En pocas palabras: un modelo que te menciona en una sola comprobación es totalmente compatible con un modelo que te mencionaría en una de cada cinco respuestas. La captura no puede distinguirlos. Tú tampoco.
El fallo es peor. Cero de uno da un intervalo del 0 % al 79,3 %, y hay equipos que rehacen un plan de contenidos justo con eso.
El mismo Prompt devuelve una respuesta distinta por quién más estaba preguntando
Esto no importaría si los motores fueran deterministas. No lo son, y el motivo es más concreto que la vaga alusión habitual a la aleatoriedad. OpenAI lo dice claramente en su propia guía de la API: Chat Completions no es determinista por defecto, es decir, las salidas del modelo pueden variar de una petición a otra. Una semilla te da lo que esa misma página llama una salida mayoritariamente determinista, y OpenAI expone una huella del sistema para que puedas saber cuándo un cambio en el backend te ha movido el suelo.
Thinking Machines Lab lo midió. En septiembre de 2025, el laboratorio muestreó 1.000 respuestas de Qwen3-235B-A22B-Instruct-2507 a temperatura cero, que es muestreo voraz y en teoría debería ser perfectamente repetible, con el Prompt «Tell me about Richard Feynman». Obtuvieron 80 respuestas únicas, y la más común apareció 78 veces. Las 1.000 ejecuciones coincidieron en los primeros 102 tokens y se separaron en el 103: 992 siguieron con «Queens, New York» y 8 con «New York City».
La causa que identifican no es la aleatoriedad de la GPU. Los kernels son deterministas de una ejecución a otra, pero no son invariantes al lote, así que una petición recibe una aritmética ligeramente distinta según el lote en el que cae, y el tamaño del lote lo fija la carga del servidor. Su conclusión merece leerse dos veces: el motivo principal por el que casi todos los endpoints de inferencia de LLM no son deterministas es que la carga, y por tanto el tamaño del lote, varía de forma no determinista.
Lo que significa que la respuesta que capturaste depende en parte de cuántos desconocidos consultaban el mismo endpoint en el mismo segundo. Eso no es una señal sobre tu marca.
Veinte muestras siguen dejando un rango de cuarenta puntos
Una vez aceptas que una cifra de visibilidad es una proporción estimada a partir de una muestra, la siguiente pregunta es lo grande que tiene que ser la muestra. El intervalo de Wilson responde, y la respuesta baja los humos. Todos estos casos suponen que el modelo te menciona el 60 % de las veces:
- 5 muestras, 3 menciones: del 23,1 % al 88,2 %. Un rango de 65 puntos. Sabes que la marca existe.
- 20 muestras, 12 menciones: del 38,7 % al 78,1 %. Un rango de 39 puntos, que es casi toda la escala.
- 40 muestras, 24 menciones: del 44,6 % al 73,7 %. Ahora puedes descartar ser invisible.
- 100 muestras, 60 menciones: del 50,2 % al 69,1 %. Sigue teniendo 19 puntos de ancho.
- 366 muestras: el primer punto en el que el intervalo se estrecha a más o menos 5 puntos. Llegar a más o menos 3 exige 1.021.
Casi todo el movimiento que muestra un panel de visibilidad en IA no ha ocurrido
Aquí es donde las cuentas empiezan a costar dinero. Muestrea un Prompt 40 veces la primera semana y ves 24 menciones, luego 40 veces la segunda y ves 32. Eso parece un salto del 60 % al 80 %, y estará en una diapositiva el viernes.
Los dos intervalos son del 44,6 % al 73,7 % y del 65,2 % al 89,5 %. Se solapan. Una oscilación de 20 puntos con 40 muestras todavía no es un resultado, y lo correcto es decirle a la sala que no se ha demostrado nada. Hazlo unas cuantas veces y la gente deja de perseguir el ruido.
Por eso en Proofsource condicionamos las alertas al intervalo y no a la estimación puntual, y por eso cada porcentaje de visibilidad de nuestros informes lleva al lado un intervalo de Wilson. Una alerta que salta cuando una cifra cruza una línea salta constantemente en un sistema con tanto ruido. Una que salta cuando los intervalos se separan salta cuando ha pasado algo.
La misma lógica se aplica al cero. Ninguna mención en 20 muestras deja un límite superior del 16,1 %, y ninguna en 40 deja el 8,8 %. Si quieres afirmar que un motor nunca te menciona, 40 muestras es más o menos donde esa afirmación empieza a significar algo.
Usa el intervalo de Wilson, no el que te enseñaron
Una nota técnica, porque la alternativa obvia falla justo en los casos que importan aquí. El intervalo que aprendió casi todo el mundo es el de Wald, construido con la aproximación normal simple. Con un éxito de un ensayo da del 100 % al 100 %, y con cero de uno da del 0 % al 0 %. Te dice que una sola comprobación es segura, que es justo el error que intentamos corregir.
Está bien documentado. La revisión de Brown, Cai y DasGupta en Statistical Science vio que la cobertura errática del intervalo de Wald es mucho más persistente de lo que se cree, que las indicaciones habituales de los manuales sobre cuándo es seguro son engañosas y defectuosas y no son de fiar, y recomiendan Wilson para muestras pequeñas. Muestrear motores de respuesta es trabajar con muestras pequeñas, porque cada Prompt que sigues tiene su propio recuento.
Qué hacer el lunes
Nada de esto exige comprar nada. Exige cambiar lo que apuntas.
- Deja de informar de una sola comprobación. Si la prueba es una captura, el hallazgo es que la marca puede aparecer, y nada más.
- Elige un tamaño de muestra antes de mirar los datos, y mantenlo igual en cada periodo. Cambiar n entre lecturas hace incomparables dos cifras aunque las dos sean honestas.
- Da el intervalo, no el punto. Una fila que dice 60 % con un rango de 45 a 74 es más difícil de sobreinterpretar que una fila que dice 60 %.
- Fija el umbral de alerta en la separación de intervalos, y reparte las muestras entre días. Dos intervalos que se solapan no son un cambio, por distintos que parezcan los puntos medios.
Dónde podría fallar esto
Las cifras de Wilson de arriba son aritmética exacta sobre datos indicados, así que los números no están en duda. Lo está el supuesto del modelo que hay detrás. Los intervalos de Wilson suponen ensayos independientes con una probabilidad de éxito fija, y las consultas repetidas a un motor en directo no son limpiamente independientes: la personalización, la caché, el contexto de la sesión y una versión de modelo que sale a mitad de semana lo incumplen. Trata estos intervalos como un mínimo de tu incertidumbre, no como su recuento completo.
El experimento de Thinking Machines ejecutó un modelo de pesos abiertos alojado por ellos en su propia infraestructura, no ChatGPT, Gemini ni Perplexity. Establece el mecanismo, no la varianza de ningún producto comercial, y ninguno de esos proveedores publica la suya.
La cifra del 60 % de la tabla de tamaños de muestra es ilustrativa. La elegimos porque los intervalos son más anchos cerca del medio, lo que la convierte en el caso conservador. Una marca en el 5 % o el 95 % necesita menos muestras para la misma precisión absoluta.
Lo que defenderíamos es la dirección del error. Las muestras pequeñas, las comprobaciones sueltas y las estimaciones puntuales sin intervalos empujan todas hacia el mismo lado, hacia creer que has medido algo cuando no es así.
