Una revisión que te mencionó es compatible con una tasa real del 20.7%
La forma más común en que una marca averigua dónde está en la búsqueda con IA es que alguien hace la pregunta una vez, lee la respuesta y se tranquiliza o entra en pánico. Esa única respuesta se vuelve entonces la cifra que todos repiten en la siguiente reunión.
Trátala como lo que es. Una pregunta, hecha una vez, con un resultado de sí o no, es una muestra de tamaño uno de una moneda cuyo sesgo no conoces. El intervalo de Wilson es la forma estándar de acotar ese tipo de proporción. Aplícalo a un éxito de un ensayo con 95% de confianza y la respuesta es del 20.7% al 100%.
En pocas palabras: un modelo que te menciona en una sola revisión es totalmente compatible con un modelo que te mencionaría en una de cada cinco respuestas. La captura no puede distinguir entre los dos. Tú tampoco.
La ausencia es peor. Cero de uno da un intervalo del 0% al 79.3%, y los equipos rehacen un plan de contenido justo a partir de eso todo el tiempo.
El mismo Prompt devuelve otra respuesta según quién más estaba preguntando
Esto no importaría si los motores fueran deterministas. No lo son, y la razón es más concreta que el gesto habitual sobre el azar. OpenAI lo dice con claridad en su propia guía de la API: las Chat Completions no son deterministas por defecto, lo que significa que las salidas del modelo pueden variar de una solicitud a otra. Una semilla te da lo que esa misma página llama una salida mayormente determinista, y OpenAI expone una huella del sistema para que sepas cuándo un cambio en el backend te movió el piso.
Thinking Machines Lab lo midió. En septiembre de 2025, el laboratorio muestreó 1,000 respuestas de Qwen3-235B-A22B-Instruct-2507 con temperatura cero, que es muestreo voraz y en teoría debería ser perfectamente repetible, con el Prompt “Tell me about Richard Feynman”. Obtuvieron 80 respuestas únicas, y la más común apareció 78 veces. Las 1,000 ejecuciones coincidieron en los primeros 102 tokens y se separaron en el 103: 992 siguieron con “Queens, New York” y 8 con “New York City”.
La causa que identifican no es el azar de la GPU. Los kernels son deterministas de una ejecución a otra, pero no son invariantes al lote, así que una solicitud recibe una aritmética ligeramente distinta según el lote en el que cae, y el tamaño del lote lo define la carga del servidor. Vale la pena leer su conclusión dos veces: la razón principal por la que casi todos los endpoints de inferencia de LLM no son deterministas es que la carga, y por tanto el tamaño del lote, varía de forma no determinista.
Lo que significa que la respuesta que capturaste depende en parte de cuántos desconocidos consultaban el mismo endpoint en el mismo segundo. Eso no es una señal sobre tu marca.
Veinte muestras todavía dejan un rango de cuarenta puntos
Una vez que aceptas que una cifra de visibilidad es una proporción estimada a partir de una muestra, la siguiente pregunta es qué tan grande tiene que ser la muestra. El intervalo de Wilson la responde, y la respuesta es humillante. Todos estos casos suponen que el modelo te menciona el 60% de las veces:
- 5 muestras, 3 menciones: del 23.1% al 88.2%. Un rango de 65 puntos. Sabes que la marca existe.
- 20 muestras, 12 menciones: del 38.7% al 78.1%. Un rango de 39 puntos, que es casi toda la escala.
- 40 muestras, 24 menciones: del 44.6% al 73.7%. Ahora puedes descartar que seas invisible.
- 100 muestras, 60 menciones: del 50.2% al 69.1%. Todavía 19 puntos de ancho.
- 366 muestras: el primer punto en que el intervalo se cierra a más o menos 5 puntos. Llegar a más o menos 3 requiere 1,021.
La mayor parte del movimiento que reporta un panel de visibilidad en IA no ha pasado
Aquí es donde la aritmética empieza a costar dinero. Muestrea un Prompt 40 veces la primera semana y ve 24 menciones, luego 40 veces la segunda semana y ve 32. Eso se lee como un salto del 60% al 80%, y estará en una diapositiva para el viernes.
Los dos intervalos son del 44.6% al 73.7% y del 65.2% al 89.5%. Se traslapan. Una oscilación de 20 puntos con 40 muestras todavía no es un resultado, y lo correcto es decirle a la sala que no se ha establecido nada. Hazlo unas cuantas veces y la gente deja de perseguir el ruido.
Por eso en Proofsource condicionamos las alertas al intervalo y no a la estimación puntual, y por eso cada porcentaje de visibilidad de nuestros reportes lleva al lado un intervalo de Wilson. Una alerta que se dispara cuando una cifra cruza una línea se dispara todo el tiempo en un sistema con tanto ruido. Una que se dispara cuando los intervalos se separan se dispara cuando algo pasó.
La misma lógica aplica al cero. Ninguna mención en 20 muestras deja un techo del 16.1%, y ninguna en 40 deja un 8.8%. Si quieres afirmar que un motor nunca te menciona, 40 muestras es más o menos donde esa afirmación empieza a significar algo.
Usa el intervalo de Wilson, no el que te enseñaron
Una nota técnica, porque la alternativa obvia falla justo en los casos que importan aquí. El intervalo que la mayoría aprendió es el de Wald, construido con la aproximación normal simple. Con un éxito de un ensayo reporta del 100% al 100%, y con cero de uno reporta del 0% al 0%. Te dice que una sola revisión es una certeza, que es exactamente el error que intentamos corregir.
Está bien documentado. La revisión de Brown, Cai y DasGupta en Statistical Science encontró que la cobertura errática del intervalo de Wald es mucho más persistente de lo que se cree, que las recetas habituales de los libros de texto sobre cuándo es seguro usarlo son engañosas y defectuosas y no son confiables, y recomiendan Wilson para muestras pequeñas. El muestreo de motores de respuestas es de muestras pequeñas, porque cada Prompt que monitoreas tiene su propio conteo.
Qué hacer el lunes
Nada de esto requiere comprar nada. Requiere cambiar lo que anotas.
- Deja de reportar una sola revisión. Si la evidencia es una captura, el hallazgo es que la marca puede aparecer, y nada más.
- Elige un tamaño de muestra antes de mirar los datos, y mantenlo igual en cada periodo. Cambiar la n entre lecturas hace que dos cifras no se puedan comparar aunque las dos sean honestas.
- Reporta el intervalo, no el punto. Una fila que dice 60% con un rango de 45 a 74 es más difícil de sobreinterpretar que una fila que dice 60%.
- Define el umbral de alerta según la separación de intervalos, y reparte las muestras entre días. Dos intervalos que se traslapan no son un cambio, por distintos que se vean los puntos medios.
Dónde podríamos estar equivocados
Las cifras de Wilson de arriba son aritmética exacta sobre los datos indicados, así que los números no están en duda. El supuesto del modelo detrás de ellos, sí. Los intervalos de Wilson suponen ensayos independientes con una probabilidad de éxito fija, y las consultas repetidas a un motor en vivo no son del todo independientes: la personalización, la caché, el contexto de sesión y una versión del modelo que sale a mitad de semana rompen el supuesto. Trata estos intervalos como un piso de tu incertidumbre, no como una cuenta completa.
El experimento de Thinking Machines corrió un modelo de pesos abiertos alojado en la propia infraestructura del laboratorio, no ChatGPT, Gemini ni Perplexity. Establece el mecanismo, no la varianza de ningún producto comercial, y ninguno de esos proveedores publica la suya.
La cifra del 60% de la tabla de tamaños de muestra es ilustrativa. La elegimos porque los intervalos son más anchos cerca del centro, lo que la vuelve el caso conservador. Una marca en el 5% o el 95% necesita menos muestras para la misma precisión absoluta.
Lo que defenderíamos es la dirección del error. Las muestras pequeñas, las revisiones únicas y las estimaciones puntuales sin intervalo empujan todas hacia el mismo lado: creer que mediste algo cuando no es así.
