Una respuesta te mencionó
Esta semana1 de 1
100%
Visibilidad: 100%. Esta pregunta es tuya.
Un número oscila. El intervalo del 95% muestra lo que es real.
Hazle las mismas preguntas dos veces a la IA y obtienes otro número. Cada número de Proofsource viene con un rango, para que distingas un cambio real de la suerte.
200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
La tasa real está en algún punto de aquíIntervalo del 95%
43% a 62%
0%50%100%
Esa banda es el intervalo del 95%. Un número se tambalea. La banda te dice qué es real.
Los mismos datos, dos reportes. ¿Con cuál actuarías?
Un número sin su rango puede ser exacto y aun así llevarte en la dirección equivocada. Cambia entre las dos lecturas.
La caída que no fue
Semana pasada4 de 10
40%
Esta semana2 de 10
20%
La visibilidad se redujo a la mitad, de 40% a 20%. Algo se rompió.
El ranking demasiado reñido
Tu marca6 de 10
60%
Competidor4 de 10
40%
Vas adelante, 60% a 40%.
El logro que es real
Antes de la corrección60 de 200
30%
Después de la corrección100 de 200
50%
La visibilidad subió de 30% a 50%.
Cada titular de arriba es aritméticamente correcto, y tres de los cuatro te llevarían en la dirección equivocada. Cambia para ver por qué.
Un número más chico en el que puedes confiar le gana a uno más grande que no es real. Esa es toda la razón de que el rango esté ahí.
La respuesta en una línea
53 de 100 respuestas nombraron a Tesla, así que su tasa de menciones es 53%, con un intervalo del 95% de 43% a 62%. Haz las mismas preguntas de compra otra vez y el 53% sale un poco distinto cada vez; el intervalo es un rango trazado para que, 19 de cada 20 veces, contenga la tasa que obtendrías si pudieras preguntar para siempre.
El punto es la tasa que medimos, 53.0%. La barra es el intervalo del 95%, de 43.3% a 62.5%. Léelo así: Tesla aparece mencionada en algún punto entre 43% y 62% de las respuestas a estas preguntas, lo más probable cerca de 53%.
Vigílalo: haz las mismas preguntas una y otra vez
Entre estos reportes no cambia nada: la tasa real es fija. Solo el azar cambia qué respuestas llegan. Presiona el botón y mira dónde cae cada reporte.
Tasa real (lo que obtendrías preguntando para siempre)
Respuestas por reporte
10 reportes, cada uno con 25 respuestas. El número principal fue de 24.0% a 52.0%, aunque nada cambió: la tasa real se mantuvo en 40%.
10 de 10 rangos (100%) contienen la tasa real, marcada con la línea punteada. Sigue preguntando y se estabiliza en 93.6% para esta configuración, cerca de 19 de cada 20: las respuestas vienen en números enteros, así que la cifra exacta se mueve un poco alrededor del 95%. Todavía no hay fallos; sigue preguntando y aparecerá alguno naranja.
Prueba con tus propios números
El mismo cálculo que el producto hace en cada número: el intervalo de score de Wilson al 95%.
53.0% tasa de menciones
Intervalo del 95%: 43.3% a 62.5%, unos 9.6 puntos hacia cada lado.
Sube las respuestas y mira cómo se estrecha el rango: cuatro veces más respuestas, más o menos la mitad del ancho.
Por qué las respuestas de IA necesitan un rango
Los motores de IA no dan la misma respuesta dos veces. Haz la misma pregunta mañana, o con otras palabras, y las marcas mencionadas cambian.
En nuestro propio monitoreo, el 47% de los cambios diarios en las respuestas de IA se revirtieron al día siguiente (40 preguntas de compra, cuatro motores, hasta nueve días). Una marca mencionada con una formulación de la pregunta fue mencionada con otra redacción solo el 55% de las veces (13,994 respuestas).
Así que una sola respuesta, o un solo día, es una muestra de un objetivo en movimiento. El intervalo convierte muchas muestras en una afirmación honesta: la tasa y qué tan seguros podemos estar de ella.
Más respuestas, un rango más estrecho
El ancho depende sobre todo de cuántas respuestas hay detrás del número. Arrastra a lo largo de la curva.
| Respuestas | Mencionado (al 30%) | Intervalo de Wilson del 95% | Más o menos |
|---|---|---|---|
| 10 | 3 de 10 | 10.8% a 60.3% | unos 24.8 puntos |
| 25 | 8 de 25 | 17.2% a 51.6% | unos 17.2 puntos |
| 50 | 15 de 50 | 19.1% a 43.8% | unos 12.3 puntos |
| 100 | 30 de 100 | 21.9% a 39.6% | unos 8.8 puntos |
| 200 | 60 de 200 | 24.1% a 36.7% | unos 6.3 puntos |
| 400 | 120 de 400 | 25.7% a 34.7% | unos 4.5 puntos |
| 1,000 | 300 de 1,000 | 27.2% a 32.9% | unos 2.8 puntos |
¿El cambio es real o es ruido?
La pregunta que plantea cada reporte semanal. Tres reglas la cubren.
- Los rangos no se tocan: el cambio es real. Actúa.
- Los rangos se tocan: eso no prueba que nada haya cambiado. Dos rangos del 95% de muestras idénticas se superponen más del 99% de las veces, así que la superposición es una prueba muy estricta (por qué las barras de error superpuestas no son la prueba). Compara mejor las preguntas que pasaron de nombrarte a no nombrarte, y al revés.
- Nuestras alertas son estrictas a propósito: solo se activan cuando los rangos se separan y el movimiento supera el umbral que definiste, así que puedes confiar en cada alerta que recibes.
Qué es el intervalo de Wilson
El método detrás de cada rango que mostramos, publicado por el estadístico Edwin B. Wilson en 1927 y el que la literatura estadística recomienda para una tasa basada en un número modesto de resultados de sí o no.
Cada respuesta de IA menciona tu marca o no, así que una tasa de menciones es una proporción de resultados sí o no: lo que los estadísticos llaman una proporción binomial. El método de Wilson traza el rango alrededor de esa proporción en dos pasos. Mueve ligeramente el centro hacia el 50%, más cuando hay pocas respuestas, y luego traza un rango alrededor de ese centro cuyo ancho depende de la tasa y del número de respuestas. Con p la proporción de respuestas que te mencionaron, n el número de respuestas y z = 1.96 para el 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
La fórmula más simple de casi todos los libros de texto, la tasa más o menos 1.96 errores estándar (el intervalo de Wald), falla justo donde vive la visibilidad en IA: muestras pequeñas y tasas cercanas al 0% o al 100%. Las mismas respuestas, de las dos formas:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, bajo cero | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, ningún rango | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, ningún rango | 86.7% to 100.0% |
Por eso la revisión de Brown, Cai y DasGupta sobre los métodos comunes en Statistical Science (2001) recomienda Wilson para muestras de 40 o menos, por eso Agresti y Coull (1998) encontraron que cubre la tasa real de forma más confiable que la fórmula de los libros de texto, y por eso la comparación de siete métodos de Newcombe en Statistics in Medicine (1998) lo favoreció. El panel, los reportes, las exportaciones y la API calculan el mismo intervalo de Wilson, así que un número significa lo mismo dondequiera que lo leas. La fórmula paso a paso también está en ¿Qué es un intervalo de Wilson?, y cada número que calculamos se describe en Metodología.
Referencias
Los artículos detrás del método, para que compruebes las cuentas tú mismo.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
El artículo original: el intervalo de score para una proporción que usan nuestros rangos.
Abrir en doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
La revisión de referencia de los métodos. Muestra que el intervalo clásico de más o menos falla y recomienda Wilson para muestras pequeñas.
Abrir en doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Concluye que el intervalo de Wilson (de puntuación) cubre la tasa real con más confiabilidad que la fórmula de los libros.
Abrir en doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Compara siete métodos en los mismos casos y favorece el intervalo de puntuación de Wilson.
Abrir en doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
El manual del National Institute of Standards and Technology de EE. UU. presenta el método de Wilson y señala que lo recomiendan Brown, Cai y DasGupta y también Agresti y Coull.
Abrir en itl.nist.govLectura gratis - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Por qué dos rangos del 95% que se superponen no significan que nada cambió: la superposición funciona como una prueba de alrededor del 1%, no del 5%.
Abrir en pmc.ncbi.nlm.nih.govLectura gratis - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
La prueba para comparar las mismas preguntas hechas dos veces, según las preguntas que cambiaron.
Abrir en doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Un argumento muy leído y en lenguaje simple a favor del intervalo de Wilson para ordenar elementos por una proporción de votos de sí o no.
Abrir en evanmiller.orgLectura gratis
Preguntas frecuentes sobre el intervalo de 95%
¿95% significa que estamos 95% seguros de que nuestro número es correcto?
No exactamente. Significa que el método que trazó el rango atrapa la tasa real 19 de cada 20 veces. Cualquier rango individual contiene la tasa real o no; el 95% es la frecuencia con que el método acierta a lo largo de muchas mediciones.
¿Por qué no mostrar solo el porcentaje?
Porque un porcentaje sacado de pocas respuestas de IA puede moverse mucho por azar. Sin el rango, una caída del 53% al 45% parece noticia cuando puede ser ruido. El rango te dice cuánto puede oscilar un número antes de significar algo.
¿Por qué el rango queda desbalanceado cerca del 0% y del 100%?
Las tasas no pueden bajar de 0% ni pasar de 100%, así que el método de Wilson aleja el rango del borde. 2 de 25 respuestas da aproximadamente de 2% a 25%, no un 8% simétrico más o menos 11%, que bajaría de cero.
¿Cómo hago que el rango sea más estrecho?
Consigue más respuestas: más preguntas de compra, más motores o más días de monitoreo. El ancho se reduce con la raíz cuadrada de las respuestas, así que cuatro veces más respuestas lo reducen más o menos a la mitad.
¿El rango cubre todo lo que podría estar mal?
No. Cubre el azar de qué respuestas nos tocaron. No cubre qué preguntas se hicieron, los cambios de los motores entre un día y otro ni las respuestas que juzgamos mal. Eso se maneja eligiendo preguntas que los compradores realmente hacen, volviendo a preguntar de forma programada y guardando las respuestas para que puedas revisarlas.
Dos de mis barras se superponen. ¿No cambió nada?
No necesariamente. Dos rangos del 95% de muestras idénticas se superponen más del 99% de las veces, así que la superposición es una prueba muy estricta que pasa por alto cambios reales. Cuando las barras no se tocan, el cambio es real. Cuando se tocan, compara mejor las preguntas que cambiaron de respuesta.
Lee también
La lista corta se está escribiendo ahora mismo.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode