Una respuesta te mencionó
Esta semana1 de 1
100%
Visibilidad: 100 %. Esta pregunta es tuya.
Una cifra oscila. El intervalo del 95 % muestra lo que es real.
Haz a la IA las mismas preguntas dos veces y obtendrás una cifra distinta. Cada cifra de Proofsource viene con un rango, para que distingas un cambio real de la suerte.
200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
La tasa real está en algún punto de aquíIntervalo del 95 %
43 % a 62 %
0%50%100%
Esa banda es el intervalo del 95 %. Una cifra suelta oscila. La banda te dice qué es real.
Los mismos datos, dos informes. ¿Con cuál actuarías?
Una cifra sin su rango puede ser exacta y aun así llevarte en la dirección equivocada. Cambia entre las dos lecturas.
La caída que no fue
La semana pasada4 de 10
40%
Esta semana2 de 10
20%
La visibilidad se ha reducido a la mitad, del 40 % al 20 %. Algo se ha roto.
La clasificación demasiado ajustada
Tu marca6 de 10
60%
Competidor4 de 10
40%
Vas por delante, 60 % a 40 %.
La victoria que es real
Antes de la corrección60 de 200
30%
Después de la corrección100 de 200
50%
La visibilidad sube del 30 % al 50 %.
Todos los titulares de arriba son aritméticamente correctos, y tres de los cuatro te llevarían por mal camino. Cambia de vista para ver por qué.
Una cifra más pequeña en la que puedes confiar es mejor que una más grande que no es real. Para eso precisamente está el rango.
La respuesta en una línea
53 de 100 respuestas nombraron a Tesla, así que su tasa de menciones es 53%, con un intervalo del 95 % de 43% a 62%. Haz las mismas preguntas de compra otra vez y la 53% sale un poco distinta cada vez; el intervalo es un rango trazado para que, 19 de cada 20 veces, contenga la tasa que obtendrías si pudieras preguntar sin fin.
El punto es la tasa que medimos, 53.0%. La barra es el intervalo del 95 %, de 43.3% a 62.5%. Léelo así: Tesla se menciona en algo entre aproximadamente 43% y 62% de las respuestas a estas preguntas, lo más probable cerca de 53%.
Vigílalo: haz las mismas preguntas una y otra vez
Entre estos informes no cambia nada: la tasa real es fija. Solo el azar cambia qué respuestas llegan. Pulsa el botón y mira dónde cae cada informe.
Tasa real (la que obtendrías preguntando infinitas veces)
Respuestas por informe
10 informes, cada uno de 25 respuestas. La cifra principal fue de 24.0% a 52.0%, aunque nada cambió: la tasa real se mantuvo en el 40 %.
10 de 10 rangos (100 %) contienen la tasa real, marcada con la línea discontinua. Sigue preguntando y se estabiliza en 93.6% para este ajuste, cerca de 19 de cada 20: las respuestas son números enteros, así que la cifra exacta oscila un poco alrededor del 95 %. Aún no hay ausencias; sigue preguntando y aparecerá alguna naranja.
Prueba con tus propios números
El mismo cálculo que hace el producto en cada cifra: el intervalo de puntuación de Wilson al 95 %.
53.0% tasa de menciones
Intervalo del 95 %: de 43.3% a 62.5%, unos 9.6 puntos arriba o abajo.
Sube las respuestas y verás cómo se estrecha el rango: cuatro veces más respuestas, aproximadamente la mitad de ancho.
Por qué las respuestas de IA necesitan un rango
Los motores de IA no dan dos veces la misma respuesta. Haz la misma pregunta mañana, o formúlala de forma un poco distinta, y cambian las marcas mencionadas.
En nuestro propio seguimiento, el 47 % de los cambios de un día a otro en las respuestas de IA se revirtió al día siguiente (40 preguntas de compra, cuatro motores, hasta nueve días). Una marca mencionada en una formulación de una pregunta solo se mencionó en otra formulación el 55 % de las veces (13.994 respuestas).
Así que una sola respuesta, o un solo día, es una muestra de un blanco móvil. El intervalo convierte muchas muestras en una afirmación honesta: la tasa y cuánta seguridad podemos tener sobre ella.
Más respuestas, un rango más estrecho
La anchura depende sobre todo de cuántas respuestas hay detrás del número. Arrastra a lo largo de la curva.
| Respuestas | Mencionada (al 30 %) | Intervalo de Wilson del 95 % | Más o menos |
|---|---|---|---|
| 10 | 3 de 10 | 10,8 % a 60,3 % | unos 24,8 puntos |
| 25 | 8 de 25 | 17,2 % a 51,6 % | unos 17,2 puntos |
| 50 | 15 de 50 | 19,1 % a 43,8 % | unos 12,3 puntos |
| 100 | 30 de 100 | 21,9 % a 39,6 % | unos 8,8 puntos |
| 200 | 60 de 200 | 24,1 % a 36,7 % | unos 6,3 puntos |
| 400 | 120 de 400 | 25,7 % a 34,7 % | unos 4,5 puntos |
| 1000 | 300 de 1000 | 27,2 % a 32,9 % | unos 2,8 puntos |
¿El cambio es real o es ruido?
La pregunta que plantea cada informe semanal. Tres reglas la resuelven.
- Los rangos no se tocan: el cambio es real. Actúa.
- Los rangos se tocan: eso no demuestra que nada haya cambiado. Dos rangos del 95 % de muestras idénticas se solapan más del 99 % de las veces, así que el solapamiento es una prueba muy estricta (por qué el solapamiento de las barras de error no es la prueba). Compara mejor las preguntas que pasaron de nombrarte a no nombrarte, y al revés.
- Nuestras alertas son estrictas a propósito: solo saltan cuando los rangos se separan y el cambio supera el umbral que fijes, así que una alerta que recibes es una alerta de la que te puedes fiar.
Qué es el intervalo de Wilson
El método detrás de cada rango que mostramos, publicado por el estadístico Edwin B. Wilson en 1927 y el que recomienda la literatura estadística para una tasa a partir de un número modesto de resultados de sí o no.
Cada respuesta de IA menciona tu marca o no, así que una tasa de menciones es una proporción de resultados de sí o no: lo que los estadísticos llaman una proporción binomial. El método de Wilson traza el rango alrededor de esa proporción en dos pasos. Desplaza ligeramente el centro hacia el 50 %, más cuando hay pocas respuestas, y luego traza alrededor de ese centro un rango cuya anchura depende de la tasa y del número de respuestas. Con p la proporción de respuestas que te mencionaron, n el número de respuestas y z = 1,96 para el 95 %:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
La fórmula más sencilla de casi todos los manuales, la tasa más o menos 1,96 errores estándar (el intervalo de Wald), falla justo donde vive la visibilidad en IA: muestras pequeñas y tasas cercanas al 0 % o al 100 %. Las mismas respuestas, de las dos formas:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, bajo cero | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, ningún rango | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, ningún rango | 86.7% to 100.0% |
Por eso la revisión de Brown, Cai y DasGupta sobre los métodos habituales en Statistical Science (2001) recomienda Wilson para muestras de 40 o menos, por eso Agresti y Coull (1998) vieron que cubre la tasa real con más fiabilidad que la fórmula de manual, y por eso la comparación de siete métodos de Newcombe en Statistics in Medicine (1998) lo prefirió. El panel, los informes, las exportaciones y la API calculan el mismo intervalo de Wilson, así que una cifra significa lo mismo dondequiera que la leas. La fórmula desarrollada también está en ¿Qué es un intervalo de Wilson?, y todas las cifras que calculamos se describen en Metodología.
Referencias
Los artículos detrás del método, para que compruebes tú mismo las cuentas.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
El artículo original: el intervalo score de una proporción en el que se basan nuestros rangos.
Abrir en doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
La revisión de referencia de los métodos. Demuestra que el intervalo de más o menos de los manuales se comporta mal y recomienda Wilson para muestras pequeñas.
Abrir en doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Concluye que el intervalo de Wilson (score) cubre la tasa real con más fiabilidad que la fórmula de manual.
Abrir en doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Compara siete métodos con los mismos casos y se decanta por el intervalo de puntuación de Wilson.
Abrir en doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
El manual del National Institute of Standards and Technology de EE. UU. presenta el método de Wilson y señala que lo recomiendan Brown, Cai y DasGupta y también Agresti y Coull.
Abrir en itl.nist.govLectura gratuita - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Por qué dos rangos del 95 % que se solapan no significan que nada haya cambiado: el solapamiento funciona como una prueba de alrededor del 1 %, no del 5 %.
Abrir en pmc.ncbi.nlm.nih.govLectura gratuita - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
La prueba para comparar las mismas preguntas hechas dos veces, a partir de las preguntas que cambiaron.
Abrir en doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Una defensa muy leída y en lenguaje claro del intervalo de Wilson para ordenar elementos por una proporción de votos de sí o no.
Abrir en evanmiller.orgLectura gratuita
Preguntas frecuentes sobre el intervalo del 95 %
¿El 95 % significa que estamos seguros al 95 % de que nuestra cifra es correcta?
No exactamente. Significa que el método que trazó el rango acierta la tasa real 19 veces de cada 20. Cualquier rango concreto contiene la tasa real o no la contiene; el 95 % es la frecuencia con la que el método acierta a lo largo de muchas mediciones.
¿Por qué no mostrar solo el porcentaje?
Porque un porcentaje sacado de pocas respuestas de IA puede moverse mucho por azar. Sin el rango, una caída del 53 % al 45 % parece noticia cuando puede ser ruido. El rango te dice cuánto puede oscilar una cifra antes de significar algo.
¿Por qué el rango se descompensa cerca del 0 % y del 100 %?
Las tasas no pueden bajar del 0 % ni superar el 100 %, así que el método de Wilson aleja el rango del extremo. 2 de 25 respuestas da aproximadamente del 2 % al 25 %, no un 8 % simétrico más o menos 11 %, que bajaría de cero.
¿Cómo estrecho el rango?
Pide más respuestas: más preguntas de compra, más motores o más días de monitorización. El ancho se reduce con la raíz cuadrada de las respuestas, así que cuatro veces más respuestas lo reducen más o menos a la mitad.
¿El rango cubre todo lo que podría estar mal?
No. Cubre el azar en qué respuestas nos tocaron. No cubre qué preguntas se hicieron, los cambios del motor entre días ni las respuestas que valoramos mal. Eso se resuelve eligiendo preguntas que los compradores hacen de verdad, volviendo a preguntar según un calendario y guardando las respuestas para que puedas revisarlas.
Dos de mis barras se solapan. ¿No ha cambiado nada?
No necesariamente. Dos rangos del 95 % de muestras idénticas se solapan más del 99 % de las veces, así que el solapamiento es una prueba muy estricta que pasa por alto cambios reales. Cuando las barras no se tocan, el cambio es real. Cuando se tocan, compara mejor las preguntas cuya respuesta cambió.
Sigue leyendo
La lista corta se está escribiendo ahora mismo.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode