Una risposta ti ha menzionato
Questa settimana1 su 1
100%
Visibilità: 100%. Questa domanda è tua.
Un numero oscilla. L’intervallo al 95% mostra cosa è reale.
Fai all’IA le stesse domande due volte e ottieni un numero diverso. Ogni numero di Proofsource ha un intervallo, così distingui un cambiamento reale dalla fortuna.
200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Senza carta.
Il tasso reale è da qualche parte qui dentroIntervallo al 95%
dal 43% al 62%
0%50%100%
Quella fascia è l’intervallo al 95%. Un numero oscilla. La fascia ti dice cosa è reale.
Stessi dati, due report. Su quale agiresti?
Un numero senza il suo intervallo può essere esatto e portarti comunque nella direzione sbagliata. Passa da una lettura all’altra.
Il calo che non c’era
Settimana scorsa4 su 10
40%
Questa settimana2 su 10
20%
Visibilità dimezzata, dal 40% al 20%. Qualcosa si è rotto.
La classifica troppo serrata
Il tuo brand6 su 10
60%
Concorrente4 su 10
40%
Sei in testa, 60% a 40%.
La vittoria che è reale
Prima della correzione60 su 200
30%
Dopo la correzione100 su 200
50%
Visibilità salita dal 30% al 50%.
Ogni titolo qui sopra è aritmeticamente corretto, e tre su quattro ti porterebbero nella direzione sbagliata. Cambia vista per capire perché.
Un numero più piccolo di cui ti puoi fidare vale più di uno più grande che non è reale. È tutta qui la ragione dell’intervallo.
La risposta in una riga
53 risposte su 100 nominavano Tesla, quindi il suo tasso di menzione è 53%, con un intervallo al 95% da 43% a 62%. Poni di nuovo le stesse domande d’acquisto e il 53% risulta un po’ diverso ogni volta; l’intervallo è un range tracciato in modo che, 19 volte su 20, contenga il tasso che otterresti se potessi chiedere all’infinito.
Il punto è il tasso che abbiamo misurato, 53.0%. La barra è l’intervallo al 95%, da 43.3% a 62.5%. Leggilo così: Tesla viene menzionata più o meno tra il 43% e il 62% delle risposte a queste domande, molto probabilmente intorno al 53%.
Tienila d’occhio: fai le stesse domande ancora e ancora
Tra questi report non cambia nulla: il tasso vero è fisso. Solo il caso cambia quali risposte tornano. Premi il pulsante e guarda dove finisce ogni report.
Tasso reale (quello che otterresti chiedendo all’infinito)
Risposte per report
10 report, ciascuno da 25 risposte. Il numero principale andava da 24.0% a 52.0%, anche se non era cambiato nulla: il tasso reale è rimasto al 40%.
10 su 10 intervalli (100%) contengono il tasso reale, indicato dalla linea tratteggiata. Continua a chiedere e si stabilizza a 93.6% per questa impostazione, vicino a 19 su 20: le risposte sono numeri interi, quindi il valore esatto oscilla un po’ intorno al 95%. Nessuna assenza ancora; continua a chiedere e comparirà quella arancione.
Prova con i tuoi numeri
Lo stesso calcolo che il prodotto fa su ogni numero: l’intervallo score di Wilson al 95%.
53.0% tasso di menzione
Intervallo al 95%: da 43.3% a 62.5%, circa 9.6 punti in più o in meno.
Aumenta le risposte e guarda l’intervallo stringersi: quattro volte le risposte, circa metà dell’ampiezza.
Perché le risposte dell’IA hanno bisogno di un intervallo
I motori di IA non danno mai due volte la stessa risposta. Fai la stessa domanda domani, o formulala in modo leggermente diverso, e i brand menzionati cambiano.
Nel nostro monitoraggio, il 47% dei cambiamenti quotidiani nelle risposte dell’IA si è invertito il giorno dopo (40 domande d’acquisto, quattro motori, fino a nove giorni). Un brand menzionato con una formulazione di una domanda è stato menzionato con una formulazione diversa solo nel 55% dei casi (13.994 risposte).
Quindi una singola risposta, o un singolo giorno, è un’estrazione da un bersaglio in movimento. L’intervallo trasforma molte estrazioni in un’affermazione onesta: il tasso, e quanto possiamo esserne sicuri.
Più risposte, intervallo più stretto
L’ampiezza dipende soprattutto da quante risposte ci sono dietro il numero. Trascina lungo la curva.
| Risposte | Menzionato (al 30%) | Intervallo di Wilson al 95% | Più o meno |
|---|---|---|---|
| 10 | 3 su 10 | da 10,8% a 60,3% | circa 24,8 punti |
| 25 | 8 su 25 | da 17,2% a 51,6% | circa 17,2 punti |
| 50 | 15 su 50 | da 19,1% a 43,8% | circa 12,3 punti |
| 100 | 30 su 100 | da 21,9% a 39,6% | circa 8,8 punti |
| 200 | 60 su 200 | da 24,1% a 36,7% | circa 6,3 punti |
| 400 | 120 su 400 | da 25,7% a 34,7% | circa 4,5 punti |
| 1000 | 300 su 1000 | da 27,2% a 32,9% | circa 2,8 punti |
Il cambiamento è reale o è rumore?
La domanda che solleva ogni report settimanale. Tre regole la coprono.
- I range non si toccano: il cambiamento è reale. Agisci.
- I range si toccano: questo non dimostra che non sia cambiato nulla. Due range al 95% da campioni identici si sovrappongono più del 99% delle volte, quindi la sovrapposizione è un test molto severo (perché le barre d’errore sovrapposte non sono il test). Confronta invece le domande passate da nominato a non nominato, e viceversa.
- I nostri avvisi sono volutamente rigorosi: scattano solo quando i range si separano e il movimento supera la soglia che hai impostato, così ogni avviso che ricevi è affidabile.
Cos’è l’intervallo di Wilson
Il metodo dietro ogni intervallo che mostriamo, pubblicato dallo statistico Edwin B. Wilson nel 1927 e quello che la letteratura statistica raccomanda per un tasso ricavato da un numero modesto di risultati sì o no.
Ogni risposta dell’IA nomina il tuo brand oppure no, quindi il tasso di menzione è una quota di risultati sì/no: quella che gli statistici chiamano proporzione binomiale. Il metodo di Wilson traccia l’intervallo attorno a quella quota in due passaggi. Sposta leggermente il centro verso il 50%, di più quando le risposte sono poche, e poi traccia attorno a quel centro un intervallo la cui ampiezza dipende dal tasso e dal numero di risposte. Con p la quota di risposte che ti hanno nominato, n il numero di risposte e z = 1,96 per il 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
La formula più semplice della maggior parte dei manuali, il tasso più o meno 1,96 errori standard (l’intervallo di Wald), cede proprio dove vive la visibilità nell’IA: campioni piccoli e tassi vicini allo 0% o al 100%. Le stesse risposte, nei due modi:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, sotto zero | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, nessun intervallo | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, nessun intervallo | 86.7% to 100.0% |
Per questo la rassegna dei metodi più comuni di Brown, Cai e DasGupta su Statistical Science (2001) raccomanda Wilson per campioni di 40 o meno, Agresti e Coull (1998) hanno trovato che copre il tasso reale in modo più affidabile della formula da manuale, e il confronto di sette metodi di Newcombe su Statistics in Medicine (1998) lo ha preferito. Dashboard, report, esportazioni e API calcolano tutti lo stesso intervallo di Wilson, così un numero significa la stessa cosa ovunque lo leggi. La formula svolta è anche in Che cos’è un intervallo di Wilson?, e ogni numero che calcoliamo è descritto in Metodologia.
Riferimenti
Gli articoli dietro il metodo, così puoi verificare i calcoli da solo.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
L’articolo originale: l’intervallo score per una proporzione su cui si basano i nostri intervalli.
Apri su doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
La rassegna di riferimento sui metodi. Mostra che l’intervallo più o meno dei manuali si comporta male e raccomanda Wilson per i campioni piccoli.
Apri su doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Rileva che l’intervallo di Wilson (score) copre il tasso reale in modo più affidabile della formula da manuale.
Apri su doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Confronta sette metodi sugli stessi casi e preferisce l’intervallo di Wilson.
Apri su doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Il manuale del National Institute of Standards and Technology statunitense presenta il metodo di Wilson, osservando che è raccomandato da Brown, Cai e DasGupta e da Agresti e Coull.
Apri su itl.nist.govLettura libera - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Perché due intervalli al 95% che si sovrappongono non significano che nulla è cambiato: la sovrapposizione si comporta come un test all’1% circa, non al 5%.
Apri su pmc.ncbi.nlm.nih.govLettura libera - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
Il test per confrontare le stesse domande poste due volte, in base alle domande che si sono ribaltate.
Apri su doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Una spiegazione in linguaggio semplice, molto letta, a favore dell’intervallo di Wilson per classificare elementi in base a una quota di voti sì/no.
Apri su evanmiller.orgLettura libera
Domande frequenti sull’intervallo del 95%
95% significa che siamo sicuri al 95% che il nostro numero sia giusto?
Non esattamente. Significa che il metodo che ha tracciato l’intervallo cattura il tasso vero 19 volte su 20. Ogni singolo intervallo contiene il tasso vero oppure no; il 95% indica quante volte il metodo ci azzecca su molte misurazioni.
Perché non mostrare solo la percentuale?
Perché una percentuale calcolata su poche risposte dell’IA può muoversi molto per caso. Senza l’intervallo, un calo dal 53% al 45% sembra una notizia quando può essere rumore. L’intervallo ti dice quanto può oscillare un numero prima di significare qualcosa.
Perché l’intervallo è asimmetrico vicino allo 0% e al 100%?
Un tasso non può scendere sotto lo 0% né superare il 100%, quindi il metodo di Wilson allontana l’intervallo dal bordo. 2 risposte su 25 danno circa dal 2% al 25%, non un simmetrico 8% più o meno 11%, che andrebbe sotto zero.
Come restringo l’intervallo?
Raccogli più risposte: più domande d’acquisto, più motori o più giorni di monitoraggio. L’ampiezza si riduce con la radice quadrata delle risposte, quindi quattro volte le risposte la dimezzano più o meno.
L’intervallo copre tutto ciò che potrebbe essere sbagliato?
No. Copre il caso nelle risposte che ci sono capitate. Non copre quali domande sono state poste, i cambiamenti dei motori tra un giorno e l’altro o le risposte che abbiamo giudicato male. Questi aspetti si gestiscono scegliendo domande che gli acquirenti fanno davvero, riproponendole secondo un calendario e conservando le risposte così che tu possa verificarle.
Due delle mie barre si sovrappongono. Non è cambiato nulla?
Non necessariamente. Due intervalli al 95% da campioni identici si sovrappongono oltre il 99% delle volte, quindi la sovrapposizione è un test molto severo che si perde movimenti reali. Quando le barre non si toccano, il cambiamento è reale. Quando si toccano, confronta invece le domande che hanno cambiato risposta.
Da leggere dopo
La rosa ristretta si sta scrivendo proprio ora.
Scopri quali domande d’acquisto menzionano il tuo brand, chi viene menzionato al posto tuo e cosa correggere. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Senza carta.
200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode