Une réponse vous a nommé
Cette semaine1 sur 1
100%
Visibilité : 100 %. Cette question est à vous.
Un chiffre fluctue. L’intervalle à 95 % montre ce qui est réel.
Posez deux fois les mêmes questions à l’IA et vous obtenez un chiffre différent. Chaque chiffre de Proofsource est accompagné d’une fourchette, pour distinguer un vrai changement d’un coup de chance.
200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
Le vrai taux se situe quelque part iciIntervalle à 95 %
43 % à 62 %
0%50%100%
Cette bande est l’intervalle à 95 %. Un chiffre seul oscille. La bande vous dit ce qui est réel.
Mêmes données, deux rapports. Sur lequel agiriez-vous ?
Un chiffre sans sa fourchette peut être parfaitement exact et vous envoyer dans la mauvaise direction. Passez d’une lecture à l’autre.
La baisse qui n’en était pas une
La semaine dernière4 sur 10
40%
Cette semaine2 sur 10
20%
Visibilité divisée par deux, de 40 % à 20 %. Quelque chose a cassé.
Le classement trop serré
Votre marque6 sur 10
60%
Concurrent4 sur 10
40%
Vous êtes en tête, 60 % contre 40 %.
La victoire qui est réelle
Avant le correctif60 sur 200
30%
Après le correctif100 sur 200
50%
Visibilité en hausse, de 30 % à 50 %.
Chaque titre ci-dessus est arithmétiquement juste, et trois sur quatre vous enverraient dans la mauvaise direction. Changez de vue pour comprendre pourquoi.
Un chiffre plus petit mais fiable vaut mieux qu’un chiffre plus gros mais faux. C’est toute la raison d’être de la fourchette.
La réponse en une ligne
53 réponses sur 100 citaient Tesla : son taux de mention est donc de 53%, avec un intervalle à 95 % de 43% à 62%. Posez à nouveau les mêmes questions d’achat et le 53% varie un peu à chaque fois ; l’intervalle est une fourchette construite pour contenir, 19 fois sur 20, le taux que vous obtiendriez en posant la question à l’infini.
Le point est le taux mesuré, 53.0%. La barre est l’intervalle à 95 %, de 43.3% à 62.5%. Lisez-le ainsi : Tesla est mentionnée dans environ 43% à 62% des réponses à ces questions, le plus probablement autour de 53%.
Surveillez : posez les mêmes questions encore et encore
Rien ne change entre ces rapports : le vrai taux est fixe. Seul le hasard change les réponses obtenues. Appuyez sur le bouton et regardez où tombe chaque rapport.
Taux réel (ce que vous obtiendriez en posant la question indéfiniment)
Réponses par rapport
10 rapports, chacun sur 25 réponses. Le chiffre affiché allait de 24.0% à 52.0%, alors que rien n’avait changé : le taux réel restait à 40 %.
10 sur 10 intervalles (100 %) contiennent le taux réel, marqué par la ligne pointillée. À force de poser la question, cela se stabilise à 93.6% pour ce réglage, proche de 19 sur 20 : les réponses sont des nombres entiers, donc le chiffre exact oscille un peu autour de 95 %. Pas encore d’absence ; continuez à poser des questions et une orange finira par apparaître.
Essayez vos propres chiffres
Le même calcul que le produit applique à chaque chiffre : l’intervalle de score de Wilson à 95 %.
53.0% taux de mention
Intervalle à 95 % : 43.3% à 62.5%, environ 9.6 points de part et d’autre.
Augmentez le nombre de réponses et regardez la fourchette se resserrer : quatre fois plus de réponses, à peu près deux fois moins de largeur.
Pourquoi les réponses de l’IA ont besoin d’une plage
Les moteurs IA ne donnent jamais deux fois la même réponse. Posez la même question demain, ou formulez-la un peu autrement, et les marques nommées changent.
Dans notre propre suivi, 47 % des changements d’un jour à l’autre dans les réponses de l’IA se sont inversés le lendemain (40 questions d’achat, quatre moteurs, jusqu’à neuf jours). Une marque nommée sur une formulation d’une question ne l’était sur une formulation remaniée que 55 % du temps (13 994 réponses).
Une seule réponse, ou une seule journée, n’est donc qu’un tirage sur une cible mouvante. L’intervalle transforme de nombreux tirages en une affirmation honnête : le taux, et le degré de certitude qu’on peut lui accorder.
Plus de réponses, une fourchette plus étroite
La largeur dépend surtout du nombre de réponses derrière le chiffre. Faites glisser le long de la courbe.
| Réponses | Mentionné (à 30 %) | Intervalle de Wilson à 95 % | Plus ou moins |
|---|---|---|---|
| 10 | 3 sur 10 | 10,8 % à 60,3 % | environ 24,8 points |
| 25 | 8 sur 25 | 17,2 % à 51,6 % | environ 17,2 points |
| 50 | 15 sur 50 | 19,1 % à 43,8 % | environ 12,3 points |
| 100 | 30 sur 100 | 21,9 % à 39,6 % | environ 8,8 points |
| 200 | 60 sur 200 | 24,1 % à 36,7 % | environ 6,3 points |
| 400 | 120 sur 400 | 25,7 % à 34,7 % | environ 4,5 points |
| 1 000 | 300 sur 1 000 | 27,2 % à 32,9 % | environ 2,8 points |
Un changement est-il réel, ou du bruit ?
La question que soulève chaque rapport hebdomadaire. Trois règles y répondent.
- Les fourchettes ne se touchent pas : le changement est réel. Agissez.
- Les fourchettes se touchent : cela ne prouve pas que rien n’a changé. Deux fourchettes à 95 % issues d’échantillons identiques se chevauchent plus de 99 % du temps : le chevauchement est donc un test très strict (pourquoi des barres d’erreur qui se chevauchent ne sont pas le bon test). Comparez plutôt les questions passées de cité à non cité, et inversement.
- Nos alertes sont volontairement strictes : elles ne se déclenchent que lorsque les fourchettes se séparent et que le mouvement dépasse le seuil fixé ; une alerte reçue est donc une alerte fiable.
Ce qu’est l’intervalle de Wilson
La méthode derrière chaque fourchette que nous affichons, publiée par le statisticien Edwin B. Wilson en 1927, et celle que recommande la littérature statistique pour un taux issu d’un nombre modeste de résultats oui/non.
Chaque réponse de l’IA nomme votre marque ou ne la nomme pas, donc un taux de mention est une part de résultats oui ou non : ce que les statisticiens appellent une proportion binomiale. La méthode de Wilson trace la fourchette autour de cette part en deux temps. Elle rapproche légèrement le centre de 50 %, davantage quand il y a peu de réponses, puis trace autour de ce centre une fourchette dont la largeur dépend du taux et du nombre de réponses. Avec p la part des réponses qui vous ont nommé, n le nombre de réponses et z = 1,96 pour 95 % :
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
La formule plus simple de la plupart des manuels, le taux plus ou moins 1,96 erreur type (l’intervalle de Wald), échoue précisément là où vit la visibilité IA : petits échantillons et taux proches de 0 % ou de 100 %. Les mêmes réponses, des deux façons :
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, en dessous de zéro | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, aucune fourchette | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, aucune fourchette | 86.7% to 100.0% |
C’est pourquoi la revue des méthodes courantes de Brown, Cai et DasGupta dans Statistical Science (2001) recommande Wilson pour les échantillons de 40 ou moins, pourquoi Agresti et Coull (1998) ont constaté qu’il couvre le vrai taux de façon plus fiable que la formule des manuels, et pourquoi la comparaison de sept méthodes par Newcombe dans Statistics in Medicine (1998) le privilégie. Le tableau de bord, les rapports, les exports et l’API calculent tous le même intervalle de Wilson, si bien qu’un chiffre veut dire la même chose partout où vous le lisez. La formule détaillée figure aussi dans Qu’est-ce qu’un intervalle de Wilson ?, et chaque chiffre que nous calculons est décrit dans Méthodologie.
Références
Les articles derrière la méthode, pour vérifier les calculs vous-même.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
L’article original : l’intervalle de score d’une proportion qu’utilisent nos fourchettes.
Ouvrir sur doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
La revue de référence des méthodes. Elle montre que l’intervalle plus ou moins des manuels se comporte mal et recommande Wilson pour les petits échantillons.
Ouvrir sur doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Montre que l’intervalle (de score) de Wilson couvre le vrai taux de façon plus fiable que la formule des manuels.
Ouvrir sur doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Compare sept méthodes sur les mêmes cas et privilégie l’intervalle de score de Wilson.
Ouvrir sur doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Le manuel du National Institute of Standards and Technology américain présente la méthode de Wilson, en notant qu’elle est recommandée par Brown, Cai et DasGupta ainsi que par Agresti et Coull.
Ouvrir sur itl.nist.govLecture gratuite - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Pourquoi deux plages à 95 % qui se chevauchent ne signifient pas que rien n’a changé : le chevauchement se comporte comme un test à environ 1 %, pas 5 %.
Ouvrir sur pmc.ncbi.nlm.nih.govLecture gratuite - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
Le test pour comparer les mêmes questions posées deux fois, d’après les questions qui ont basculé.
Ouvrir sur doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Un plaidoyer très lu, en langage clair, pour l’intervalle de Wilson lorsqu’on classe des éléments selon une part de votes oui/non.
Ouvrir sur evanmiller.orgLecture gratuite
Questions fréquentes sur l’intervalle à 95 %
95 % veut-il dire que nous sommes sûrs à 95 % que notre chiffre est juste ?
Pas tout à fait. Cela signifie que la méthode qui a produit l’intervalle capte le vrai taux 19 fois sur 20. Un intervalle donné contient le vrai taux ou ne le contient pas ; les 95 % disent à quelle fréquence la méthode tombe juste sur de nombreuses mesures.
Pourquoi ne pas afficher simplement le pourcentage ?
Parce qu’un pourcentage tiré d’un petit nombre de réponses d’IA peut beaucoup varier par hasard. Sans la fourchette, une baisse de 53 % à 45 % ressemble à une nouvelle alors que ce peut être du bruit. La fourchette indique de combien un chiffre peut osciller avant de signifier quelque chose.
Pourquoi la plage est-elle asymétrique près de 0 % et de 100 % ?
Un taux ne peut pas descendre sous 0 % ni dépasser 100 %, donc la méthode de Wilson écarte l’intervalle du bord. 2 réponses sur 25 donnent environ 2 % à 25 %, et non un symétrique 8 % plus ou moins 11 %, qui passerait sous zéro.
Comment réduire l’intervalle ?
Obtenez plus de réponses : plus de questions d’achat, plus de moteurs ou plus de jours de suivi. La largeur diminue avec la racine carrée du nombre de réponses : quatre fois plus de réponses la divisent à peu près par deux.
La fourchette couvre-t-elle tout ce qui pourrait être faux ?
Non. Il couvre le hasard des réponses que nous avons obtenues. Il ne couvre ni le choix des questions, ni les changements de moteur d’un jour à l’autre, ni les réponses que nous aurions mal jugées. Ceux-là se gèrent en choisissant des questions que les acheteurs posent vraiment, en les reposant à intervalles réguliers et en conservant les réponses pour que vous puissiez les vérifier.
Deux de mes barres se chevauchent. Rien n’a changé ?
Pas forcément. Deux intervalles à 95 % issus d’échantillons identiques se chevauchent plus de 99 % du temps : le chevauchement est donc un test très strict qui passe à côté de vrais mouvements. Quand les barres ne se touchent pas, le changement est réel. Quand elles se touchent, comparez plutôt les questions dont la réponse a changé.
À lire ensuite
La liste restreinte s’écrit en ce moment même.
Voyez quelles questions d’achat nomment votre marque, qui est nommé à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode