Personne ne vous dit quoi faire des deux chiffres déjà affichés à l’écran
Votre chiffre de visibilité IA a bougé. L’exécution de la semaine dernière indiquait que 42 % de vos Prompts vous mentionnaient, celle de cette semaine indique 30 %. Douze points. Avant de chercher ce qui a cassé, une question plus modeste se pose : s’est-il vraiment passé quelque chose ?
Les conseils publiés sont maigres, et ils portent tous sur votre prochaine mesure. Faites plus d’échantillons. Suivez chaque semaine plutôt que chaque jour. Gardez le jeu de Prompts fixe. C’est assez juste, et cela n’aide en rien pour les deux lectures que vous avez déjà. La plupart des gens se rabattent donc sur ce que le tableau de bord rend facile et vérifient si les barres d’erreur se chevauchent. C’est le mauvais test, et il se trompe dans le sens que presque personne n’attend.
Deux intervalles à 95 % se chevauchent plus de 99 % du temps quand rien n’a changé
Mark Payton, Matthew Greenstone et Nathaniel Schenker l’ont établi dans le Journal of Insect Science en 2003. Prenez deux échantillons issus de populations réellement identiques et placez un intervalle de confiance à 95 % sur chacun. À quelle fréquence ces intervalles se chevauchent-ils ? Leur calcul pour de grands échantillons donne plus de 99 %, et leur simulation, 10 000 paires à n=10, a donné 0,995.
Vérifier si des intervalles à 95 % se chevauchent n’est donc pas un test à 5 %. C’est plutôt un test à 1 %. Vous ne déclarerez presque jamais une différence réelle, y compris quand elle l’est.
Le même article examine le cas inverse. De simples barres d’erreur standard se chevauchent 84,3 % du temps quand il ne se passe rien, donc les lire à l’œil revient à un test avec un taux de fausses alertes proche de 15 %. Une fois sur six, vous cherchez une cause qui n’existe pas.
Ils donnent aussi la correction. Pour qu’un contrôle de chevauchement se comporte comme un test à 5 %, avec des erreurs standard à peu près égales, les intervalles doivent avoir une largeur d’environ 83 % ou 84 %. À n=10, leurs intervalles à 84 % se chevauchaient 94,9 % du temps, ce qui correspond aux 5 % visés.
Une baisse, trois verdicts, et le secteur utilise le plus discret
Faisons le vrai calcul sur ce passage de 42 % à 30 %. Disons 200 Prompts sur un moteur, 84 qui vous mentionnent lors de la première exécution et 60 lors de la seconde.
- Intervalles de Wilson à 95 % : 42 % se situe entre 35,4 % et 48,9 %, et 30 % entre 24,1 % et 36,7 %. Ils se chevauchent d’environ un point. Verdict : rien à signaler.
- Un test classique de deux proportions sur les deux mêmes chiffres : z = 2,50, p = 0,012. Verdict : réel.
- Intervalles de Wilson à 84 %, selon la correction ci-dessus : de 37,2 % à 47,0 % contre de 25,7 % à 34,7 %. Nettement séparés. Verdict : réel, et désormais en accord avec le test, ce qui est tout l’intérêt de l’ajustement.
Les mêmes Prompts exécutés deux fois forment une mesure appariée, et c’est l’appariement qui donne la puissance
Une erreur plus grande se cache sous les trois. Un test de deux proportions traite les exécutions comme des échantillons indépendants. Elles ne le sont pas. Relancez les mêmes 200 Prompts sur le même moteur et chaque Prompt a été mesuré deux fois, donc la comparaison se fait Prompt par Prompt.
La plupart des Prompts n’auront pas bougé, et ceux qui vous ont mentionné les deux fois ou aucune ne disent rien d’un changement. Toute l’information se trouve dans les Prompts qui ont basculé.
Disons que 30 Prompts vous ont perdu et que 6 vous ont gagné. Même solde net de 24 Prompts, mêmes 12 points. Le test de McNemar sur ces 36 bascules, le test standard pour des données binaires appariées, donne un khi-deux de 16,0 à 1 degré de liberté, donc p vaut environ 0,00006. Le test indépendant sur des données identiques disait 0,012. L’appariement a éliminé la variance qui vient des différences entre Prompts, et laissé la variance sur laquelle portait réellement votre question.
Changez votre jeu de Prompts entre deux exécutions et vous y renoncez, et aucune statistique ne vous le rendra. Gardez le jeu fixe et lancez les nouveaux Prompts comme une série à part.
Nos alertes utilisent aussi le filtre prudent, et voici ce que cela vous coûte
Nos règles d’alerte exigent deux choses. Les intervalles de Wilson de l’ancien et du nouveau score ne doivent pas se chevaucher, et le mouvement doit dépasser un seuil que vous fixez, dans un sens que vous choisissez. Le contrôle des intervalles passe en premier, donc si les barres se touchent, rien ne se déclenche, quoi que dise le seuil.
C’est le filtre prudent, et nous l’avons choisi délibérément. Une alerte en laquelle personne n’a confiance est pire que pas d’alerte du tout. Mais d’après les chiffres ci-dessus, c’est un test à environ 1 %, donc la baisse de 12 points de l’exemple passe en silence. C’est un vrai coût, et nous préférons l’écrire plutôt que de vous le laisser découvrir.
Sous le calcul se trouve un plancher qui compte davantage. Relancez un jeu de Prompts identique sur un site que personne n’a touché et le chiffre bouge quand même, parce que les moteurs ne se répètent pas. La documentation d’OpenAI le dit clairement : les chat completions ne sont pas déterministes par défaut, et même avec une graine définie, leur système « fera de son mieux pour échantillonner de façon déterministe » et « le déterminisme n’est pas garanti ». Dans notre propre échantillonnage, nous avons vu 9 à 27 % de l’ensemble mentionné se renouveler d’un jour à l’autre, selon le moteur. Et cela sans que personne ne publie quoi que ce soit.
C’est pourquoi Proofsource propose un rapport test-retest : les mêmes Prompts fixes, le même moteur, deux fois par jour, sur un site qui n’a pas changé. Il vous donne la taille de votre propre bruit avant que vous ne fixiez un seuil par-dessus. Sautez cette étape et votre seuil est une supposition.
Où cette analyse pourrait se tromper
Payton et ses collègues ont établi leur résultat pour des moyennes issues de populations normales, en supposant des erreurs standard égales et un grand échantillon. La visibilité est une proportion, et un intervalle de Wilson devient asymétrique près de 0 et de 100 %. Le sens se transpose bien, un chevauchement à 95 % est bien trop prudent pour un test à 5 %, mais considérez 83 à 84 % comme une règle empirique pour notre cas, pas comme une démonstration. Près des extrêmes, faites le test lui-même.
L’exemple est un calcul, pas une mesure. Les 200 Prompts, les 84 et 60, les 30 bascules contre 6 sont des chiffres que nous avons choisis pour être cohérents et montrer l’écart. Les vôtres seront différents, et c’est la répartition qu’il faut regarder.
La significativité statistique et « c’est vous qui l’avez causé » sont deux affirmations distinctes, et seule la première est traitée ici. Un p de 0,00006 face au bruit d’échantillonnage dit que le comportement du moteur a changé entre les deux exécutions. Il ne dit rien du pourquoi. Avec le renouvellement que nous mesurons, un mouvement significatif peut encore être une dérive du moteur lui-même.
Le chiffre de 9 à 27 % est le nôtre. C’est ce que nous avons observé sur les moteurs que nous échantillonnons, pas une constante publiée, et il ne remplace pas la mesure du vôtre.
