Une vérification qui vous a mentionné est compatible avec un taux réel de 20,7 %
La façon la plus courante pour une marque de savoir où elle en est dans la recherche IA, c’est que quelqu’un pose la question une fois, lit la réponse, puis se détend ou panique. Cette réponse unique devient alors le chiffre que tout le monde répète à la réunion suivante.
Traitez-la pour ce qu’elle est. Une question, posée une fois, avec une issue oui ou non, est un échantillon de taille un tiré d’une pièce dont vous ne connaissez pas le biais. L’intervalle de score de Wilson est la méthode standard pour encadrer ce type de proportion. Appliquez-le à un succès sur un essai à 95 % de confiance et le résultat est de 20,7 % à 100 %.
En clair : un modèle qui vous mentionne lors d’une seule vérification est tout à fait compatible avec un modèle qui vous mentionnerait dans une réponse sur cinq. La capture d’écran ne peut pas les distinguer. Vous non plus.
L’absence est pire. Zéro sur un donne un intervalle de 0 % à 79,3 %, et des équipes réécrivent régulièrement un plan de contenu sur cette seule base.
Le même Prompt renvoie une réponse différente selon qui d’autre posait des questions
Cela n’aurait pas d’importance si les moteurs étaient déterministes. Ils ne le sont pas, et la raison est plus précise que l’habituel geste vague vers le hasard. OpenAI le dit clairement dans sa propre documentation d’API : les Chat Completions ne sont pas déterministes par défaut, ce qui signifie que les sorties du modèle peuvent différer d’une requête à l’autre. Une graine vous offre ce que la même page appelle une sortie majoritairement déterministe, et OpenAI expose une empreinte système pour que vous sachiez quand un changement côté serveur a déplacé le sol sous vos pieds.
Thinking Machines Lab l’a mesuré. En septembre 2025, le laboratoire a échantillonné 1 000 complétions de Qwen3-235B-A22B-Instruct-2507 à température zéro, c’est-à-dire un échantillonnage glouton qui devrait en théorie être parfaitement reproductible, avec le Prompt « Tell me about Richard Feynman ». Ils ont obtenu 80 complétions uniques, la plus fréquente apparaissant 78 fois. Les 1 000 exécutions concordaient sur les 102 premiers jetons et se séparaient au 103e : 992 continuaient avec « Queens, New York » et 8 avec « New York City ».
La cause qu’ils identifient n’est pas l’aléa des GPU. Les noyaux de calcul sont déterministes d’une exécution à l’autre, mais ils ne sont pas invariants au lot, donc une requête subit une arithmétique légèrement différente selon le lot dans lequel elle tombe, et la taille du lot dépend de la charge du serveur. Leur conclusion mérite deux lectures : la raison principale pour laquelle presque tous les points d’accès d’inférence de LLM ne sont pas déterministes est que la charge, et donc la taille du lot, varie de façon non déterministe.
Ce qui signifie que la réponse que vous avez capturée dépend en partie du nombre d’inconnus qui interrogeaient le même point d’accès à la même seconde. Ce n’est pas un signal sur votre marque.
Vingt échantillons laissent encore une fourchette de quarante points
Une fois admis qu’un chiffre de visibilité est une proportion estimée à partir d’un échantillon, la question suivante est la taille que doit avoir l’échantillon. L’intervalle de Wilson y répond, et la réponse rend modeste. Tous ces cas supposent que le modèle vous mentionne 60 % du temps :
- 5 échantillons, 3 mentions : de 23,1 % à 88,2 %. Une fourchette de 65 points. Vous savez que la marque existe.
- 20 échantillons, 12 mentions : de 38,7 % à 78,1 %. Une fourchette de 39 points, soit l’essentiel de l’échelle.
- 40 échantillons, 24 mentions : de 44,6 % à 73,7 %. Vous pouvez maintenant exclure l’invisibilité.
- 100 échantillons, 60 mentions : de 50,2 % à 69,1 %. Encore 19 points de large.
- 366 échantillons : le premier point où l’intervalle se resserre à plus ou moins 5 points. Atteindre plus ou moins 3 en demande 1 021.
L’essentiel des mouvements affichés dans un tableau de bord de visibilité IA n’a pas eu lieu
C’est là que le calcul commence à coûter de l’argent. Échantillonnez un Prompt 40 fois en semaine un et voyez 24 mentions, puis 40 fois en semaine deux et voyez 32. Cela se lit comme un bond de 60 % à 80 %, et ce sera sur une diapositive d’ici vendredi.
Les deux intervalles vont de 44,6 % à 73,7 % et de 65,2 % à 89,5 %. Ils se chevauchent. Une variation de 20 points sur 40 échantillons n’est pas encore un résultat, et la bonne chose à dire à la salle est que rien n’a été établi. Faites-le quelques fois et les gens cessent de courir après le bruit.
C’est pourquoi, dans Proofsource, nous conditionnons les alertes à l’intervalle plutôt qu’à l’estimation ponctuelle, et pourquoi chaque pourcentage de visibilité de nos rapports porte un intervalle de Wilson à côté. Une alerte qui se déclenche quand un chiffre franchit une ligne se déclenche sans arrêt dans un système aussi bruité. Une alerte qui se déclenche quand les intervalles se séparent se déclenche quand quelque chose s’est passé.
La même logique vaut pour le zéro. Aucune mention sur 20 échantillons laisse une borne supérieure de 16,1 %, et aucune sur 40 laisse 8,8 %. Si vous voulez affirmer qu’un moteur ne vous mentionne jamais, 40 échantillons est à peu près le point où cette affirmation commence à avoir un sens.
Utilisez l’intervalle de Wilson, pas celui qu’on vous a appris
Une remarque technique, parce que l’alternative évidente échoue précisément dans les cas qui comptent ici. L’intervalle que la plupart des gens ont appris est l’intervalle de Wald, construit à partir de la simple approximation normale. Sur un succès en un essai, il donne de 100 % à 100 %, et sur zéro en un essai, de 0 % à 0 %. Il vous dit qu’une seule vérification est certaine, ce qui est précisément l’erreur que nous cherchons à corriger.
C’est bien documenté. La revue de Brown, Cai et DasGupta dans Statistical Science a constaté que la couverture erratique de l’intervalle de Wald est bien plus persistante qu’on ne le pense, que les recommandations courantes des manuels sur les cas où il serait sûr sont trompeuses et défaillantes et ne méritent aucune confiance, et elle recommande Wilson pour les petits échantillons. L’échantillonnage des moteurs de réponse, ce sont des petits échantillons, parce que chaque Prompt que vous suivez a son propre décompte.
Que faire lundi
Rien de tout cela n’exige d’acheter quoi que ce soit. Cela exige de changer ce que vous notez.
- Cessez de rapporter une vérification unique. Si une capture d’écran est la preuve, le constat est que la marque peut apparaître, et rien de plus.
- Choisissez une taille d’échantillon avant de regarder les données, et gardez-la identique à chaque période. Changer n entre deux lectures rend deux chiffres incomparables, même quand les deux sont honnêtes.
- Rapportez l’intervalle, pas le point. Une ligne qui indique 60 % avec une fourchette de 45 à 74 se surinterprète moins facilement qu’une ligne qui indique 60 %.
- Fixez le seuil d’alerte sur la séparation des intervalles, et répartissez les échantillons sur plusieurs jours. Deux intervalles qui se chevauchent ne sont pas un changement, aussi différents que paraissent leurs milieux.
Où cette analyse pourrait se tromper
Les chiffres de Wilson ci-dessus sont un calcul exact sur des données indiquées, donc les chiffres ne font pas de doute. L’hypothèse de modélisation qui les sous-tend, si. Les intervalles de Wilson supposent des essais indépendants avec une probabilité de succès fixe, et les requêtes répétées à un moteur en ligne ne sont pas proprement indépendantes : la personnalisation, le cache, le contexte de session et une nouvelle version de modèle publiée en milieu de semaine violent tous cette hypothèse. Considérez ces intervalles comme un plancher de votre incertitude, pas comme son bilan complet.
L’expérience de Thinking Machines portait sur un modèle open weights auto-hébergé sur l’infrastructure du laboratoire, pas sur ChatGPT, Gemini ou Perplexity. Elle établit le mécanisme, pas la variance d’un produit commercial, et aucun de ces éditeurs ne publie la sienne.
Le chiffre de 60 % dans le tableau des tailles d’échantillon est illustratif. Nous l’avons choisi parce que les intervalles sont les plus larges vers le milieu, ce qui en fait le cas prudent. Une marque à 5 % ou 95 % a besoin de moins d’échantillons pour la même précision absolue.
Ce que nous défendrions, c’est le sens de l’erreur. Les petits échantillons, les vérifications uniques et les estimations ponctuelles sans intervalle poussent tous dans la même direction : croire que vous avez mesuré quelque chose alors que ce n’est pas le cas.
