Was sind Stichproben von KI-Antworten?
Stichproben von KI-Antworten heißt, dieselben Fragen auf jeder KI-Engine mehr als einmal zu stellen und jede Sichtbarkeitszahl als Schätzung aus dieser Stichprobe zu lesen, nicht als feste Tatsache. Stellen Sie einer KI-Engine dieselbe Frage zweimal, und Sie können zwei verschiedene Shortlists bekommen. Keine einzelne Antwort ist also eine Messung. Stichproben bedeuten, einen festen Satz von Fragen auf jeder Engine wiederholt zu stellen und den Anteil der Antworten, die Sie nennen, als Schätzung mit Spanne zu behandeln.
Warum müssen KI-Antworten stichprobenartig erhoben werden?
Weil die Engines nicht deterministisch sind. Die Dokumentation von OpenAI hält fest, dass Chat Completions standardmäßig nicht deterministisch sind und Ausgaben sich von Anfrage zu Anfrage unterscheiden können (OpenAI-API-Doku, gelesen am 15. Okt. 2026).
Selbst bei Temperatur null driftet derselbe Prompt. Thinking Machines Lab erzeugte 1.000 Vervollständigungen eines Prompts mit einem offenen Modell bei Temperatur null und erhielt 80 verschiedene; als Hauptursache fand es, dass die Serverlast die Batch-Größe verändert, in der jede Anfrage landet (10. September 2025, Thinking Machines). Ein Teil dessen, was eine Antwort sagt, ist, wie ausgelastet der Server war.
Wie viele Antworten sind genug?
So viele, dass das Intervall enger ist als die Veränderung, die Sie erkennen wollen. Wenn ein Modell Sie in Wahrheit in 60 % der Fälle nennt, bleibt das 95-%-Wilson-Intervall bei jeder Stichprobengröße so breit (die Rechnung):
| Antworten | Genannt | 95-%-Intervall | Breite |
|---|---|---|---|
| 5 | 3 | 23,1 % bis 88,2 % | 65 Punkte |
| 20 | 12 | 38,7 % bis 78,1 % | 39 Punkte |
| 40 | 24 | 44,6 % bis 73,7 % | 29 Punkte |
| 100 | 60 | 50,2 % bis 69,1 % | 19 Punkte |
Wie erhebt man KI-Antworten fair?
Legen Sie die Methode fest, bevor Sie Ergebnisse ansehen, und halten Sie sie in jedem Zeitraum gleich:
- Dieselben Fragen, mit denselben Worten, auf jeder Engine, damit ein Abstand zwischen Engines ein echter Unterschied ist.
- Fragen, die Sie nicht nennen, mit Markenfragen in einem eigenen Satz.
- Durchläufe über mehrere Tage verteilt, nicht in einem Schub, weil Antworten mit Last und Modell-Updates driften.
- Wörtliche Wiederholungen einer früheren Antwort verworfen: Eine Wiederholung ist keine zweite Ziehung.
- Fälle ohne Antwort, etwa keine angezeigte AI Overview, weggelassen statt als Fehltreffer gezählt.
Wie sehen Stichproben in einem echten Beispiel aus?
Das öffentliche Tesla-Beispiel (4. Okt. 2026) stellte 25 Käuferfragen einmal auf jeder von vier Engines: 100 Antworten insgesamt, aber nur 25 pro Engine. Deshalb trägt der Wert von 64 % bei ChatGPT eine Spanne von etwa 45 % bis 80 %.
Wiederholte Fragen ändern das Bild. An drei Scan-Tagen (4., 8. und 15. Oktober) ergaben fünf Formulierungen einer Tesla-Frage zu Netzspeichern je 12 frische Antworten: Zwei Formulierungen nannten Tesla 12 von 12 Mal, eine 7 von 12 Mal und zwei nie (der Beitrag). Ein Durchlauf einer Formulierung hätte jedes dieser Ergebnisse melden können.
Wie erhebt Proofsource Stichproben?
Ein Proofsource-Tarif läuft täglich oder wöchentlich. Bei einem täglichen Tarif wird jede verfolgte Frage einmal pro UTC-Tag auf jeder Engine gestellt, und jede Rate trägt ein Wilson-Intervall, sodass eine Bewegung das Rauschen übersteigen muss, bevor sie zählt. Siehe wie oft Scans laufen und Prompts.
Häufige Fragen: Stichproben von KI-Antworten
Reicht ein ChatGPT-Screenshot, um zu wissen, ob KI uns empfiehlt?
Nein. Eine Antwort, die Sie nennt, ist mit einer wahren Erwähnungsrate von nur etwa 21 % vereinbar, und ein Fehltreffer mit einer Rate von bis zu etwa 79 %. Ein Screenshot zeigt, dass etwas passieren kann, nicht wie oft.
Sollte ich dieselbe Frage mehrmals hintereinander stellen?
Verteilen Sie die Wiederholungen besser über mehrere Tage. Anfragen direkt hintereinander können gecacht oder wiederholt ausgeliefert werden, und eine wörtliche Wiederholung ist keine neue Stichprobe.
Machen ein Seed oder Temperatur null Antworten wiederholbar?
Nur teilweise. OpenAI beschreibt Ausgaben mit Seed als überwiegend deterministisch, und die Verbraucher-Apps bieten keine der beiden Einstellungen. Behandeln Sie jede Engine als Quelle von Stichproben.
Tägliche oder wöchentliche Stichproben?
Wählen Sie nach der Entscheidung. Wöchentlich passt für einen Trend über einen großen, festen Fragensatz. Täglich hilft, wenn der Satz klein ist oder Sie eine Änderung ausgeliefert haben und sehen wollen, an welchem Tag sich die Antworten bewegten und ob es hielt.
Verwandte Begriffe
- Wilson-Intervall
Ein Wilson-Intervall ist der Bereich, in dem ein gemessener Prozentwert plausibel liegen kann, je nachdem, auf wie vielen Antworten er beruht.
- Volatilität von KI-Antworten
Die Volatilität von KI-Antworten ist, wie stark sich die Marken ändern, die eine KI-Engine nennt, wenn dieselbe Frage erneut oder mit anderen Worten gestellt wird.
- Erwähnungsrate
Die Erwähnungsrate ist der Anteil der KI-Antworten auf eine Frage, die Ihre Marke nennen.
- Prompt
Bei der KI-Sichtbarkeit ist ein Prompt eine Frage, die über KI-Engines hinweg verfolgt wird, formuliert so, wie ein Käufer sie stellen würde.
Durchgerechnetes Beispiel: Tesla, öffentliche KI-Antworten, 4. Okt. 2026: der erste Scan von Tesla durch Proofsource, 25 Käuferfragen und 5 Markenfragen, eine Antwort pro Frage auf jeder von vier Engines. Eine kleine Stichprobe einer einzigen Marke, gezeigt als Beispiel, nicht als Benchmark.
Sehen Sie, wo KI Sie auslässt, und was Sie korrigieren sollten.
Sehen Sie, bei welchen Käuferfragen Ihre Marke genannt wird, wer stattdessen genannt wird und was Sie ändern sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.
Google AI OverviewsGoogle AI Mode
