Przy ponownym pytaniu marka zostawała w 78% przypadków. Po przeformułowaniu w 55%
Większość porad dotyczących testowania pytań kupujących zaleca zadawanie każdego promptu od trzech do pięciu razy, bo odpowiedzi różnią się między uruchomieniami. Chcieliśmy wiedzieć, co bardziej zmienia odczyt, to wahanie czy sformułowanie, więc zmierzyliśmy oba na tych samych danych.
Próba: 13 994 odpowiedzi z przestrzeni roboczych Proofsource od 4 do 15 października 2026 roku. To 96 marek w 69 przestrzeniach roboczych i 1908 pytań kupujących w ChatGPT, Perplexity, Claude i Google AI Overviews, pierwsza odpowiedź na pytanie, silnik i dzień, z pominięciem pytań wymieniających markę. Pytania każdej marki są pogrupowane w tematy, po jednej decyzji zakupowej w każdym, zwykle sformułowanej na trzy do pięciu sposobów.
Weź każdą odpowiedź, która wymieniła markę. Potem spójrz na to samo pytanie w tym samym silniku przy następnym zadaniu. 448 z 578 nadal wymieniało markę, czyli 77,5% (przedział 95%: od 73,9% do 80,7%). Pominęliśmy 55 par, w których silnik zwrócił wcześniejszą odpowiedź słowo w słowo, bo powtórka to nie drugie losowanie.
Teraz spójrz na inne sformułowania tej samej decyzji, w tym samym silniku, tego samego dnia. 3270 z 5934 wymieniło markę, czyli 55,1%. To, że jedno sformułowanie cię wymieniło, mniej mówiło o jego pokrewnych sformułowaniach niż o nim samym innego dnia.
Wszystkie 15 marek z wystarczającą ilością danych pokazało tę samą różnicę
Zbiorcze liczby mogą ukrywać jedną dużą markę, która wykonuje całą pracę, więc policzyliśmy to dla każdej marki osobno: 15 marek miało co najmniej dziesięć par każdego rodzaju. U wszystkich 15 pokrewne sformułowanie wymieniało markę rzadziej niż powtórzenie tego samego sformułowania. Mediana marki zachowywała nazwę przy 35% pokrewnych sformułowań i 70% powtórzeń.
Konkurenci zachowują się tak samo. Obserwowany konkurent wymieniony w jednej odpowiedzi był wymieniany przy pokrewnym sformułowaniu tego samego dnia w 40,2% przypadków (24 840 z 61 804), a przy tym samym sformułowaniu następnym razem w 77,0% (7347 z 9539).
Od strony tematów wygląda to jeszcze wyraźniej. W 840 dniach, w których marka była wymieniona przy co najmniej jednym sformułowaniu tematu w danym silniku, była wymieniona przy każdym sformułowaniu tylko 102 razy. Pozostałe 738, czyli 87,9%, były podzielone.
Pytania typu „jeden na jednego” wymieniały markę w 2,9% odpowiedzi
Część tej różnicy pochodzi z jednego kształtu pytania. Kupujący pytający o „konkurent A vs konkurent B” dostaje odpowiedź o A i B. W 1822 takich odpowiedziach marka była wymieniona w 53, czyli 2,9% (od 2,2% do 3,8%). Pytania o alternatywy dla wymienionego konkurenta wypadły znacznie lepiej, 14,9%, podobnie jak pytania z ograniczeniem ceny lub wielkości zespołu (15,1%) i zwykłe pytania „co jest najlepsze” (13,9%).
Usunięcie pytań typu „jeden na jednego” zmniejsza różnicę, ale jej nie likwiduje: pokrewne sformułowania wymieniały wtedy markę w 62,9% przypadków (2984 z 4746), wciąż wyraźnie poniżej 77,5%.
Pięć sposobów pytania o baterie sieciowe, z których dwa nigdy nie wymieniły Tesli
Tesla to nasz publiczny przykład roboczy. Jej temat magazynowania energii w sieci ma pięć sformułowań jednej decyzji, cztery silniki i trzy dni skanowania (4, 8 i 15 października; odpowiedzi z 5 października powtarzały te z 4 października słowo w słowo i nie są liczone), czyli 12 świeżych odpowiedzi na sformułowanie.
- "What are the best grid-scale battery storage systems for a utility company?" Tesla wymieniona w 12 z 12.
- Najlepsze alternatywy dla wymienionego konkurenta w magazynowaniu energii na skalę sieciową: 12 z 12.
- "Which commercial battery energy storage system should I choose for peak shaving at a large facility?" 7 z 12, i ani razu w Claude.
- "How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?" 0 z 12.
- "What should I look for when comparing turnkey battery storage providers for a solar farm?" 0 z 12.
Przegranie sformułowania na rzecz nikogo to inny problem
Te dwa ostatnie zera to nie konkurent pokonujący Teslę. Żadna z 24 odpowiedzi nie wymieniła Tesli ani żadnego z dostawców wymienianych przy pozostałych trzech sformułowaniach. Silniki odpowiadały cenami za MWh i listami kontrolnymi zakupów. Kupujący, który pyta w ten sposób, dostaje kryteria, a ten, kto napisał kryteria, kształtuje krótką listę, którą kupujący zbuduje później.
Testując sformułowania, rozdziel więc każde przegrane na dwie grupy. Wymieniono kogoś innego: masz krótką listę, na którą trzeba się dostać, a strony cytowane przez silnik mówią, gdzie. Nie wymieniono nikogo: masz poradnik do napisania, czyli taką stronę, jaką silnik cytuje, gdy wyjaśnia, jak wybierać.
Jak testować sformułowania, biorąc to wszystko pod uwagę
Pisz sformułowania według kształtu. Zamiana „best” na „top” testuje bardzo niewiele. Obejmij kształty, przez które przechodzi kupujący: otwarte pytanie „co jest najlepsze”, to samo pytanie z ograniczeniem, alternatywy dla wymienionego konkurenta oraz pytanie o koszt lub kryteria.
- Raportuj każde sformułowanie osobno, zanim je uśrednisz. Wynik tematu łączy 12 z 12 i 0 z 12 w przeciętną liczbę, która nie opisuje żadnego z nich.
- Pytania typu „jeden na jednego” trzymaj w osobnej grupie. Warto o nich wiedzieć, a każdą średnią ściągną w dół.
- Powtarzaj każde sformułowanie w różne dni, a potem odrzucaj odpowiedzi będące powtórkami słowo w słowo.
- Popraw sformułowanie, które przegrywa, a potem zadaj ponownie dokładnie to brzmienie. Wygrana przy pokrewnym sformułowaniu się nie liczy.
Jak radzi sobie z tym Proofsource
Proofsource obserwuje każde sformułowanie jako osobne pytanie, pogrupowane w tematy, w każdym silniku z planu. Dla każdej odpowiedzi zapisuje wymienione marki i cytowane strony, więc przegrane sformułowanie pokazuje, kogo wymieniono zamiast ciebie, albo że nie wymieniono nikogo.
Gdzie możemy się mylić
Wszystkie poza 18 z 1908 sformułowań wygenerował Proofsource na podstawie strony każdej marki i jej konkurentów, więc trzymają się naszych kształtów. Prawdziwi kupujący formułują pytania w sposób, którego nie testowaliśmy. Większość pytań zadano w jednym lub dwóch dniach, kilka w maksymalnie jedenastu, więc liczba dla powtórzeń opiera się na 578 parach i ciąży ku markom z dłuższą historią.
Liczby par nie są niezależne: jedna odpowiedź może występować w kilku parach, więc przedziały podaliśmy tylko tam, gdzie każda liczba dotyczy osobnych odpowiedzi, a w głównym porównaniu oparliśmy się na sprawdzeniu dla poszczególnych marek. „Wymieniona” to odczyt odpowiedzi przez naszą ekstrakcję, a pominięcie pojawia się jako różnica po każdej ze stron. Dwanaście dni w październiku to jeden wycinek, a aktualizacja modelu może zmienić każdą z tych liczb.
