Riproposta, il brand è rimasto nel 78% dei casi. Riformulata, nel 55%
La maggior parte dei consigli su come testare le domande d’acquisto dice di porre ogni prompt da tre a cinque volte, perché le risposte variano da un’esecuzione all’altra. Volevamo sapere cosa sposta di più una lettura, quell’oscillazione o la formulazione, quindi abbiamo misurato entrambe sugli stessi dati.
Il campione: 13.994 risposte dai workspace di Proofsource tra il 4 e il 15 ottobre 2026. Sono 96 brand in 69 workspace e 1.908 domande d’acquisto su ChatGPT, Perplexity, Claude e Google AI Overviews, prima risposta per domanda, motore e giorno, escluse le domande che nominano il brand. Le domande di ogni brand sono raggruppate in argomenti, una decisione d’acquisto ciascuno, di solito formulata in tre-cinque modi.
Prendiamo ogni risposta che ha menzionato il brand. Poi guardiamo la stessa domanda sullo stesso motore la volta successiva in cui l’abbiamo posta. 448 su 578 menzionavano ancora il brand, il 77,5% (intervallo al 95% dal 73,9% all’80,7%). Abbiamo escluso 55 coppie in cui il motore ha restituito la risposta precedente parola per parola, perché una ripetizione non è una seconda estrazione.
Ora guardiamo le altre formulazioni della stessa decisione, sullo stesso motore, lo stesso giorno. 3.270 su 5.934 menzionavano il brand, il 55,1%. Una formulazione che ti menzionava era una guida più debole per le sue sorelle che per se stessa in un altro giorno.
Tutti i 15 brand con dati sufficienti hanno mostrato la stessa differenza
I numeri aggregati possono nascondere un solo grande brand che fa tutto il lavoro, quindi abbiamo rifatto il calcolo per brand: 15 brand avevano almeno dieci coppie di ciascun tipo. In tutti e 15, una formulazione sorella menzionava il brand meno spesso di una ripetizione della stessa formulazione. Il brand mediano manteneva il nome nel 35% delle formulazioni sorelle e nel 70% delle ripetizioni.
I concorrenti si comportano allo stesso modo. Un concorrente monitorato menzionato in una risposta veniva menzionato in una formulazione sorella quel giorno nel 40,2% dei casi (24.840 su 61.804), e nella stessa formulazione la volta successiva nel 77,0% (7.347 su 9.539).
Dal lato degli argomenti è ancora più netto. Su 840 giorni in cui un brand è stato menzionato in almeno una formulazione di un argomento su un motore, è stato menzionato in tutte le formulazioni solo 102 volte. Gli altri 738, l’87,9%, erano divisi.
Le domande di confronto diretto hanno menzionato il brand nel 2,9% delle risposte
Parte di quella differenza viene da una sola forma di domanda. Un acquirente che chiede "competitor A vs competitor B" riceve una risposta su A e B. Su 1.822 risposte di questo tipo il brand è stato menzionato in 53, il 2,9% (dal 2,2% al 3,8%). Le domande che chiedevano alternative a un concorrente nominato sono andate molto meglio, al 14,9%, come anche le domande con un vincolo di prezzo o di dimensione del team (15,1%) e le semplici domande “qual è il migliore” (13,9%).
Escludendo le domande di confronto diretto la differenza si riduce senza scomparire: le sorelle menzionavano allora il brand nel 62,9% dei casi (2.984 su 4.746), ancora ben al di sotto del 77,5%.
Cinque modi di chiedere delle batterie per la rete, due dei quali non hanno mai menzionato Tesla
Tesla è il nostro esempio pubblico. Il suo argomento sullo storage per la rete ha cinque formulazioni di una sola decisione, quattro motori, tre giorni di scansione (4, 8 e 15 ottobre; le risposte del 5 ottobre ripetevano quelle del 4 ottobre parola per parola e non sono contate), quindi 12 risposte nuove per formulazione.
- "What are the best grid-scale battery storage systems for a utility company?" Tesla menzionata in 12 su 12.
- Migliori alternative a un concorrente nominato per lo storage su scala utility: 12 su 12.
- "Which commercial battery energy storage system should I choose for peak shaving at a large facility?" 7 su 12, e nessuna su Claude.
- "How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?" 0 su 12.
- "What should I look for when comparing turnkey battery storage providers for a solar farm?" 0 su 12.
Perdere una formulazione a favore di nessuno è un problema diverso
Quegli ultimi due zeri non sono un concorrente che batte Tesla. Nessuna delle 24 risposte menzionava Tesla o uno dei fornitori menzionati dalle altre tre formulazioni. I motori hanno risposto con prezzi per MWh e checklist di approvvigionamento. Un acquirente che chiede in quel modo riceve criteri, e chi ha scritto i criteri plasma la rosa ristretta che costruirà più tardi.
Quindi, quando testi le formulazioni, dividi ogni formulazione perdente in due gruppi. È stato menzionato qualcun altro: hai una rosa ristretta in cui entrare, e le pagine citate dal motore ti dicono dove. Non è stato menzionato nessuno: hai una guida da scrivere, il tipo di pagina che un motore cita quando spiega come scegliere.
Come testare le formulazioni, alla luce di tutto questo
Scrivi le formulazioni per forma. Sostituire “best” con “top” testa ben poco. Copri le forme che un acquirente attraversa: la domanda aperta “qual è il migliore”, la stessa domanda con un vincolo, le alternative a un concorrente nominato e la domanda su costi o criteri.
- Riporta ogni formulazione separatamente prima di farne la media. Un punteggio per argomento mescola un 12 su 12 e uno 0 su 12 in un numero intermedio che non descrive nessuno dei due.
- Tieni le domande di confronto diretto in un gruppo a parte. Vale la pena conoscerle, e trascineranno in basso qualsiasi media.
- Ripeti ogni formulazione in giorni diversi, poi escludi le risposte che sono ripetizioni parola per parola.
- Correggi la formulazione che perde, poi riproponi esattamente quella formulazione. Una vittoria sulla sua sorella non conta.
Come lo gestisce Proofsource
Proofsource monitora ogni formulazione come una domanda a sé, raggruppata in argomenti, su ogni motore del piano. Per ogni risposta registra i brand menzionati e le pagine citate, così una formulazione perdente mostra chi è stato menzionato al posto tuo, o che non è stato menzionato nessuno.
Dove potremmo sbagliare
Tutte tranne 18 delle 1.908 formulazioni sono state generate da Proofsource a partire dal sito e dai concorrenti di ogni brand, quindi seguono le nostre forme. Gli acquirenti reali formulano le domande in modi che non abbiamo testato. La maggior parte delle domande è stata posta in uno o due giorni, alcune fino a undici, quindi il dato sulle ripetizioni si basa su 578 coppie e dipende dai brand con una storia più lunga.
I conteggi delle coppie non sono indipendenti: una risposta può comparire in più coppie, quindi abbiamo indicato gli intervalli solo dove ogni conteggio riguarda risposte distinte, e ci siamo affidati alla verifica per brand per il confronto principale. “Menzionato” è la nostra estrazione che legge la risposta, e un errore si vede come una differenza da una parte o dall’altra. Dodici giorni di ottobre sono una sola fetta, e un aggiornamento del modello potrebbe spostare qualsiasi cosa.
