Ogni assistente è un modello diverso
ChatGPT, Claude, Perplexity, Gemini e le risposte IA di Google sono costruiti da aziende diverse. Ciascuno gira sui propri modelli, addestrati sui propri dati, fino alla propria data limite, con le proprie abitudini su quanto debba essere lunga una risposta e quante opzioni offrire. Ciò che un modello sa della tua categoria prima di cercare qualsiasi cosa non è ciò che sa un altro.
Anche il modello dietro un nome cambia. Ogni fornitore offre più modelli e li sostituisce nel tempo. Una risposta dello stesso assistente questo mese può venire da un modello diverso rispetto a una risposta di tre mesi fa, e nulla nella risposta te lo dice.
In Teddit scegli tu con quale modello risponde ogni assistente. Se lo cambi, aspettati che le risposte si spostino, e ricorda la data quando rileggi lo storico in seguito.
La ricerca web in diretta, e cosa riporta
Per le domande su prodotti e servizi, gli assistenti di solito cercano sul web e costruiscono la risposta dalle pagine che trovano. Questo aggiunge tre passaggi, e ciascuno può andare diversamente.
- Cosa cercare. L’assistente trasforma la domanda in una o più ricerche sue. Nulla obbliga due assistenti a scriverne le stesse.
- Cosa torna indietro. Ogni assistente cerca a modo suo. La stessa ricerca può restituire pagine diverse in prodotti diversi, e pagine diverse la settimana prossima rispetto a questa.
- Cosa viene usato. Dai risultati, l’assistente sceglie quali pagine leggere, su quali basarsi e quali citare.
Un cambiamento in uno qualsiasi dei passaggi cambia la risposta. Viene pubblicato un nuovo articolo di confronto. Un sito di recensioni aggiorna la sua lista. Una tua pagina viene riscritta. L’assistente non ha cambiato idea su di te. È cambiato il materiale che gli è stato dato.
Per questo Teddit conserva più del testo. Per ogni risposta tiene le pagine che l’assistente ha citato e le ricerche web che ha eseguito, dove l’assistente le rivela. Quando una risposta cambia, l’elenco delle fonti è di solito il primo posto da confrontare.
La formulazione della domanda
Una risposta appartiene alla domanda esatta che è stata posta. Confronta due modi di chiedere della stessa esigenza:
Qual è il miglior strumento di email marketing?
Gestisco un piccolo negozio online e invio una newsletter a settimana. Quale piattaforma di email marketing dovrei usare?
La seconda domanda dà all’assistente una dimensione, un uso e una frequenza. Scriverà ricerche diverse, troverà pagine diverse e spesso citerà un insieme più ristretto di brand. Una piattaforma inventata come Brightloop potrebbe essere assente dalla prima risposta e presente nella seconda, o il contrario. Nessuno dei due risultati è sbagliato. Sono risultati per due prompt diversi.
Anche lingua e luogo contano come formulazione. Teddit pone ogni prompt di un sito nella lingua di quel sito e dal paese del sito, perché una domanda da un altro paese può ricevere un’altra risposta.
Casualità
Anche con lo stesso modello, la stessa domanda e le stesse pagine, un assistente non produce lo stesso testo due volte. I modelli linguistici scelgono le parole con un po’ di casualità incorporata. La risposta può elencare quattro brand una volta e sei la volta dopo, o metterli in un ordine diverso.
Ne segue che i brand ai margini di una risposta sono i meno stabili. Un brand che l’assistente tratta come scelta ovvia tende a comparire ogni volta. Un brand in fondo a una lista più lunga può andare e venire senza che nulla nel mondo sia cambiato.
Cosa significa per la misurazione
Se una singola risposta può differire per quattro motivi che non controlli, una singola risposta è un aneddoto. Uno screenshot di martedì prova molto poco. La misurazione va costruita in modo che il rumore si veda come rumore.
- Tieni fisse le domande. Traccia gli stessi prompt con la stessa formulazione, settimana dopo settimana. Così la formulazione non è più un motivo di cambiamento, e ciò che si muove viene dagli assistenti e dal web.
- Chiedi secondo un calendario. Teddit esegue le scansioni manualmente o ogni giorno, settimana o mese. La cadenza settimanale va bene per la maggior parte dei brand: abbastanza frequente da cogliere un cambiamento, abbastanza lenta da leggere cosa è tornato.
- Leggi le sequenze, non le singole risposte. Una scansione raccoglie una risposta per assistente per prompt. Un quadratino può essere fortuna. Tre settimane nello stesso stato sono uno schema.
- Leggi ogni assistente separatamente. Sono prodotti diversi con fonti diverse. Una media tra loro nasconde quello che è cambiato.
- Quando un cambiamento tiene, apri entrambi i lati. Confronta la risposta prima e la risposta dopo, e le pagine che ciascuna cita. Una fonte che è comparsa o sparita spesso spiega il cambiamento.
Gli stati in cui può trovarsi ogni risposta, e come leggerli nelle settimane, sono trattati in Citato, citato per primo, linkato. Per impostare prompt e calendario, parti dalla guida rapida.