Jeder Assistent ist ein anderes Modell
ChatGPT, Claude, Perplexity, Gemini und Googles KI-Antworten werden von verschiedenen Unternehmen gebaut. Jeder läuft auf eigenen Modellen, trainiert auf eigenen Daten, bis zu einem eigenen Stichtag, mit eigenen Gewohnheiten, wie lang eine Antwort sein und wie viele Optionen sie anbieten soll. Was ein Modell über Ihre Kategorie weiß, bevor es irgendetwas sucht, ist nicht das, was ein anderes weiß.
Auch das Modell hinter einem Namen ändert sich. Jeder Anbieter führt mehrere Modelle und ersetzt sie mit der Zeit. Eine Antwort desselben Assistenten in diesem Monat kann von einem anderen Modell stammen als eine Antwort vor drei Monaten, und nichts in der Antwort sagt es Ihnen.
In Teddit wählen Sie, mit welchem Modell jeder Assistent antwortet. Wenn Sie es ändern, rechnen Sie mit verschobenen Antworten, und merken Sie sich das Datum, wenn Sie später die Historie lesen.
Live-Websuche, und was sie zurückbringt
Bei Fragen zu Produkten und Dienstleistungen durchsuchen Assistenten in der Regel das Web und bauen die Antwort aus den gefundenen Seiten. Das fügt drei Schritte hinzu, und jeder kann anders ausgehen.
- Wonach gesucht wird. Der Assistent verwandelt die Frage in eine oder mehrere eigene Suchanfragen. Nichts zwingt zwei Assistenten, dieselben zu schreiben.
- Was zurückkommt. Jeder Assistent sucht auf seine Weise. Dieselbe Anfrage kann in verschiedenen Produkten verschiedene Seiten liefern, und nächste Woche andere Seiten als diese Woche.
- Was verwendet wird. Aus den Ergebnissen wählt der Assistent, welche Seiten er liest, auf welche er sich stützt und welche er zitiert.
Eine Änderung an jedem Schritt ändert die Antwort. Ein neuer Vergleichsartikel wird veröffentlicht. Eine Bewertungsseite aktualisiert ihre Liste. Eine Seite von Ihnen wird umgeschrieben. Der Assistent hat seine Meinung über Sie nicht geändert. Das Material, das er bekommen hat, hat sich geändert.
Deshalb speichert Teddit mehr als den Text. Für jede Antwort bewahrt es die Seiten auf, die der Assistent zitiert hat, und die Websuchen, die er ausgeführt hat, wo der Assistent sie offenlegt. Wenn sich eine Antwort ändert, ist die Quellenliste meist die erste Stelle, die sich zu vergleichen lohnt.
Der Wortlaut der Frage
Eine Antwort gehört zu der genauen Frage, die gestellt wurde. Vergleichen Sie zwei Arten, nach demselben Bedarf zu fragen:
Was ist das beste E-Mail-Marketing-Tool?
Ich betreibe einen kleinen Online-Shop und verschicke einen Newsletter pro Woche. Welche E-Mail-Marketing-Plattform sollte ich nutzen?
Die zweite Frage gibt dem Assistenten eine Größe, einen Einsatzzweck und eine Häufigkeit. Er wird andere Suchanfragen schreiben, andere Seiten finden und oft eine engere Auswahl an Marken nennen. Eine erfundene Plattform wie Brightloop könnte in der ersten Antwort fehlen und in der zweiten vorkommen, oder umgekehrt. Keines der beiden Ergebnisse ist falsch. Es sind Ergebnisse für zwei verschiedene Prompts.
Sprache und Ort zählen ebenfalls zum Wortlaut. Teddit stellt jeden Prompt einer Site in der Sprache dieser Site und aus dem Land der Site, weil eine Frage aus einem anderen Land eine andere Antwort bekommen kann.
Zufall
Selbst mit demselben Modell, derselben Frage und denselben Seiten erzeugt ein Assistent nicht zweimal denselben Text. Sprachmodelle wählen ihre Wörter mit einem eingebauten Zufallsanteil. Die Antwort kann einmal vier Marken aufzählen und beim nächsten Mal sechs, oder sie in anderer Reihenfolge bringen.
Daraus folgt, dass Marken am Rand einer Antwort am wenigsten stabil sind. Eine Marke, die der Assistent als offensichtliche Wahl behandelt, erscheint tendenziell jedes Mal. Eine Marke am Ende einer längeren Liste kann kommen und gehen, ohne dass sich in der Welt irgendetwas geändert hat.
Was das für das Messen bedeutet
Wenn eine einzelne Antwort aus vier Gründen abweichen kann, die Sie nicht steuern, ist eine einzelne Antwort eine Anekdote. Ein Screenshot vom Dienstag beweist sehr wenig. Die Messung muss so gebaut sein, dass das Rauschen als Rauschen sichtbar wird.
- Halten Sie die Fragen fest. Verfolgen Sie dieselben Prompts mit demselben Wortlaut, Woche für Woche. Dann ist der Wortlaut kein Grund für eine Änderung mehr, und was sich bewegt, kommt von den Assistenten und dem Web.
- Fragen Sie nach Zeitplan. Teddit führt Scans manuell oder täglich, wöchentlich oder monatlich aus. Wöchentlich passt für die meisten Marken: oft genug, um eine Änderung zu erwischen, langsam genug, um zu lesen, was zurückkam.
- Lesen Sie Serien, nicht einzelne Antworten. Ein Scan sammelt eine Antwort pro Assistent und Prompt. Ein Kästchen kann Glück sein. Drei Wochen im selben Zustand sind ein Muster.
- Lesen Sie jeden Assistenten einzeln. Es sind verschiedene Produkte mit verschiedenen Quellen. Ein Durchschnitt über sie verbirgt den einen, der sich geändert hat.
- Wenn eine Änderung hält, öffnen Sie beide Seiten davon. Vergleichen Sie die Antwort davor und die Antwort danach, und die Seiten, die jede zitiert. Eine Quelle, die aufgetaucht oder verschwunden ist, erklärt die Änderung oft.
Die Zustände, in denen jede Antwort sein kann, und wie man sie über Wochen liest, behandelt Genannt, zuerst genannt, verlinkt. Um Prompts und einen Zeitplan einzurichten, beginnen Sie mit dem Schnellstart.