Chaque assistant est un modèle différent
ChatGPT, Claude, Perplexity, Gemini et les réponses IA de Google sont construits par des entreprises différentes. Chacun tourne sur ses propres modèles, entraînés sur ses propres données, jusqu’à sa propre date d’arrêt, avec ses propres habitudes quant à la longueur d’une réponse et au nombre d’options à proposer. Ce qu’un modèle sait de votre catégorie avant de chercher quoi que ce soit n’est pas ce qu’en sait un autre.
Le modèle derrière un nom change aussi. Chaque éditeur propose plusieurs modèles et les remplace au fil du temps. Une réponse du même assistant ce mois-ci peut venir d’un autre modèle qu’une réponse d’il y a trois mois, et rien dans la réponse ne vous le dit.
Dans Teddit, vous choisissez avec quel modèle chaque assistant répond. Si vous en changez, attendez-vous à ce que les réponses bougent, et retenez la date quand vous relirez l’historique plus tard.
La recherche web en direct, et ce qu’elle rapporte
Pour les questions sur des produits et des services, les assistants cherchent couramment sur le web et construisent la réponse à partir des pages qu’ils trouvent. Cela ajoute trois étapes, et chacune peut se passer différemment.
- Quoi chercher. L’assistant transforme la question en une ou plusieurs requêtes de recherche qui lui sont propres. Rien n’oblige deux assistants à écrire les mêmes.
- Ce qui revient. Chaque assistant cherche à sa manière. La même requête peut renvoyer des pages différentes selon les produits, et d’autres pages la semaine prochaine que cette semaine.
- Ce qui est utilisé. Parmi les résultats, l’assistant choisit quelles pages lire, sur lesquelles s’appuyer et lesquelles citer.
Un changement à n’importe quelle étape change la réponse. Un nouveau comparatif est publié. Un site d’avis met sa liste à jour. Une de vos pages est réécrite. L’assistant n’a pas changé d’avis sur vous. La matière qu’on lui a remise a changé.
C’est pourquoi Teddit stocke plus que le texte. Pour chaque réponse, il conserve les pages citées par l’assistant et les recherches web qu’il a effectuées, là où l’assistant les divulgue. Quand une réponse change, la liste des sources est généralement le premier endroit à comparer.
La formulation de la question
Une réponse appartient à la question exacte qui a été posée. Comparez deux façons de demander la même chose :
Quel est le meilleur outil d’e-mail marketing ?
Je tiens une petite boutique en ligne et j’envoie une newsletter par semaine. Quelle plateforme d’e-mail marketing devrais-je utiliser ?
La seconde question donne à l’assistant une taille, un usage et une fréquence. Il écrira d’autres requêtes de recherche, trouvera d’autres pages, et citera souvent un ensemble de marques plus restreint. Une plateforme inventée comme Brightloop pourrait être absente de la première réponse et présente dans la seconde, ou l’inverse. Aucun des deux résultats n’est faux. Ce sont les résultats de deux prompts différents.
La langue et le lieu comptent aussi comme formulation. Teddit pose chaque prompt d’un site dans la langue de ce site et depuis son pays, parce qu’une question posée depuis un autre pays peut recevoir une autre réponse.
Le hasard
Même avec le même modèle, la même question et les mêmes pages, un assistant ne produit pas deux fois le même texte. Les modèles de langage choisissent leurs mots avec une part de hasard intégrée. La réponse peut lister quatre marques une fois et six la fois suivante, ou les mettre dans un ordre différent.
Il s’ensuit que les marques en bordure d’une réponse sont les moins stables. Une marque que l’assistant considère comme un choix évident tend à apparaître à chaque fois. Une marque qui se trouve en fin d’une longue liste peut aller et venir sans que rien n’ait changé dans le monde.
Ce que cela implique pour la mesure
Si une seule réponse peut différer pour quatre raisons que vous ne contrôlez pas, une seule réponse est une anecdote. Une capture d’écran prise un mardi prouve très peu. La mesure doit être construite pour que le bruit apparaisse comme du bruit.
- Gardez les questions fixes. Suivez les mêmes prompts avec la même formulation, semaine après semaine. La formulation n’est alors plus une raison de changement, et ce qui bouge vient des assistants et du web.
- Posez-les selon un calendrier. Teddit lance des analyses à la main ou chaque jour, chaque semaine ou chaque mois. Le rythme hebdomadaire convient à la plupart des marques : assez souvent pour attraper un changement, assez lentement pour lire ce qui est revenu.
- Lisez des séries, pas des réponses isolées. Une analyse collecte une réponse par assistant et par prompt. Une case peut être de la chance. Trois semaines dans le même état, c’est une tendance.
- Lisez chaque assistant séparément. Ce sont des produits différents avec des sources différentes. Une moyenne entre eux cache celui qui a changé.
- Quand un changement tient, ouvrez ses deux côtés. Comparez la réponse d’avant et la réponse d’après, et les pages que chacune cite. Une source apparue ou disparue explique souvent le changement.
Les états dans lesquels chaque réponse peut se trouver, et comment les lire au fil des semaines, sont traités dans Cité, cité en premier, lié. Pour configurer des prompts et un calendrier, commencez par le démarrage rapide.