Une analyse est un échantillon : comment lire une tendance sur plusieurs semaines

Pourquoi une réponse est un échantillon

Posez deux fois la même question à un assistant et les deux réponses correspondront rarement mot pour mot. Quatre choses bougent entre une demande et la suivante, et aucune ne concerne votre marque.

• Le hasard dans l’écriture. Les modèles de langage choisissent leurs mots avec une part de hasard intégrée. Une marque en bordure d’une liste peut être dans une réponse et absente de la suivante.
• Ce que la recherche web a renvoyé. La plupart des questions d’achat reçoivent une réponse après une recherche. Les résultats de recherche changent d’un jour à l’autre, et l’assistant n’en lit qu’une partie.
• Le modèle. Les éditeurs mettent à jour et remplacent leurs modèles. Dans Teddit, vous choisissez avec quel modèle chaque assistant répond, un changement est donc visible, mais seulement si vous vous souvenez de quand vous l’avez fait.
• Qui demande. Le pays et la langue changent la recherche et la réponse. Teddit pose chaque prompt d’un site depuis un pays et dans une langue, tous deux définis dans les Réglages du site sous Qui demande. Changez-les et vous posez une autre question.

Une analyse isolée est donc un échantillon : une réponse par prompt et par assistant. C’est un bon échantillon, parce qu’il est pris de la même façon à chaque fois, à neuf et avec la recherche web. Cela reste un échantillon. Nous avons expliqué les raisons plus en détail dans Pourquoi la même question reçoit des réponses différentes.

À quoi ressemble le bruit dans des données réelles

Il est utile d’en voir la taille. Voici une série tirée de notre étude de cas d’une société de services logiciels : 397 prompts posés chaque semaine, sur ChatGPT, Claude et Gemini, pendant les huit semaines du 24 août au 12 octobre 2026 où les trois ont été interrogés. Rien dans la liste n’a changé pendant ces semaines.

Chaque semaine représente environ 1 190 réponses. Deux lectures du même tableau :

• Semaine par semaine : du 28 septembre au 5 octobre, l’entreprise a perdu 14 de ses 48 réponses qui la citaient, près de 30 % en une semaine. Lu seul, cela ressemble à un problème qui mérite une réunion.
• Sur huit semaines : la part a oscillé entre 2,4 % et 4,0 %, a passé six des huit semaines entre 2,9 % et 3,5 %, et a fini là. La semaine du 28 septembre était le point haut, pas la normale.

Sous le total stable, les réponses individuelles ont beaucoup bougé. Dans les sept comparaisons d’une semaine à l’autre, un assistant a commencé à citer l’entreprise sur un prompt 95 fois et a cessé 100 fois, tandis qu’il a continué à la citer 167 fois. Des 1 191 combinaisons de prompt et d’assistant, 92 ont cité l’entreprise au moins une fois, 30 l’ont citée une seule semaine, et seulement 9 l’ont citée chaque semaine.

Comparez ce qui est comparable

Une tendance ne veut dire quelque chose que si la chose mesurée est restée la même. Trois changements cassent cela, et tous trois sont faciles à faire sans s’en rendre compte.

• Ajouter ou mettre en pause des prompts. Dans les mêmes données, deux prompts ont été ajoutés la cinquième semaine. Ils ont cité l’entreprise dans 22 de leurs 30 réponses. Comptés avec le reste, les semaines cinq à neuf ont affiché en moyenne 3,6 % de réponses citant l’entreprise, contre 2,9 % pour les semaines une à quatre. Avec les 397 prompts d’origine seuls, les semaines cinq à neuf ont affiché 3,3 % en moyenne : environ la moitié de la hausse apparente venait des deux nouveaux prompts. Quand vous ajoutez des prompts, comparez l’ancienne liste avec elle-même pendant quelques semaines.
• Changer de modèle. Dans la même série, Gemini a répondu avec un modèle différent sa première semaine et les sept suivantes. Teddit enregistre le modèle de chaque réponse. Notez la date de tout changement que vous faites et ne lisez pas un saut cette semaine-là comme un changement dans le monde.
• Modifier la formulation d’un prompt. Un prompt modifié est une nouvelle question. La ligne garde son historique, mais les réponses d’avant et d’après appartiennent à deux questions différentes. Corrigez les fautes de frappe tôt, puis ne touchez plus au texte.

Règles pratiques pour lire une tendance

• Regardez les décomptes autant que les pourcentages. Quand la base est petite, un pourcentage bascule sur une poignée de réponses. 12 réponses qui vous citent une semaine et 9 la suivante, c’est une différence de trois réponses. Appeler cela une baisse de 25 % lui donne plus de poids qu’elle ne peut en porter.
• Attendez trois périodes. Une case est un tirage. Trois semaines dans le même état, c’est une tendance. Sur l’écran Prompts, la ligne de chaque assistant montre les dix dernières périodes, une série est donc facile à repérer.
• Lisez chaque assistant pour lui-même. Dans l’étude de cas, un assistant a cité l’entreprise 8 à 13 fois par semaine et un autre 9 à 20 fois. Additionnées, les différences s’annulent et cachent celui qui a bougé.
• Choisissez la période selon la question. Les boutons Jour, Semaine, Mois et 3 mois fixent la durée d’une période sur chaque écran. Une période plus longue n’additionne pas les réponses ; elle compare l’état au début avec l’état à la fin. Pour une mesure lente et bruyante, Mois se lit souvent mieux que Semaine.
• Quand quelque chose tient, ouvrez les deux côtés. Si un prompt cesse de vous citer et le reste, ouvrez la dernière réponse qui vous citait et la première qui ne le fait pas. Comparez les sources. Une page qui a disparu ou une nouvelle liste qui est apparue l’explique généralement.

Où lire les tendances dans Teddit

• Tableau de bord. Les quatre chiffres en haut comparent la période avec la précédente, et Ce qui a changé liste les prompts où un assistant a commencé ou cessé de vous citer ou de pointer vers vous.
• Tendances. La visibilité par catégorie et par prompt sur dix périodes, et les prompts gagnés et perdus par période.
• Prompts. Les cases, une ligne par assistant, et chaque case ouvre la réponse qui se trouve derrière.
• Votre propre IA. Via le serveur MCP, l’outil get_trends trie les prompts en tenus (cités chacune des quatre dernières semaines), perdus (non cités depuis deux semaines ou plus après l’avoir été) et volatils. Demandez-lui de séparer ce qui a tenu de ce qui a vacillé avant de tirer des conclusions.

Un calendrier hebdomadaire convient à la plupart des marques : assez souvent pour attraper un changement, assez lentement pour lire ce qui est revenu. Réglez-le sous Analyses → Réglages d’analyse, ou quand vous configurez votre premier site.