Cada asistente es un modelo distinto
ChatGPT, Claude, Perplexity, Gemini y las respuestas de IA de Google las construyen empresas distintas. Cada uno funciona con sus propios modelos, entrenados con sus propios datos, hasta su propia fecha de corte, con sus propias costumbres sobre cuánto debe durar una respuesta y cuántas opciones ofrecer. Lo que un modelo sabe de tu categoría antes de buscar nada no es lo que sabe otro.
El modelo detrás de un nombre también cambia. Cada proveedor ofrece varios modelos y los sustituye con el tiempo. Una respuesta del mismo asistente este mes puede venir de un modelo distinto que una respuesta de hace tres meses, y nada en la respuesta te lo dice.
En Teddit eliges con qué modelo responde cada asistente. Si lo cambias, espera que las respuestas se muevan, y recuerda la fecha cuando leas el historial más adelante.
La búsqueda web en vivo, y lo que trae de vuelta
Para preguntas sobre productos y servicios, los asistentes suelen buscar en la web y construir la respuesta a partir de las páginas que encuentran. Eso añade tres pasos, y cada uno puede salir de otra manera.
- Qué buscar. El asistente convierte la pregunta en una o varias consultas de búsqueda propias. Nada obliga a dos asistentes a escribir las mismas.
- Qué vuelve. Cada asistente busca a su manera. La misma consulta puede devolver páginas distintas en productos distintos, y páginas distintas la semana que viene que esta.
- Qué se usa. De los resultados, el asistente elige qué páginas leer, en cuáles apoyarse y cuáles citar.
Un cambio en cualquier paso cambia la respuesta. Se publica un artículo comparativo nuevo. Un sitio de reseñas actualiza su lista. Se reescribe una página tuya. El asistente no cambió de opinión sobre ti. Cambió el material que le pusieron delante.
Por eso Teddit guarda más que el texto. Para cada respuesta conserva las páginas que citó el asistente y las búsquedas web que realizó, cuando el asistente las revela. Cuando una respuesta cambia, la lista de fuentes suele ser el primer sitio que merece la pena comparar.
La formulación de la pregunta
Una respuesta pertenece a la pregunta exacta que se hizo. Compara dos formas de preguntar por la misma necesidad:
¿Cuál es la mejor herramienta de email marketing?
Tengo una tienda online pequeña y envío un boletín a la semana. ¿Qué plataforma de email marketing debería usar?
La segunda pregunta da al asistente un tamaño, un uso y una frecuencia. Escribirá consultas de búsqueda distintas, encontrará páginas distintas y, a menudo, nombrará un conjunto más reducido de marcas. Una plataforma inventada como Brightloop podría estar ausente en la primera respuesta y presente en la segunda, o al revés. Ningún resultado es erróneo. Son resultados de dos prompts distintos.
El idioma y el lugar también cuentan como formulación. Teddit hace cada prompt de un sitio en el idioma de ese sitio y desde el país del sitio, porque una pregunta desde otro país puede recibir otra respuesta.
Azar
Incluso con el mismo modelo, la misma pregunta y las mismas páginas, un asistente no produce el mismo texto dos veces. Los modelos de lenguaje eligen sus palabras con algo de azar incorporado. La respuesta puede listar cuatro marcas una vez y seis la siguiente, o ponerlas en otro orden.
De ahí que las marcas en el borde de una respuesta sean las menos estables. Una marca que el asistente trata como opción evidente tiende a aparecer siempre. Una marca que está al final de una lista más larga puede ir y venir sin que nada en el mundo haya cambiado.
Qué significa esto para medir
Si una sola respuesta puede variar por cuatro razones que no controlas, una sola respuesta es una anécdota. Una captura de pantalla del martes demuestra muy poco. La medición tiene que construirse de modo que el ruido aparezca como ruido.
- Mantén fijas las preguntas. Sigue los mismos prompts con la misma formulación, semana tras semana. Entonces la formulación deja de ser una razón de cambio, y lo que se mueve viene de los asistentes y de la web.
- Pregunta con un calendario. Teddit ejecuta análisis a mano o a diario, cada semana o cada mes. Cada semana va bien a la mayoría de las marcas: lo bastante a menudo para captar un cambio, lo bastante despacio para leer lo que volvió.
- Lee rachas, no respuestas sueltas. Un análisis recoge una respuesta por asistente y prompt. Un cuadro puede ser suerte. Tres semanas en el mismo estado son un patrón.
- Lee cada asistente por separado. Son productos distintos con fuentes distintas. Una media entre ellos esconde el que cambió.
- Cuando un cambio se mantiene, abre sus dos lados. Compara la respuesta de antes y la de después, y las páginas que cita cada una. Una fuente que apareció o desapareció suele explicar el cambio.
Los estados en que puede estar cada respuesta, y cómo leerlos a lo largo de las semanas, se tratan en Nombrado, nombrado primero, enlazado. Para configurar prompts y un calendario, empieza por el inicio rápido.