Todas las guías dicen que abras un chat nuevo, y luego describen a un comprador de cinco turnos
La forma estándar de revisar si un motor de respuestas menciona tu marca es escribir un conjunto de preguntas de compra, correr cada una en un chat totalmente nuevo sin contexto previo y registrar a quién mencionaron. Nosotros también lo hacemos, por una buena razón: un chat que ya orientaste hacia tu propia marca te dice lo que responde un modelo predispuesto, no lo que ve un comprador en frío.
Luego lee lo que esas mismas guías dicen que hace el comprador. Alguien que elige un proveedor pregunta qué buscar, menciona una restricción, pide una comparación, pregunta dónde comprar. Google lo trata como el sentido del producto: su página de ayuda de AI Mode dice que puedes preguntar cualquier cosa y recibir una respuesta, con la posibilidad de profundizar con preguntas de seguimiento. La interacción para la que están hechos estos motores dura varios turnos. Cada cifra de cada reporte de visibilidad en IA es la cifra del primer turno.
Un experimento de 200,000 conversaciones encontró que la caída llega en el segundo turno
Existe una medición controlada grande de esto. Philippe Laban y Jennifer Neville, de Microsoft Research, con Hiroaki Hayashi y Yingbo Zhou, de Salesforce Research, la publicaron el 9 de mayo de 2025. Tomaron 600 instrucciones completamente especificadas en seis tareas de generación, dividieron cada una en partes e hicieron que un usuario simulado revelara como máximo una parte por turno. Quince modelos, más de 200,000 conversaciones simuladas.
Modelos que obtenían alrededor del 90% cuando recibían toda la instrucción en un solo mensaje obtuvieron alrededor del 65% cuando la misma información llegaba en varios turnos. En promedio entre modelos y tareas, la degradación fue del 39%, y todos los modelos se degradaron en todas las tareas.
Dividir una instrucción podría simplemente perder información al reescribirla. Lo controlaron: volver a unir las mismas partes en una sola lista de viñetas obtuvo el 95.1% del original. Reescribir no cuesta nada; los turnos lo cuestan todo. Al variar qué tan fino dividían, de dos partes hasta ocho, el daño apareció con dos y se mantuvo igual después.
Los modelos no se volvieron menos capaces. Se volvieron menos repetibles.
Esta es la parte que importa si le reportas un porcentaje a alguien. El artículo divide el rendimiento en aptitud, la puntuación del percentil 90 entre ejecuciones repetidas, y falta de confiabilidad, la distancia entre el percentil 90 y el 10. La aptitud en varios turnos cayó cerca del 16%. La falta de confiabilidad subió un 112%. La mejor ejecución en varios turnos es casi tan buena como la mejor en un solo turno, y la peor es mucho peor, con una dispersión promedio de alrededor de 50 puntos sobre una instrucción fija.
Ninguno de los remedios habituales ayudó. o3 y DeepSeek R1 se perdieron como todos los demás, y los autores culpan a la extensión: los modelos de razonamiento escribieron respuestas cerca de un 33% más largas, arrastrando más de sus propias suposiciones. Bajar la temperatura redujo la falta de confiabilidad entre un 50 y un 80% en un solo turno y no sirvió de nada en varios turnos, donde se quedó cerca del 30% incluso fijada en cero.
Léelo frente a un reporte de visibilidad. Una lista corta leída una vez en el primer turno ya es una muestra de un proceso con ruido, y por eso publicamos un intervalo junto a cada porcentaje. Una lista corta leída una vez en el tercer turno es una muestra de un proceso con el doble de dispersión.
Tu lista corta del primer turno se vuelve un insumo del segundo
OpenAI documenta el mecanismo. Cada solicitud es independiente y sin estado, y una conversación de varios turnos funciona volviendo a enviar los mensajes anteriores junto con el nuevo. Incluso cuando encadenas respuestas por ID, advierte OpenAI, cada token de entrada anterior se vuelve a cobrar como token de entrada. El historial no se recuerda, se reenvía, y eso incluye la respuesta anterior del propio asistente.
Así que cuando un comprador hace una pregunta de seguimiento, el modelo lee su propia lista corta del primer turno como parte de la entrada, y Laban y sus colegas señalan la dependencia excesiva de los intentos de respuesta anteriores como una de las cuatro causas del efecto. Eso apunta a algo que todavía no podemos probar: en el primer turno compites por un lugar, en el segundo discutes con una lista que el modelo ya escribió. Nadie lo ha medido en listas cortas de marcas. Es la lectura por la que apostaríamos.
Lo que medimos, y la cifra que ninguno de nosotros tiene
Proofsource muestrea en un solo turno por diseño. Hacemos cada Prompt varias veces, puntuamos la visibilidad con un intervalo de Wilson en lugar de un punto y corremos un reporte de prueba y reprueba que hace la misma pregunta dos días seguidos. Nada de eso muestrea una pregunta de seguimiento como seguimiento. Ninguna herramienta que conozcamos lo hace, la nuestra incluida, y preferimos dejarlo por escrito antes que insinuar una cobertura que no tenemos.
Lo que sí podemos mostrar es el efecto vecino: cambia la pregunta y cambia el conjunto de nombres mencionados. En un reporte completo sobre una sola marca de una categoría de software empresarial, la pregunta de categoría devolvió catorce proveedores y la marca no estaba entre ellos. Al preguntar por ella por nombre, el mismo motor la llamó una de las plataformas líderes de su categoría y le dio de cuatro a cinco estrellas. En dieciséis formulaciones de esa misma pregunta comercial, seis competidores aparecieron en once o más, y la marca en dos como máximo. Eso es nuestro, una marca y un motor, y es un resultado de formulación, no de turnos.
- Escribe la pregunta de seguimiento como su propio Prompt. “Best project management tool” y “best project management tool for a twelve person team on no budget” son dos Prompts, no uno.
- Pon la restricción en el primer mensaje. Es el consejo del artículo para los usuarios, y la única forma de obtener una lectura que puedas comparar el mes que viene.
- Deja de tratar una captura de pantalla de una conversación de tres turnos como evidencia, en cualquier sentido. Es una ejecución del escenario menos repetible que alguien haya medido.
Dónde podríamos estar equivocados
La brecha más grande es la extrapolación. Las seis tareas son funciones de Python, consultas SQL, llamadas a API, aritmética de primaria, títulos de tablas y resúmenes centrados en una consulta. Ninguna es recomendar un proveedor. El artículo demuestra que los modelos pierden el hilo de los requisitos que llegan en varios turnos y se vuelven mucho menos repetibles cuando pasa. No demuestra que las listas cortas de marcas se comporten igual. Creemos que sí, y no lo hemos medido.
Sus usuarios los simula un modelo pequeño en lugar de personas, y las tareas son en inglés, solo texto y analíticas. Los autores lo enumeran todo, y argumentan que sus condiciones son lo bastante benignas para que la degradación real probablemente sea mayor, lo que respalda la dirección y no dice nada confiable sobre el tamaño. Además, son modelos de 2025, y ninguno de los cuatro motores que monitoreamos publica una cifra propia de confiabilidad en varios turnos.
Nuestras cifras de dieciséis formulaciones son una marca, una categoría, un motor y un reporte. Muestran que la pregunta decide la lista, y no son una medición de turnos. Tampoco tenemos una cifra de con qué frecuencia una conversación de compra real pasa del primer turno: que Google diga que las preguntas de seguimiento son el sentido de AI Mode es una declaración de diseño, no una frecuencia.
Lo que defenderíamos es acotado y un poco incómodo para nosotros. Lo que reporta cada producto de esta categoría es el primer turno, de lo que todos hablan es de la conversación, y ahora mismo ninguno de nosotros está midiendo la diferencia.
