Todas las guías dicen que empieces un chat nuevo, y luego describen un comprador de cinco turnos
La forma habitual de comprobar si un motor de respuesta menciona tu marca es escribir un conjunto de preguntas de compra, ejecutar cada una en un chat totalmente nuevo sin contexto previo y apuntar a quién se mencionó. Nosotros también lo hacemos, por un buen motivo: un chat que ya has llevado hacia tu propia marca te dice lo que dice un modelo preparado, no lo que ve un comprador en frío.
Luego lee lo que dicen esas mismas guías que hace el comprador. Alguien que elige proveedor pregunta qué buscar, menciona una restricción, pide una comparativa, pregunta dónde comprar. Google lo trata como la razón de ser del producto: su página de ayuda de AI Mode dice que puedes preguntar cualquier cosa y recibir una respuesta, con la posibilidad de profundizar con preguntas de seguimiento. La interacción en torno a la que están construidos estos motores dura varios turnos. Todas las cifras de todos los informes de visibilidad en IA son la cifra del primer turno.
Un experimento de 200.000 conversaciones vio que la caída llega en el segundo turno
Existe una medición controlada grande de esto. Philippe Laban y Jennifer Neville, de Microsoft Research, con Hiroaki Hayashi y Yingbo Zhou, de Salesforce Research, la publicaron el 9 de mayo de 2025. Tomaron 600 instrucciones completamente especificadas de seis tareas de generación, dividieron cada una en partes e hicieron que un usuario simulado revelara como mucho una parte por turno. Quince modelos, más de 200.000 conversaciones simuladas.
Modelos que sacaban alrededor del 90 % cuando recibían la instrucción entera en un mensaje sacaron alrededor del 65 % cuando la misma información llegaba en varios turnos. De media entre modelos y tareas, la degradación fue del 39 %, y todos los modelos empeoraron en todas las tareas.
Dividir una instrucción podría simplemente perder información al reescribirla. Lo controlaron: volver a unir las mismas partes en una sola lista de viñetas sacó el 95,1 % del original. La reescritura no cuesta nada; los turnos lo cuestan todo. Al variar lo fino de la división, de dos partes a ocho, el daño apareció con dos y se quedó plano a partir de ahí.
Los modelos no se volvieron menos capaces. Se volvieron menos repetibles.
Esta es la parte que importa si le das un porcentaje a alguien. El artículo divide el rendimiento en aptitud, la puntuación del percentil 90 entre ejecuciones repetidas, y falta de fiabilidad, la distancia entre el percentil 90 y el 10. La aptitud en varios turnos cayó alrededor de un 16 %. La falta de fiabilidad subió un 112 %. La mejor ejecución en varios turnos es casi tan buena como la mejor en un turno y la peor es mucho peor, con una dispersión sobre una instrucción fija de alrededor de 50 puntos de media.
Ninguno de los remedios habituales ayudó. o3 y DeepSeek R1 se perdieron como todos los demás, y los autores lo atribuyen a la longitud: los modelos de razonamiento escribieron respuestas alrededor de un 33 % más largas y arrastraron más de sus propias suposiciones. Bajar la temperatura redujo la falta de fiabilidad entre un 50 % y un 80 % en los escenarios de un turno y no sirvió de nada en los de varios turnos, donde se quedó cerca del 30 % incluso fijada a cero.
Léelo frente a un informe de visibilidad. Una lista corta leída una vez en el primer turno ya es una muestra de un proceso con ruido, y por eso publicamos un intervalo junto a cada porcentaje. Una lista corta leída una vez en el tercer turno es una muestra de un proceso con el doble de dispersión.
Tu lista corta del primer turno se convierte en una entrada del segundo
OpenAI documenta el mecanismo. Cada petición es independiente y sin estado, y una conversación de varios turnos funciona reenviando los mensajes anteriores junto con el nuevo. Incluso cuando encadenas respuestas por ID, señala OpenAI, cada token de entrada anterior se vuelve a facturar como token de entrada. El historial no se recuerda, se reenvía, y eso incluye la respuesta anterior del propio asistente.
Así que, cuando un comprador hace una pregunta de seguimiento, el modelo lee su propia lista corta del primer turno como parte de la entrada, y Laban y sus colegas citan la dependencia excesiva de los intentos de respuesta anteriores como una de las cuatro causas del efecto. Lo que apunta a algo que aún no podemos probar: en el primer turno compites por un hueco; en el segundo, discutes con una lista que el modelo ya ha escrito. Nadie lo ha medido en listas cortas de marcas. Es la lectura por la que apostaríamos.
Qué medimos, y la cifra que no tiene ninguno de nosotros
Proofsource muestrea un solo turno por diseño. Hacemos cada Prompt varias veces, puntuamos la visibilidad con un intervalo de Wilson en lugar de un punto y ejecutamos un informe de prueba y reprueba que hace la misma pregunta dos días seguidos. Nada de eso muestrea una pregunta de seguimiento como tal. Ninguna herramienta que conozcamos lo hace, la nuestra incluida, y preferimos ponerlo por escrito antes que insinuar una cobertura que no tenemos.
Lo que sí podemos mostrar es el efecto vecino: cambia la pregunta y cambia el conjunto de nombres. En un informe completo sobre una sola marca de una categoría de software empresarial, la pregunta de categoría devolvió catorce proveedores y la marca no estaba entre ellos. Preguntado por su nombre, el mismo motor la llamó una de las plataformas líderes de su categoría y le dio de cuatro a cinco estrellas. En dieciséis formulaciones de esa misma pregunta comercial, seis competidores aparecieron en once o más, y la marca en dos como mucho. Eso es nuestro, una marca y un motor, y es un resultado de formulación, no de turno.
- Escribe la pregunta de seguimiento como un Prompt propio. «Best project management tool» y «best project management tool for a twelve person team on no budget» son dos Prompts, no uno.
- Pon la restricción en el primer mensaje. Es el consejo del artículo a los usuarios, y la única forma de tener una lectura que puedas comparar el mes que viene.
- Deja de tratar una captura de una conversación de tres turnos como prueba, en ningún sentido. Es una ejecución del escenario menos repetible que nadie haya medido.
Dónde podría fallar esto
La mayor laguna es la transferencia. Las seis tareas son funciones de Python, consultas SQL, llamadas a API, aritmética de primaria, pies de tabla y resúmenes centrados en una consulta. Ninguna es recomendar un proveedor. El artículo demuestra que los modelos pierden de vista los requisitos que llegan en varios turnos y se vuelven mucho menos repetibles cuando pasa. No demuestra que las listas cortas de marcas se comporten igual. Creemos que sí, y no lo hemos medido.
Sus usuarios los simula un modelo pequeño y no personas, y las tareas son en inglés, solo de texto y analíticas. Los autores lo enumeran todo, y argumentan que sus condiciones son lo bastante benignas como para que la degradación real sea probablemente mayor, lo que respalda la dirección y no dice nada fiable sobre el tamaño. Además son modelos de 2025, y ninguno de los cuatro motores que seguimos publica una cifra propia de fiabilidad en varios turnos.
Nuestras cifras de dieciséis formulaciones son una marca, una categoría, un motor y un informe. Muestran que la pregunta decide la lista, y no son una medición de turnos. Tampoco tenemos ninguna cifra de con qué frecuencia una conversación de compra real pasa del primer turno: que Google diga que las preguntas de seguimiento son la razón de ser de AI Mode es una declaración de diseño, no una frecuencia.
Lo que defenderíamos es acotado y algo incómodo para nosotros. Lo que da todo producto de esta categoría es el primer turno, de lo que habla todo el mundo es de la conversación, y ahora mismo ninguno de nosotros mide la diferencia.
