Con el párrafo exacto en la mano, ocho herramientas nombraron la fuente equivocada el 60% de las veces
Esta es una prueba que debería ser fácil. Toma un párrafo de un artículo publicado, pégalo en una herramienta de búsqueda con IA y pregunta de qué artículo salió, quién lo publicó y cuál es la URL. El texto está ahí mismo en el Prompt. No hay nada que adivinar.
El Tow Center for Digital Journalism hizo exactamente eso en febrero de 2025 con ocho herramientas: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 en beta y Gemini. Veinte medios, diez artículos cada uno, 1,600 consultas en total. Los fragmentos se eligieron para que, al pegarlos en una búsqueda normal de Google, el original apareciera entre los tres primeros resultados.
En conjunto, las herramientas respondieron mal más del 60% de las consultas. Perplexity fue la mejor del grupo y aun así se equivocó en el 37%. Grok 3 se equivocó en el 94%. DeepSeek atribuyó el fragmento a la fuente equivocada 115 veces de 200.
La seguridad es la parte que hay que digerir. ChatGPT identificó mal 134 artículos y mostró alguna duda quince veces en doscientas respuestas. Ni una sola vez se negó a responder.
La propia documentación de Perplexity dice que los marcadores dependen del Prompt y que la lista de resultados es la verdad
Eso parece un problema de calidad del modelo. Se parece más a un problema de arquitectura, y la arquitectura se puede leer en la documentación para desarrolladores de los propios proveedores.
Una búsqueda web a través de la Agent API de Perplexity devuelve dos objetos separados. Uno es un elemento search_results con las consultas que se hicieron y cada resultado que trajo la herramienta, cada uno con un id, una url, un título y un fragmento. El otro es el mensaje del asistente, que es el texto de la respuesta. Los marcadores entre corchetes que todos tratan como citas viven dentro de ese texto, y la página de referencia de Perplexity para la herramienta dice que si el modelo los agrega o no depende del Prompt, así que hay que pedirlos explícitamente. Luego les dice a los desarrolladores en qué confiar en su lugar: con o sin marcadores, trata los campos id y url de cada entrada de search_results como la fuente de verdad para las citas.
Léelo con ojos de marca. El proveedor les está diciendo a sus propios desarrolladores que la cita visible no es la autoridad y que el conjunto recuperado sí. Cualquiera que mida la visibilidad en IA desde afuera solo ve la cita visible.
La misma documentación desaconseja pedirle a un modelo que emita URL dentro de una salida estructurada, porque un modelo que escribe enlaces puede producirlos mal formados o inventados, y remite a los desarrolladores a los resultados de búsqueda. El Tow Center midió la versión de consumo de esa falla. Más de la mitad de las respuestas de Gemini y Grok 3 traían URL inventadas o rotas, y 154 de las 200 citas de Grok 3 llevaban a páginas de error.
Una cita que extrajo el sistema lleva posiciones de caracteres
Pon eso junto a una cita que calcula el sistema en lugar de que la escriba el modelo. La función Citations de la API de Claude devuelve, para cada afirmación de la respuesta, un bloque con el cited_text exacto, el índice del documento del que salió y una posición de inicio y de fin en caracteres dentro de ese documento. La documentación explica por qué importa esa forma: como la API analiza las citas y extrae el cited_text directamente, las citas tienen garantizado contener punteros válidos a los documentos proporcionados.
La API de grounding de Google para Gemini está construida igual. Una respuesta con grounding vuelve con las búsquedas que de verdad ejecutó el modelo, más anotaciones url_citation que llevan un start_index y un end_index dentro del texto de la respuesta, para que puedas resaltar el fragmento exacto y nombrar la URL que lo respalda.
El mecanismo existe, entonces. Una cita que es un puntero calculado por el sistema se puede verificar. Una cita que es un texto escrito por el modelo es una afirmación, y merece el mismo escepticismo que cualquier otra afirmación de la respuesta. Las superficies que usan los compradores muestran sobre todo el segundo tipo.
Tu párrafo en el dominio de otro se lleva el crédito
El Tow Center encontró una falla que golpea más a las marcas que a nadie. Las herramientas citaron una y otra vez copias sindicadas o republicadas en lugar del original. Perplexity Pro citó versiones republicadas de artículos del Texas Tribune en tres de diez consultas, y Perplexity tiene una alianza con el Texas Tribune. ChatGPT citó una republicación en Yahoo News de un artículo de USA Today.
La versión de una marca es más aburrida y mucho más común. Tu página de comparación explica la diferencia real entre dos niveles de plan. Un blog de listas comparativas la parafrasea. Cuando alguien hace la pregunta de categoría, la lista se lleva el enlace, tus palabras están en la respuesta y tu dominio no aparece por ningún lado.
En nuestro propio muestreo, en una pregunta de “los mejores de la categoría” en la única categoría que probamos, las listas y listas comparativas sumaron cerca del 44% de las fuentes que citó ChatGPT. Es nuestro y está acotado a lo que muestreamos. Pero encaja con la forma del problema: los lugares de cita son una superficie pequeña y disputada, y las páginas de terceros son muy buenas ocupándolos.
Cuenta tres hallazgos en lugar de uno
Si la lista de enlaces es una lectura poco confiable de lo que usó el motor, entonces un solo conteo de citas es el instrumento equivocado. Tres preguntas se separan con claridad, y cada una lleva a un lugar distinto.
- ¿La respuesta te mencionó? La presencia en el texto es una medición en sí misma, y se mueve de forma independiente de si apareció un enlace.
- ¿La respuesta te acreditó a ti, o a una página que lleva tu material? Si es lo segundo, tienes un problema de ubicación, y reescribir tu propia página no lo va a tocar.
- ¿El motor podía llegar a ti? Una cita faltante tiene una explicación aburrida muchas veces, y una revisión de accesibilidad para bots lo resuelve antes de que alguien reescriba nada.
Lo que hacemos al respecto
Por eso Proofsource hace detección de brechas de citas y de citas fantasma en lugar de reportar una sola cifra, y por eso cada dato está etiquetado según su procedencia: observado en una respuesta, o generado. Una respuesta que te cita textualmente sin enlazarte y una respuesta que nunca te vio se ven idénticas en un panel que cuenta enlaces.
También es por eso que el muestreo guarda el texto de la respuesta, no solo la lista de fuentes. Si tus palabras aparecen en el texto mientras el dominio de otro aparece en las fuentes, eso es un hallazgo, y es un trabajo distinto de no ser recuperado.
Dónde podríamos estar equivocados
Las pruebas del Tow Center se hicieron en febrero de 2025 y se publicaron ese marzo. Eso fue hace dieciocho meses, y cada producto del conjunto ha lanzado muchas versiones desde entonces. Toma el 60% como evidencia de que este tipo de falla es real y medible, no como la tasa de error de hoy. No lo hemos vuelto a correr.
La propia sección de limitaciones del estudio dice que cada consulta se hizo una sola vez, y que cualquiera que vuelva a correr los mismos Prompts muy probablemente obtendría resultados distintos. La precisión de la atribución es en sí misma una medición con ruido.
Pegar un fragmento y preguntar quién lo escribió es una prueba de procedencia, no la forma en que compra un comprador. Pone a prueba la atribución de forma directa, que es su propósito, pero no te dice con qué frecuencia la atribución falla dentro de una pregunta de categoría normal.
El comportamiento de las API de arriba es la superficie para desarrolladores. ChatGPT, AI Overviews y el propio sitio de Perplexity no tienen garantizado seguir el mismo camino de código, y estamos razonando a partir del comportamiento documentado para desarrolladores y no desde dentro de los productos de consumo.
Y el límite honesto de nuestro propio consejo: desde afuera no siempre puedes separar una página que se recuperó y no se acreditó de una página que nunca se recuperó. Revisar el acceso de los rastreadores lo acota. Buscar tus propias palabras en el texto de la respuesta lo acota más. Ninguna de las dos cosas lo cierra.
