Con el párrafo exacto delante, ocho herramientas dieron la fuente equivocada el 60 % de las veces
Esta prueba debería ser fácil. Toma un párrafo de un artículo publicado, pégalo en una herramienta de búsqueda con IA y pregunta de qué artículo salió, quién lo publicó y cuál es la URL. El texto está ahí mismo, en el Prompt. No hay nada que adivinar.
El Tow Center for Digital Journalism hizo exactamente eso en febrero de 2025 con ocho herramientas: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 en beta y Gemini. Veinte editores, diez artículos cada uno, 1.600 consultas en total. Los fragmentos se eligieron de forma que, al pegarlos en la búsqueda normal de Google, el original saliera entre los tres primeros resultados.
En conjunto, las herramientas respondieron mal a más del 60 % de las consultas. Perplexity fue la mejor del grupo y aun así falló el 37 %. Grok 3 falló el 94 %. DeepSeek atribuyó el fragmento a la fuente equivocada 115 veces de 200.
La seguridad es la parte en la que merece la pena detenerse. ChatGPT identificó mal 134 artículos y mostró alguna duda quince veces en doscientas respuestas. No se negó a responder ni una sola vez.
La propia documentación de Perplexity dice que los marcadores dependen del Prompt y que la lista de resultados es la verdad
Eso parece un problema de calidad del modelo. Se parece más a un problema de arquitectura, y la arquitectura se puede leer en la propia documentación para desarrolladores de los proveedores.
Una búsqueda web a través de la Agent API de Perplexity vuelve como dos objetos separados. Uno es un elemento search_results con las consultas que se hicieron y cada resultado que recogió la herramienta, cada uno con un id, una url, un título y un fragmento. El otro es el mensaje del asistente, que es el texto de la respuesta. Los marcadores entre corchetes que todo el mundo trata como citas viven dentro de ese texto, y la página de referencia de Perplexity para la herramienta dice que si el modelo los añade o no depende del Prompt, así que hay que pedirlos explícitamente. Luego dice a los desarrolladores en qué apoyarse en su lugar: con marcadores o sin ellos, trata los campos id y url de cada entrada de search_results como la fuente fiable de las citas.
Léelo con ojos de marca. El proveedor les está diciendo a sus propios desarrolladores que la cita visible no es fiable y que el conjunto recuperado sí lo es. Cualquiera que mida la visibilidad en IA desde fuera solo ve la cita visible.
La misma documentación desaconseja pedirle a un modelo que emita URL dentro de una salida estructurada, porque un modelo que escribe enlaces puede producirlos mal formados o inventados, y remite a los desarrolladores a los resultados de búsqueda. El Tow Center midió la versión de consumo de ese fallo. Más de la mitad de las respuestas de Gemini y Grok 3 llevaban URL inventadas o rotas, y 154 de las 200 citas de Grok 3 acababan en páginas de error.
Una cita extraída por el sistema lleva posiciones de caracteres
Pon eso junto a una cita que calcula el sistema en vez de escribirla el modelo. La función Citations de la API de Claude devuelve, para cada afirmación de la respuesta, un bloque con el cited_text exacto, el índice del documento del que salió y una posición de carácter de inicio y de fin dentro de ese documento. La documentación explica por qué importa esa forma: como la API analiza las citas y extrae cited_text directamente, las citas contienen con garantía punteros válidos a los documentos proporcionados.
La API de grounding de Google para Gemini está construida de la misma forma. Una respuesta fundamentada vuelve con las búsquedas que el modelo hizo de verdad, más anotaciones url_citation que llevan cada una un start_index y un end_index dentro del texto de la respuesta, así que puedes resaltar el fragmento exacto y dar la URL que hay detrás.
El mecanismo existe, por tanto. Una cita que es un puntero calculado por el sistema se puede comprobar. Una cita que es una cadena escrita por el modelo es una afirmación, y merece el mismo escepticismo que cualquier otra afirmación de la respuesta. Las superficies que usan de verdad los compradores muestran sobre todo la segunda.
Tu párrafo en el dominio de otro se lleva el mérito
El Tow Center encontró un fallo que golpea más a las marcas que a nadie. Las herramientas citaban una y otra vez copias sindicadas o republicadas en lugar del original. Perplexity Pro citó versiones republicadas de artículos del Texas Tribune en tres de diez consultas, y Perplexity tiene un acuerdo con el Texas Tribune. ChatGPT citó una republicación en Yahoo News de un artículo de USA Today.
La versión de una marca es más aburrida y mucho más común. Tu página de comparativa explica la diferencia real entre dos niveles de plan. Un blog de recopilaciones la parafrasea. Cuando alguien hace la pregunta de categoría, la recopilación se lleva el enlace, tus palabras están en la respuesta y tu dominio no aparece por ningún lado.
En nuestro propio muestreo, en una pregunta de «la mejor de la categoría» en la única categoría que probamos, las listas y recopilaciones supusieron alrededor del 44 % de las fuentes que citó ChatGPT. Eso es nuestro y se limita a lo que muestreamos. Pero encaja con la forma del problema: los huecos de cita son una superficie pequeña y disputada, y las páginas de terceros son muy buenas ocupándolos.
Cuenta tres hallazgos en lugar de uno
Si la lista de enlaces es una lectura poco fiable de lo que usó el motor, entonces un solo recuento de citas es el instrumento equivocado. Tres preguntas se separan limpiamente, y cada una lleva a un sitio distinto.
- ¿Te mencionó la respuesta? La presencia en el texto es una medición propia, y se mueve con independencia de que aparezca un enlace.
- ¿Te acreditó la respuesta a ti, o a una página que lleva tu material? Si es lo segundo, tienes un problema de colocación, y reescribir tu propia página no lo tocará.
- ¿Podía llegar a ti el motor? Una cita que falta tiene una explicación aburrida muchas veces, y una comprobación de acceso de los bots lo resuelve antes de que nadie reescriba nada.
Qué hacemos al respecto
Por eso Proofsource detecta brechas de citas y citas fantasma en lugar de dar una sola cifra, y por eso cada dato lleva su procedencia: observado en una respuesta o generado. Una respuesta que te cita textualmente sin enlazarte y una respuesta que nunca te vio son idénticas en un panel que cuenta enlaces.
También es por eso que el muestreo guarda el texto de la respuesta, no solo la lista de fuentes. Si tu forma de decirlo aparece en el texto mientras el dominio de otro aparece en las fuentes, eso es un hallazgo, y es un trabajo distinto de no ser recuperado.
Dónde podría fallar esto
Las pruebas del Tow Center se hicieron en febrero de 2025 y se publicaron en marzo. Eso fue hace dieciocho meses, y todos los productos del conjunto han sacado muchas versiones desde entonces. Toma el 60 % como prueba de que este tipo de fallo es real y medible, no como la tasa de error de hoy. No lo hemos vuelto a ejecutar.
La propia sección de limitaciones del estudio dice que cada consulta se hizo una vez, y que quien vuelva a ejecutar los mismos Prompts muy probablemente obtendrá resultados distintos. La precisión de la atribución es en sí misma una medición con ruido.
Pegar un fragmento y preguntar quién lo escribió es una prueba de procedencia, no la forma en que compra un comprador. Pone a prueba la atribución directamente, que es su objetivo, pero no te dice con qué frecuencia falla la atribución dentro de una pregunta de categoría normal.
El comportamiento de la API de arriba es la superficie para desarrolladores. ChatGPT, AI Overviews y la propia web de Perplexity no tienen por qué seguir el mismo camino de código, y razonamos a partir del comportamiento documentado para desarrolladores, no desde dentro de los productos de consumo.
Y el límite honesto de nuestro propio consejo: desde fuera no siempre puedes separar una página que se recuperó y no se acreditó de una página que nunca se recuperó. Comprobar el acceso de los rastreadores lo acota. Buscar tu propia forma de decirlo en el texto de la respuesta lo acota más. Ninguna de las dos cosas lo cierra.
