¿ChatGPT da la misma respuesta a todo el mundo? No, y te explicamos por qué.

Porque elige cada palabra muestreando probabilidades en lugar de buscar una respuesta guardada. La documentación de la API de OpenAI dice que las chat completions no son deterministas por defecto, lo que significa que los resultados del modelo pueden variar de una petición a otra. Incluso a los desarrolladores que fijan todos los ajustes se les advierte de que los propios cambios de OpenAI en la configuración de los modelos pueden afectar al resultado.

En una respuesta breve y factual, la redacción cambia y el fondo se mantiene. En una lista de productos recomendados, el mismo muestreo decide qué nombres entran y en qué orden, así que las marcas de la lista pueden cambiar de una pregunta a la siguiente.

Cuando ChatGPT busca en la web, sí. Las páginas que devuelve una búsqueda dependen de dónde se ejecuta, y la propia herramienta de búsqueda web de OpenAI para desarrolladores admite una ubicación aproximada del usuario (país, ciudad, región y zona horaria) para afinar los resultados por geografía. Un comprador en Londres y otro en Chicago que piden «el mejor software de nóminas» pueden recibir cada uno opciones locales, y ambas respuestas son correctas para el lugar desde el que preguntaron. Por eso, en un plan de pago de Proofsource, cada pregunta puede hacerse desde el mercado al que se dirige y cada mercado se lee por separado.

Más de lo que suponen la mayoría de los dueños de marcas. En el muestreo propio de Proofsource, entre el 9 % y el 27 % de las marcas mencionadas en las respuestas de un motor cambian de un día para otro, según el motor: Perplexity fue el que más se movió y Claude el que menos. Y eso sin que nadie publique nada.

Las muestras pequeñas lo ocultan. En el ejemplo público de Tesla, ChatGPT mencionó a Tesla en 16 de 25 respuestas de compra, un 64 %, pero el intervalo de Wilson del 95 % va aproximadamente del 45 % al 80 %. Otras 25 respuestas otro día podrían caer en cualquier punto de ese rango sin que nada haya cambiado.

Haz las mismas preguntas muchas veces, desde sesiones sin historial personal, y da una tasa con un intervalo en lugar de un único resultado. Eso es lo que hace Proofsource. Hace tus preguntas de compra en ChatGPT, Perplexity, Claude y Google AI Overviews, guarda cada respuesta, registra qué marcas se mencionaron y qué modelo escribió cada una, y pone un intervalo de Wilson del 95 % en cada tasa.

Un cambio solo se marca cuando supera el intervalo, así que un martes tranquilo no se presenta como una crisis. El método se explica en la página de metodología, y la prueba es 2 días de visibilidad completa en IA, hoy y mañana.

1. Tu propio chat es la prueba menos fiable. Tu memoria y tu historial pueden empujar a ChatGPT hacia tu marca.
2. Usa un chat temporal o una ventana sin sesión iniciada para verlo más limpio, y haz la pregunta como la haría un comprador, sin el nombre de tu marca.
3. Pregunta más de una vez, y en más de un día, antes de sacar conclusiones.
4. Revisa los demás motores. Perplexity, Claude y Google AI Overviews pueden no coincidir con ChatGPT en la misma pregunta.