Confirmado. Si pagas por la IA de Elon Musk, que sepas que Grok 3 cita peor las noticias que si la usaras gratis
Si pagas 40 dólares por la inteligencia artificial (IA) de Elon Musk, que sepas que cita con más errores cuando se le pregunta por noticias que si la usaras gratis. Y no es la única.
Te voy a dar un resumen descorazonador.
Las IA que te pagan para citar de manera preferente tus noticias en sus buscadores generativos, te citan mal.
Y aquellos bots que bloqueas, para evitar el saqueo de tu hemeroteca, se lo saltan como si el copyright no constituyera una salvaguarda.
El Tow Center for Digital Journalism realizó una investigación exhaustiva evaluando ocho herramientas de búsqueda generativa, encontrando serias deficiencias en su capacidad para citar correctamente contenido periodístico, según publica Columbia Journalism Review.
Este análisis muestra que estos modelos generativos están fallando sistemáticamente como una escopeta de feria cuando citan las fuentes originales de noticias.
Los chatbots evaluados mostraron una preocupante tendencia a proporcionar respuestas incorrectas con un tono de confianza injustificado.
Más del 60% de las consultas realizadas recibieron respuestas erróneas, con variaciones significativas entre plataformas.
Mientras Perplexity respondió incorrectamente al 37% de las consultas, Grok 3 presentó una tasa de error alarmante del 94%.
La mayoría de estas herramientas presentaron información inexacta con un tono autoritativo, rara vez empleando frases calificativas o reconociendo posibles limitaciones en su conocimiento.
ChatGPT, por ejemplo, identificó incorrectamente 134 artículos de los 200 analizados, pero solo expresó dudas sobre su respuesta en quince ocasiones y nunca se negó a proporcionar una respuesta.
Con la excepción de Copilot, que declinó responder más preguntas de las que contestó, todas las herramientas examinadas demostraron mayor propensión a ofrecer respuestas incorrectas que a reconocer sus limitaciones para responder adecuadamente.
Los modelos premium de Grok o Perplexity fallan más que sus modelos gratuitos
Un hallazgo contraintuitivo del estudio revela que los modelos premium, como Perplexity Pro o Grok 3, a pesar de responder correctamente a más consultas que sus equivalentes gratuitos, paradójicamente demostraron tasas de error más elevadas.
Esta contradicción se debe principalmente a su tendencia a proporcionar respuestas definitivas pero erróneas, en lugar de declinar responder cuando no disponen de información precisa.
El problema fundamental va más allá de los errores factuales, extendiéndose al tono conversacional autoritativo que dificulta a los usuarios distinguir entre información precisa e imprecisa.
Esta confianza inmerecida presenta a los usuarios una peligrosa ilusión de fiabilidad.
Las IA se saltan el protocolo de exclusión de bots de los medios
El estudio descubrió que varias plataformas aparentemente ignoraban las preferencias establecidas por los editores a través del Protocolo de Exclusión de Robots (robots.txt).
De los ocho chatbots analizados, cinco (ChatGPT, Perplexity y Perplexity Pro, Copilot, y Gemini) han hecho públicos los nombres de sus rastreadores, permitiendo a los editores bloquearlos si así lo desean.
Sin embargo, en la práctica, estos sistemas mostraban comportamientos inconsistentes.
En ocasiones respondían incorrectamente o se negaban a responder consultas de editores que les permitían acceso, mientras que sorprendentemente respondían correctamente a consultas sobre contenido de editores que habían bloqueado expresamente su acceso.
Perplexity Pro resultó ser el peor infractor en este aspecto, identificando correctamente casi un tercio de los noventa extractos de artículos a los que teóricamente no debería tener acceso.
La versión gratuita de Perplexity identificó correctamente todos los diez extractos de artículos con paywall de National Geographic, a pesar de que este editor había prohibido explícitamente los rastreadores de dicha plataforma.
Las herramientas de búsqueda generativa evaluadas demostraron una tendencia generalizada a citar incorrectamente los artículos.
DeepSeek, por ejemplo, atribuyó erróneamente la fuente de los extractos proporcionados en 115 de las 200 consultas realizadas, lo que significa que el contenido de los editores de noticias frecuentemente se atribuía a fuentes incorrectas.
Incluso cuando los chatbots identificaban correctamente el artículo, a menudo fallaban en proporcionar un enlace adecuado a la fuente original.
Este problema es doble: los editores que buscan visibilidad en resultados de búsqueda no la obtienen, mientras que el contenido de aquellos que desean excluirse permanece visible contra su voluntad.
En algunas ocasiones, los chatbots dirigían a versiones sindicadas de artículos en plataformas como Yahoo News o AOL en lugar de las fuentes originales, incluso cuando el editor tenía un acuerdo de licencia con la empresa de IA.
Por ejemplo, a pesar de su asociación con Texas Tribune, Perplexity Pro citó versiones sindicadas de artículos del Tribune en tres de las diez consultas, indica el estudio.
Más preocupante aún, más de la mitad de las respuestas de Gemini y Grok 3 citaron URLs fabricadas o rotas que conducían a páginas de error. De las 200 consultas realizadas con Grok 3, 154 citaciones llevaban a páginas de error.
El estudio reveló que la existencia de acuerdos de licencia entre empresas de IA y editores de noticias no garantizaba una citación más precisa.
De las compañías cuyos modelos fueron evaluados, OpenAI y Perplexity han expresado mayor interés en establecer relaciones formales con editores de noticias. OpenAI ha asegurado diecisiete acuerdos de licencia de contenido noticioso, incluyendo los grupos mediáticos Schibsted y Guardian.
Perplexity, por su parte, estableció su propio Programa de Editores, «diseñado para promover el éxito colectivo», que incluye un acuerdo de reparto de ingresos con los editores participantes.
A pesar de estas relaciones formales, se observó una amplia variación en la precisión de las respuestas relacionadas con editores asociados.
Time, por ejemplo, tiene acuerdos con OpenAI y Perplexity, y aunque ninguno de los modelos asociados con esas compañías identificó su contenido correctamente el 100% del tiempo, estuvo entre los editores identificados con mayor precisión en el conjunto de datos.
En contraste, San Francisco Chronicle permite el rastreador de búsqueda de OpenAI y forma parte de la «asociación estratégica de contenido» de Hearst con la compañía, pero ChatGPT sólo identificó correctamente uno de los diez extractos compartidos de este editor.
El Tow Center empleó una metodología rigurosa para esta investigación, seleccionando aleatoriamente diez artículos de cada editor y extrayendo manualmente fragmentos directos de esos artículos para usar en sus consultas.
Pidieron a cada chatbot que identificara el titular del artículo correspondiente, el editor original, la fecha de publicación y la URL.
Realizaron un total de mil seiscientas consultas (veinte editores por diez artículos por ocho chatbots) y evaluaron manualmente las respuestas basándose en tres atributos: la recuperación del artículo correcto, el editor correcto y la URL correcta.
Los investigadores seleccionaron deliberadamente extractos que, al ser pegados en una búsqueda tradicional de Google, devolvían la fuente original entre los primeros tres resultados, estableciendo así una línea base razonable para la comparación.
Síguenos en Google como fuente preferente
Suscríbete a nuestro canal de WhatsApp
Hazte Premium y apoya este proyecto periodístico
Únete a mi canal de YouTube
