Google tiene un nuevo bot en la oficina. Y de nada te sirve bloquearlo. Escrapea igual tu contenido
Google activó de manera oficial un nuevo bot. Y de nada te sirve bloquearlo. Ignora el archivo robots.txt. Escrapea igual tu contenido. El nuevo bot en la oficina se llama Google-Agent.
Durante años, el robots.txt ha sido el mecanismo estándar para decirle a los bots qué partes de un sitio web pueden o no rastrear. Googlebot lo respeta. Google-Extended, el rastreador que alimenta el entrenamiento de Gemini, también lo respeta.
Ahora, hay un nuevo bot en la oficina y se llama Google-Agent. Y escrapea igual tu contenido, ignorando tus instrucciones en robots.txt, según desvela la plataforma SEO Vantacron.
¿Qué es Google-Agent?
Google-Agent es un «fetcher» (recolector de datos) activado por el usuario que Google lanzó oficialmente el 20 de marzo de 2026. A diferencia de Googlebot, este no rastrea la web de forma autónoma para indexar páginas, sino que actúa en nombre de un usuario real que utiliza herramientas de IA (como Project Mariner de DeepMind).
Es justa ésta la justificación de Google, que si una persona le pide a un agente de IA que compare vuelos o busque una noticia, eso equivale a una visita humana directa al navegador.
¿Qué hacer para bloquear Google-Agent?
El robots.txt ya no es una barrera suficiente si el objetivo es bloquear el acceso de agentes de IA. Esto tiene implicaciones concretas e inmediatas.
Cualquier página de staging, panel de administración o contenido restringido que solo estuviera protegido por robots.txt es ahora accesible para Google-Agent.
La solución pasa por controles de acceso a nivel de servidor, como autenticación, contraseñas o reglas de cortafuegos.
También conviene revisar los logs del servidor para identificar tráfico con el user-agent «Google-Agent» y entender cómo interactúan ya los agentes con el sitio.
Al hacerlo, es importante verificar las IPs contra la lista oficial que publica Google en user-triggered-agents.json, porque el nombre del user-agent es fácil de falsificar.
Google está desarrollando un protocolo llamado web-bot-auth que permitirá verificar criptográficamente la identidad de los bots.
Aún no está disponible de forma masiva, pero apunta hacia un estándar más robusto de autenticación para el tráfico automatizado.
En consecuencia, el control del rastreo web ya no se gestiona sólo desde un archivo de texto en la raíz del servidor (robots.txt). La llegada de los agentes de IA obliga a trasladar esa decisión al nivel de la infraestructura.
Síguenos en Google como fuente preferente
Suscríbete a nuestro canal de WhatsApp
Hazte Premium y apoya este proyecto periodístico
Únete a mi canal de YouTube
