¿Puedes dejar que la IA lea tu sitio y prohibirle entrenar con él desde el robots.txt? Según Google, no con una regla que valga para toda la IA.
El robots.txt es el archivo que les dice a los robots qué páginas de tu sitio pueden leer. Y, como aclaró Google, decide quién entra, no qué se hace después con lo leído.
Lo explicó Gary Illyes, de Google, en un video de Search Central publicado el miércoles 21 de octubre. Para bloquear a un robot de IA, dijo, hay que nombrarlo en el archivo.
Eso sí, según cuál bloquees, tu sitio puede dejar de usarse en las respuestas de ChatGPT o de Gemini. Repasamos qué controla cada uno.
¿Qué dijo Google sobre el robots.txt y la IA?
Según Search Engine Journal, Illyes definió el robots.txt como un protocolo de «preferencias de acceso»: no indica qué hace un sistema con lo que ya rastreó.
Por eso, una regla inventada, como una que diga «no entrenar», no sirve con Google.
Su especificación dice que Google solo admite cuatro campos: user-agent (a qué robot), allow y disallow (qué rutas puede leer y cuáles no) y sitemap (dónde está el mapa del sitio).
El video está en inglés, y la parte sobre la IA empieza en el 7:06.
¿Qué controla cada robot?
Cada robot cumple una función distinta. Estos son los de Google y OpenAI, según su documentación oficial:
| Robot | De quién | Para qué se usa | Si lo bloqueas |
|---|---|---|---|
| Googlebot | Toda la Búsqueda, incluidos los resúmenes con IA y el Modo IA | Google no lee tus páginas para la Búsqueda | |
| Google-Extended | Entrenar Gemini y fundamentar las respuestas de las Apps con Gemini | Tu contenido no se usa para eso, y la Búsqueda no cambia | |
| OAI-SearchBot | OpenAI | Mostrar sitios en la búsqueda de ChatGPT | No sales en esas respuestas, salvo como enlace a tu sitio |
| GPTBot | OpenAI | Entrenar sus modelos | Pides que tu contenido no se use para entrenar |
Google-Extended, en realidad, no es un robot aparte: Google lee tu sitio con sus robots de siempre y usa ese nombre como control.
Fundamentar, por su parte, es darle a Gemini contenido del índice de Google al momento de responder.
¿Y los resúmenes con IA de Google?
No tienen un robot aparte. Según la guía de Google sobre las funciones de IA, la IA es parte de la Búsqueda, así que lo que manda es lo que tu robots.txt le indica a Googlebot.
Para limitar lo que se muestra de una página, Google indica los controles nosnippet, data-nosnippet, max-snippet o noindex, que valen para toda la Búsqueda.
Entrenar no es lo mismo que aparecer
Para una empresa, la decisión no es bloquear o no a la IA, sino robot por robot.
Por ejemplo, OpenAI explica que puedes bloquear GPTBot, para que tu contenido no se use al entrenar sus modelos, y permitir OAI-SearchBot, para seguir en la búsqueda de ChatGPT.
Con Google-Extended conviene pensarlo más, porque un solo nombre decide las dos cosas.
Según la lista de rastreadores de Google, bloquearlo no te saca de la Búsqueda. Sin embargo, tu contenido deja de usarse para entrenar Gemini y para fundamentar sus respuestas.
Antes de tocar nada, abre tusitio.com/robots.txt y busca esos cuatro nombres. Si OAI-SearchBot figura con «Disallow», quitar ese bloqueo es un paso básico para aparecer en ChatGPT.
Que la IA entrene con tu sitio y que lo muestre en sus respuestas son dos cosas distintas, así que decide cada una sabiendo qué nombre la controla.
Preguntas frecuentes
Lo que más se pregunta sobre el robots.txt y la IA, con lo que publicaron Google y OpenAI.
Es el archivo, en tusitio.com/robots.txt, que les dice a los robots qué páginas pueden leer. Según Google, regula el acceso, no lo que se hace después con el contenido.
Nombrando a cada robot de IA con user-agent y usando disallow en lo que no quieres que lea. Google ignora las reglas inventadas.
Depende de qué quieras frenar: GPTBot es el robot de entrenamiento de OpenAI, y OAI-SearchBot, el de su búsqueda. Si bloqueas el segundo, no sales en sus respuestas con búsqueda.
Es el nombre que controla si Google usa tu contenido para entrenar Gemini y fundamentar las respuestas de las Apps con Gemini. No afecta tu lugar en la Búsqueda de Google.
Fuentes: Google (video de Search Central del 21 de octubre, especificación de robots.txt, lista de rastreadores y guía sobre las funciones de IA), OpenAI (documentación de rastreadores) y Search Engine Journal. Imagen: © Google.
Deja tu comentario