En los próximos meses, una sola línea en el robots.txt de tu sitio alcanzará para pedirles a varias empresas que no lo usen en el entrenamiento de IA.
El robots.txt es el archivo con instrucciones para los robots que recorren tu sitio. Hasta ahora, había que escribir una regla para cada empresa.
Lo anunciaron el viernes 30 de octubre Google, Microsoft y OpenAI. La propuesta es de Kevin Kelley, de Anthropic, que la presentó en el IETF, la organización que desarrolla estándares de internet.
Llega días después de que Google explicara que el robots.txt decide qué robots entran, pero no qué hace la IA con lo que leen.
La línea es la misma para todas, pero no significa lo mismo en cada una.
¿Cómo se escribe la línea?
Como cualquier regla del robots.txt, pero con un nombre especial en lugar del de un robot: «User-Agent: __usage_ai-training» y, debajo, «Disallow: /» para todo el sitio.
Con «Allow» marcas lo que sí puede usarse, como la carpeta de prensa del ejemplo que trae el borrador.
Ten en cuenta dos puntos:
- No decide qué robots entran a tu sitio, sino para qué se usa lo que leen.
- Tus reglas actuales siguen valiendo, pero no cuentan como esta preferencia.
¿Cuándo empieza a valer?
Todavía no rige, y cada empresa dio su plazo:
- Anthropic ya empezó a implementarla, aunque Kelley avisó que sumarla a todos sus servicios llevará tiempo.
- OpenAI, «en los próximos meses». Y bloquear a GPTBot, su robot de entrenamiento, seguirá valiendo.
- Google, a comienzos de 2027, según su documentación de rastreadores.
- Microsoft, desde el 1 de febrero de 2027, al volver a recorrer cada página.
Meta dijo que apoya la idea, pero no aclaró si la va a respetar, según The Verge.
Microsoft separa el entrenamiento de las respuestas
Microsoft suma otra preferencia para el grounding, es decir, el uso de tu contenido para armar las respuestas de su IA en el momento.
Se marca en cada página, con una etiqueta, y tiene tres opciones:
- Allow: tu contenido puede usarse en las respuestas. Es lo que pasa si no haces nada.
- DisallowExtended: tu contenido solo se usa en productos de Microsoft, como Copilot, y no en los servicios que ofrece a otras empresas.
- Disallow: tu contenido no se usa para armar respuestas.
Así, puedes frenar el entrenamiento y seguir en las respuestas. Eso sí, según Microsoft, limitar el grounding reduce la visibilidad de tu marca en la IA, no en los resultados de Bing.
¿Usas NoArchive o NoCache?
Son las etiquetas que, desde 2023, limitan el uso de tu contenido en la IA de Microsoft, y dejan de valer después del 1 de marzo de 2027. Para mantener tus límites, pásate antes a las nuevas.
Si además quieres seguir fuera de sus respuestas, Microsoft pide registrar una preferencia temporal en Bing Webmaster Tools, su panel para sitios web, que se habilita el 15 de diciembre.
En Google, entrenamiento y respuestas van juntos
Google planea leer la línea como si bloquearas Google-Extended, su control desde 2023, salvo que lo nombres aparte.
Y ese control decide dos cosas: si tu contenido entrena a Gemini y si sirve para el grounding de la app Gemini.
Si usas la línea y quieres seguir en las respuestas de la app Gemini, tendrías que permitir Google-Extended de forma explícita, lo que también deja entrenar a Gemini.
Según Search Engine Journal, Google no describe una forma de separar las dos cosas.
La Búsqueda no cambia: Google-Extended no afecta tu lugar en Google, y los resúmenes con IA y el Modo IA tienen su propio control en Search Console.
La línea no tiene que valer para todo tu sitio
Si no usas NoArchive ni NoCache, hoy no tienes nada que cambiar.
Cuando llegue, piénsala: según un análisis de Graphite, lo que ChatGPT aprende al entrenarse pesa en si nombra a una marca, y en Google la línea también decide si apareces en la app Gemini.
Por eso, en vez de un «no» para todo el sitio, puedes usarla por secciones: excluir un informe que vendes, por ejemplo, y no tus páginas de servicios.
Para decidirlo con datos, en ALLER.IA medimos si ChatGPT y Gemini ya nombran a tu empresa.
Preguntas frecuentes
Cinco búsquedas frecuentes sobre la IA y el contenido de los sitios web.
En tu sitio, hoy se hace empresa por empresa, por ejemplo bloqueando a GPTBot para OpenAI o Google-Extended para Google. Pronto bastará una línea común en el robots.txt para las que la respeten.
Es el uso de contenido de la web para armar la respuesta de una IA en el momento. Microsoft permitirá decidirlo en cada página, aparte del entrenamiento.
Para tu sitio, bloqueando Google-Extended en el robots.txt y, desde comienzos de 2027, con la línea común. No cambia tu lugar en la Búsqueda, pero te deja fuera del grounding de la app Gemini.
Nombrando a cada robot en el robots.txt. La línea común no sirve para eso: no decide qué robots entran, sino para qué se usa lo que leen.
Es la organización que desarrolla estándares de internet. Ahí presentó Kevin Kelley, de Anthropic, la propuesta de la línea común.
Fuentes: Google (anuncio del 30 de octubre, documentación de rastreadores y ayuda de Search Console), Microsoft, OpenAI, IETF (borrador de Kevin Kelley y su mensaje al grupo de trabajo), The Verge y Search Engine Journal. Imágenes: © OpenAI y © Microsoft.
Deja tu comentario