Hay dos respuestas tajantes para esta pregunta y las dos están mal. Una dice bloquear todo, porque te están tomando el contenido. La otra dice permitir todo, porque lo único que importa es la visibilidad. Ninguna sobrevive diez minutos frente a tus propios logs.
El motivo es que "crawler de IA" abarca tres tipos de visitante distintos, y no merecen la misma respuesta.
Tres agentes, tres trabajos
La tercera fila es la que se bloquea sin querer. No es un crawler recorriendo tu sitio: es un visitante que escribió tu dirección en un asistente. Bloquearlo significa que alguien preguntando por tu producto recibe un aviso de que la página no se pudo leer.
Elige una política y mira qué cuesta
Las tres son decisiones legítimas. Lo que importa es saber qué estás cambiando por qué.
Qué hacemos nosotros, y por qué los dos hosts difieren
Tenemos dos hosts con políticas opuestas, que es la forma más clara de explicar el razonamiento.
La división es justamente el punto. "¿Bloqueo los crawlers de IA?" casi nunca es una pregunta sobre una empresa: es una pregunta sobre un conjunto concreto de páginas. El contenido público de marketing y los datos privados de clientes terminan en lados opuestos, y casi todos los sitios tienen las dos cosas.
User-agent: * con un Disallow cubre a los crawlers que leen el grupo del comodín, pero varios agentes de IA buscan primero su propio nombre y siguen ese grupo. Si quieres bloquearlos, nómbralos. Y revisa lo que ya tienes: un robots.txt escrito hace años puede estar bloqueando un agente de búsqueda en el que nadie pensó.
Qué compra realmente bloquear
Menos de lo que sugiere la discusión, y conviene tener claro qué parte es real.
- No te borra de los modelos ya entrenados. Todo lo rastreado antes de tu cambio ya está donde está.
- Es voluntario. robots.txt es una convención que respetan los agentes que deciden respetarla. La obligación vive en tu edge o en tus términos, no en ese archivo.
- No detiene a las personas. Cualquiera puede pegar tu página en un asistente, y una lectura a pedido es un lector, no un rastreo.
- Sí detiene a los crawlers que se portan bien. Que son casi todo el volumen, y por eso la configuración vale la pena.
Cuándo bloquear es claramente lo correcto
No todo sitio debería ser citable, y estos casos no admiten mucha discusión: contenido por el que alguien paga, un conjunto de datos propio que es el producto en sí, material licenciado que no te pertenece del todo, lo que publicaron usuarios esperando una audiencia chica, y cualquier página detrás de un login. En todos esos casos el contenido es el activo, no el anuncio del activo.
El caso contrario es igual de claro. Si tus páginas existen para explicar lo que vendes, que te citen es el objetivo, y una política que lo impide es un gol en contra disfrazado de prudencia.
welcomeai.devNuestro crawler leyendo tu sitio, que es exactamente la dirección contrariaPreguntas frecuentes
Decídelo una vez, por host, y anota por qué. Después revísalo la próxima vez que mires tus logs, porque la lista de agentes cambia más rápido que la política de nadie.
welcomeai.dev¿Qué es RAG? La generación aumentada por recuperación, explicada
