Rastrear un sitio web

Qué hace

Lee un sitio web público y convierte sus páginas en documentos. Empieza por una URL, seguimos los enlaces y el sitemap, extraemos el contenido legible de cada página y volvemos a rastrear según un horario para que la base de conocimiento siga al sitio.

A qué puede acceder

A cualquier cosa que vea un visitante sin cuenta, en el dominio que indiques. Nada tras un inicio de sesión, nada de otro dominio salvo que lo añadas, y nada que un robots.txt prohíba: lo respetamos, incluido el retardo de rastreo.

Nuestro rastreador se identifica como WelcomeAIBot. Si necesitas permitirlo explícitamente, ese es el nombre.

Qué necesitas antes de empezar

• Un sitio accesible públicamente. Un entorno de pruebas tras autenticación básica o una lista de IP no se puede rastrear.
• Contenido que exista en el HTML. Una página cuyo texto lo dibuja JavaScript después de cargar le parece vacía a un rastreador.
• Una base de conocimiento donde poner las páginas.

Autenticación

Ninguna. Es la única fuente que no necesita credencial, porque lee lo que puede leer cualquiera.

Configurarlo

1. Abre una base de conocimiento → Añadir fuente → Rastrear un sitio web.
2. Escribe la URL de inicio.
3. Fija el límite de páginas y el horario. Diario es la respuesta habitual; un sitio que cambia cada semana no necesita un rastreo nocturno.
4. Opcionalmente acótalo con patrones de inclusión y exclusión: /blog/* para coger solo el blog, /tag/* para saltarte los archivos de etiquetas.
5. Guarda. El primer rastreo empieza al momento.

Cómo funciona la sincronización

Cada ejecución arranca del sitemap si lo hay y de la URL de inicio si no, sigue los enlaces dentro de las rutas permitidas y para al llegar al límite de páginas.

Solo se reindexan las páginas cuyo contenido cambió; el resto se reconocen por su hash y se saltan, así que un rastreo nocturno de un sitio estable cuesta muy poco. Una página que ha desaparecido desde la última pasada se elimina.

Qué se importa

El artículo legible de cada página: la estructura de encabezados, los párrafos, las listas y las tablas. La navegación, las cabeceras, los pies y las barras laterales se descartan, porque una base de conocimiento llena de tu propio menú no responde nada.

El título de la página es el título del documento y su URL el enlace de la cita. Los PDF enlazados desde páginas rastreadas también se leen.

Cómo se gestionan las actualizaciones

Los documentos se identifican por la URL. Una página que cambia actualiza el mismo documento; una que devuelve 404 o desaparece del sitio se elimina en la siguiente pasada.

Una URL que cambia -- un slug renombrado, una ruta nueva -- parece un borrado y una página nueva, porque desde fuera es exactamente eso.

Para qué se usa

La forma más rápida de empezar: apúntalo a tu centro de ayuda o a tu documentación y tienes un asistente en minutos sin migrar nada. También es la respuesta correcta para contenido de un sistema del que no tenemos conector, mientras sea público.

Cómo comprobar que funciona

1. El Registro de sincronización muestra cada pasada: páginas descubiertas, creadas, actualizadas, saltadas y fallidas.
2. La lista de documentos muestra lo que realmente se guardó, con su URL.
3. Abre un documento y léelo. Si está lleno de texto de menú, la extracción no encontró contenido principal: acota el rastreo o usa otra fuente.
4. Pregúntale al Playground algo que solo responda una página.

Errores habituales

"Bloqueado por robots.txt": el sitio prohíbe el rastreo, al menos en esa ruta. Cambia el robots.txt del sitio, o permite WelcomeAIBot explícitamente.

Casi no se encontró nada: o se alcanzó el límite de páginas, o el sitio dibuja su contenido en el navegador. Mira el código fuente de una página: si el texto no está ahí, nosotros tampoco lo vemos.

Las páginas son todo menú y pie: la extracción no encontró una región de contenido principal. Acotar el patrón de inclusión a las rutas de artículo suele arreglarlo.

"Límite de peticiones" o timeouts: el sitio rechaza nuestro ritmo. El rastreador se frena solo cuando esto empieza y vuelve a su ritmo cuando para, así que casi siempre lo aguanta; si persiste, baja la frecuencia del horario o pide a quien lleva el sitio que permita nuestro rastreador.

Un rastreo empieza bien y luego falla casi todo: es lo mismo visto desde el otro lado. Algunos sitios responden a una ráfaga de peticiones con una página de relleno en vez de con un rechazo, y una página de doscientos bytes no tiene nada que indexar. El Registro de sincronización dice el estado, y un documento que falló así dice cuántos bytes leyó: unos cientos es relleno, decenas de miles es una página real que nuestra extracción no supo leer. Volver a lanzar el rastreo suele recuperarlas.

El sitio cambió y las respuestas están viejas: mira el horario. Un rastreo semanal va una semana por detrás, por diseño.

Reconectar

No hay credencial, así que no hay nada que reconectar. Si un rastreo empezó a fallar, vuelve a lanzarlo desde la fila de la fuente y lee la entrada del Registro de sincronización: nombra la primera URL que falló y por qué.

Desconectar

Pausa la fuente para detener el horario conservando todo lo que ha traído. Bórrala para pararlo definitivamente; eso pregunta si conservar los documentos, y "solo la conexión" los deja respondiendo.