# Rastrear un sitio web

> Nos apuntas a un sitio y convertimos sus páginas en contenido que responde, con un horario.

Source: https://welcomeai.dev/es/docs/website-crawler
Category: Integraciones
Updated: 2026-09-06

---
## Qué hace

Lee un sitio web público y convierte sus páginas en documentos. Empieza por una URL, seguimos los
enlaces y el sitemap, extraemos el contenido legible de cada página y volvemos a rastrear según un
horario para que la base de conocimiento siga al sitio.

## A qué puede acceder

A cualquier cosa que vea un visitante sin cuenta, en el dominio que indiques. Nada tras un inicio de
sesión, nada de otro dominio salvo que lo añadas, y nada que un `robots.txt` prohíba: lo respetamos,
incluido el retardo de rastreo.

Nuestro rastreador se identifica como `WelcomeAIBot`. Si necesitas permitirlo explícitamente, ese es el
nombre.

## Qué necesitas antes de empezar

- Un sitio accesible públicamente. Un entorno de pruebas tras autenticación básica o una lista de IP no
  se puede rastrear.
- Contenido que exista en el HTML. Una página cuyo texto lo dibuja JavaScript después de cargar le
  parece vacía a un rastreador.
- Una base de conocimiento donde poner las páginas.

## Autenticación

Ninguna. Es la única fuente que no necesita credencial, porque lee lo que puede leer cualquiera.

## Configurarlo

1. Abre una base de conocimiento → **Añadir fuente** → Rastrear un sitio web.
2. Escribe la URL de inicio.
3. Fija el **límite de páginas** y el **horario**. Diario es la respuesta habitual; un sitio que cambia
   cada semana no necesita un rastreo nocturno.
4. Opcionalmente acótalo con patrones de inclusión y exclusión: `/blog/*` para coger solo el blog,
   `/tag/*` para saltarte los archivos de etiquetas.
5. Guarda. El primer rastreo empieza al momento.

## Cómo funciona la sincronización

Cada ejecución arranca del sitemap si lo hay y de la URL de inicio si no, sigue los enlaces dentro de
las rutas permitidas y para al llegar al límite de páginas.

Solo se reindexan las páginas cuyo contenido cambió; el resto se reconocen por su hash y se saltan, así
que un rastreo nocturno de un sitio estable cuesta muy poco. Una página que ha desaparecido desde la
última pasada se elimina.

## Qué se importa

El artículo legible de cada página: la estructura de encabezados, los párrafos, las listas y las
tablas. La navegación, las cabeceras, los pies y las barras laterales se descartan, porque una base de
conocimiento llena de tu propio menú no responde nada.

El título de la página es el título del documento y su URL el enlace de la cita. Los PDF enlazados desde
páginas rastreadas también se leen.

## Cómo se gestionan las actualizaciones

Los documentos se identifican por la URL. Una página que cambia actualiza el mismo documento; una que
devuelve 404 o desaparece del sitio se elimina en la siguiente pasada.

Una URL que cambia -- un slug renombrado, una ruta nueva -- parece un borrado y una página nueva, porque
desde fuera es exactamente eso.

## Para qué se usa

La forma más rápida de empezar: apúntalo a tu centro de ayuda o a tu documentación y tienes un asistente
en minutos sin migrar nada. También es la respuesta correcta para contenido de un sistema del que no
tenemos conector, mientras sea público.

## Cómo comprobar que funciona

1. El Registro de sincronización muestra cada pasada: páginas descubiertas, creadas, actualizadas,
   saltadas y fallidas.
2. La lista de documentos muestra lo que realmente se guardó, con su URL.
3. Abre un documento y léelo. Si está lleno de texto de menú, la extracción no encontró contenido
   principal: acota el rastreo o usa otra fuente.
4. Pregúntale al Playground algo que solo responda una página.

## Errores habituales

**"Bloqueado por robots.txt"**: el sitio prohíbe el rastreo, al menos en esa ruta. Cambia el
`robots.txt` del sitio, o permite `WelcomeAIBot` explícitamente.

**Casi no se encontró nada**: o se alcanzó el límite de páginas, o el sitio dibuja su contenido en el
navegador. Mira el código fuente de una página: si el texto no está ahí, nosotros tampoco lo vemos.

**Las páginas son todo menú y pie**: la extracción no encontró una región de contenido principal. Acotar
el patrón de inclusión a las rutas de artículo suele arreglarlo.

**"Límite de peticiones" o timeouts**: el sitio rechaza nuestro ritmo. El rastreador se frena solo
cuando esto empieza y vuelve a su ritmo cuando para, así que casi siempre lo aguanta; si persiste, baja
la frecuencia del horario o pide a quien lleva el sitio que permita nuestro rastreador.

**Un rastreo empieza bien y luego falla casi todo**: es lo mismo visto desde el otro lado. Algunos
sitios responden a una ráfaga de peticiones con una página de relleno en vez de con un rechazo, y una
página de doscientos bytes no tiene nada que indexar. El Registro de sincronización dice el estado, y un
documento que falló así dice cuántos bytes leyó: unos cientos es relleno, decenas de miles es una página
real que nuestra extracción no supo leer. Volver a lanzar el rastreo suele recuperarlas.

**El sitio cambió y las respuestas están viejas**: mira el horario. Un rastreo semanal va una semana por
detrás, por diseño.

## Reconectar

No hay credencial, así que no hay nada que reconectar. Si un rastreo empezó a fallar, vuelve a lanzarlo
desde la fila de la fuente y lee la entrada del Registro de sincronización: nombra la primera URL que
falló y por qué.

## Desconectar

Pausa la fuente para detener el horario conservando todo lo que ha traído. Bórrala para pararlo
definitivamente; eso pregunta si conservar los documentos, y "solo la conexión" los deja respondiendo.