Rastrear un sitio web

El rastreador es la forma mas rapida de darle a un asistente todo lo que ya has publicado.

Empezar un rastreo

En una base de conocimiento, anade una fuente Sitio web y dale una o varias URLs de inicio. Leemos robots.txt, buscamos un sitemap, y despues seguimos los enlaces desde tus paginas de inicio.

Dos ajustes deciden hasta donde llega:

• Profundidad maxima. A cuantos enlaces de distancia de una pagina de inicio estamos dispuestos a ir. Tres suele estar bien para una web de marketing.
• Paginas maximas. Un techo, para que un calendario o un archivo paginado no se coma tu plan. Tu plan pone el limite duro; tu puedes poner uno mas bajo.

Incluir y excluir

Los patrones se comparan con la ruta, y ** vale por cualquier cosa:

• /docs/** — solo la documentacion.
• **/tag/** — saltar los archivos de etiquetas.
• **?* — saltar cualquier cosa con query string.

Las exclusiones ganan a las inclusiones. Si rastreas un sitio grande, empieza con un patron de inclusion en vez de un limite de paginas alto: para la calidad de las respuestas, la precision gana al volumen.

Que nos saltamos

• Todo lo que robots.txt prohiba para nuestro user agent.
• Las paginas con noindex, y los enlaces marcados nofollow.
• Todo lo que este fuera del sitio de inicio, salvo que lo anadas como otra URL de inicio.
• Las direcciones privadas y locales, siempre.

Volver a rastrear

Elige diario, semanal o manual. Un nuevo rastreo envia una peticion condicional por pagina, asi que una pagina que no cambio cuesta una peticion pequena y no se reindexa. Las paginas que desaparecieron se eliminan de la base de conocimiento.

Revisar un rastreo

La tarjeta de la fuente muestra la ultima ejecucion y el registro de sincronizacion lista que se creo, actualizo, salto y elimino, pagina a pagina, con el motivo. Una pagina fallida muestra el codigo que recibimos, que normalmente apunta directo al problema: un bucle de redirecciones, un muro de login, o una pagina hecha entera en JavaScript sin texto servido.