crawler.sh

crawler.sh es una aplicación de escritorio y una herramienta de línea de comandos para rastrear sitios web. Navega sistemáticamente por un sitio, descubriendo y analizando cada página que encuentra. Su función principal es extraer el contenido principal de cada página, el cual convierte en Markdown limpio y legible. Esto incluye detalles como el recuento de palabras, la firma del autor y un breve extracto. También realiza un análisis técnico exhaustivo de cada página, comprobando problemas comunes de SEO. La herramienta está diseñada para ejecutarse en tu propio ordenador, dándote el control total sobre los datos y el proceso.

La herramienta funciona comenzando en una URL dada y siguiendo los enlaces dentro del mismo dominio. Puedes configurar hasta qué profundidad llega y cuántas páginas procesa. Una característica clave es su conjunto de 23 comprobaciones de SEO automatizadas, que buscan problemas como títulos de página ausentes, meta descripciones duplicadas, directivas 'noindex', contenido irrelevante y enlaces rotos. Tras el rastreo, puedes exportar todos los datos recopilados en varios formatos útiles, incluyendo arrays JSON para desarrolladores, NDJSON para streaming y archivos Sitemap XML estándar para motores de búsqueda. Los informes de SEO pueden exportarse como CSV o texto plano.

crawler.sh es más útil para profesionales que necesitan comprender y gestionar la estructura y el contenido de un sitio web. Los especialistas en SEO pueden usarla para realizar auditorías detalladas del sitio e identificar problemas que podrían afectar el posicionamiento en las búsquedas. Los gestores de contenido pueden archivar artículos de sitios web en un formato Markdown portátil para copias de seguridad o migraciones. Los desarrolladores web la encontrarán útil para generar sitemaps precisos y monitorizar sitios en busca de enlaces rotos u otros problemas técnicos que podrían impactar la experiencia de usuario.