crawler.sh

crawler.sh — это десктопное приложение и CLI-инструмент для глубокого сканирования сайтов. Если проще: программа заходит на сайт, методично обходит все доступные страницы и анализирует их. Главная фишка здесь в том, что crawler.sh вытягивает основной контент и превращает его в чистый, легко читаемый Markdown. В придачу вы получаете количество слов, имя автора и краткий анонс статьи. Кроме того, инструмент проводит полноценный технический аудит каждой страницы на предмет типичных SEO-ошибок. Важный момент: всё работает локально на вашем компьютере, так что данные и процесс полностью под вашим контролем.

Работает всё просто: задаете стартовый URL, и программа начинает переходить по ссылкам внутри домена. Глубину сканирования и лимит страниц можно настроить под себя. Отдельно стоит выделить 23 автоматических SEO-проверки. Инструмент подсветит всё: от отсутствующих заголовков и дублей meta-описаний до директив «noindex», «тонкого» контента и битых ссылок. Результаты можно выгрузить в разных форматах: JSON-массивы или NDJSON подойдут разработчикам, стандартные Sitemap XML — для поисковиков, а SEO-отчеты можно сохранить в CSV или обычном текстовом файле.

Кому это будет полезно? В первую очередь профи, которым нужно держать структуру и контент сайта под контролем. SEO-специалисты оценят возможность проводить детальные аудиты, чтобы подтянуть позиции в выдаче. Контент-менеджерам crawler.sh поможет быстро архивировать статьи в Markdown для бэкапов или миграции на другую платформу. А веб-разработчики смогут генерировать точные sitemaps и оперативно находить технические баги, которые портят UX.