Crawler.sh 是一款快速、本地优先的网络爬虫与SEO分析工具，用户可通过终端或桌面应用快速抓取整个网站。它执行自动化SEO检查，将内容提取为纯净的Markdown格式，并支持JSON、CSV、站点地图XML等多种导出格式，非常适合技术性SEO和内容管理工作流。
定价模式：付费
核心特性
- 支持可配置深度、页面限制和延迟的并发爬取
- 自动化SEO分析，包含16项检查，如缺失标题和重复描述等问题
- 内容提取为纯净Markdown，包含字数统计和作者署名
- 多种输出格式：NDJSON、JSON、站点地图XML及SEO CSV/TXT
- 实时进度跟踪，支持流式显示和仪表板可视化
使用场景
- 适合SEO专业人员进行技术审计和识别页面问题
- 内容营销人员提取文章，用于博客改写或AI训练数据
- 开发者自动化网络抓取任务，用于监控或数据收集
- 初创公司分析竞争对手网站，获取SEO洞察和内容差距
为什么适合创业公司
初创公司需要crawler.sh，因为它提供经济高效的本地解决方案，无需高昂订阅费即可进行SEO审计和内容提取。其自动化功能让小团队能快速分析网站、识别技术问题并收集内容洞察，这对提升在线可见性和在数字领域有效竞争至关重要。
常见问题
Q：crawler.sh 是否免费使用？
A：是的，crawler.sh 是一款免费工具，无需账户即可下载，提供CLI和桌面应用版本。
Q：它支持哪些平台？
A：支持 macOS（适用于Apple Silicon和Intel的通用二进制文件）、Linux（通过.deb包支持x86_64和ARM64）和 Windows（桌面应用）。
Q：默认可爬取多少页面？
A：默认爬取上限为100页，但该限制可根据用户设置调整。
Q：它执行哪些SEO检查？
A：它执行16项自动化SEO检查，包括检测缺失标题、重复描述、noindex指令、内容过少和URL过长等问题。
同类工具：Screaming Frog SEO Spider, Scrapy, Botify, DeepCrawl