最近在折腾 OpenClaw 的数据采集能力,调研了一圈目前自媒体/网站数据获取的工具,整理如下:
───
通用网页采集
1. Agent-Reach — 各社媒平台数据获取
https://github.com/Panniantong/Agent-Reach
2. opencli — 浏览器自动化
https://github.com/jackwener/opencli
3. bb-browser — 浏览器就是 API
https://github.com/epiral/bb-browser
4. web-access — 补上 Claude Code 联网策略 + CDP 浏览器操作 + 站点经验积累
https://github.com/eze-is/web-access
5. jina.ai (http://jina.ai/) — 获得任何网页纯 Markdown
https://r.jina.ai (https://r.jina.ai/)
参考:https://x.com/vista8/status/2035369626188816868
6. xcrawl — API 服务,简单高效,省心选择,搭配 OpenClaw 使用更佳
https://docs.xcrawl.com/zh/doc/developer-guides/openclaw/
新用户注册即送 1000 积分:https://xcrawl.com (https://xcrawl.com/)
───
平台专属爬虫
7. wechat_articles_spider — 公众号爬取
https://github.com/klin-h/wechat_articles_spider
8. MediaCrawler — 自媒体平台爬虫,专注国内平台
https://github.com/NanmiCoder/MediaCrawler
───
OpenClaw 生态
9. 6551 资讯 SKILL
• OpenTwitter MCP:https://clawhub.ai/infra403/opentwitter-mcp
• OpenNews MCP:https://clawhub.ai/infra403/opennews-mcp
───
知识管理
10. Obsidian Web Clipper — Obsidian 插件
一键将网页内容保存至 Obsidian,可同步 X 文章,支持在线阅读。
───
───
1. Agent-Reach — 各社媒平台数据获取
2. opencli — 浏览器自动化
3. bb-browser — 浏览器就是 API
4. web-access — 补上 Claude Code 联网策略 + CDP 浏览器操作 + 站点经验积累
5. jina.ai (http://jina.ai/) — 获得任何网页纯 Markdown
6. xcrawl — API 服务,简单高效,省心选择,搭配 OpenClaw 使用更佳
───
7. wechat_articles_spider — 公众号爬取
8. MediaCrawler — 自媒体平台爬虫,专注国内平台
───
9. 6551 资讯 SKILL
• OpenTwitter MCP:https://clawhub.ai/infra403/opentwitter-mcp
• OpenNews MCP:https://clawhub.ai/infra403/opennews-mcp
───
10. Obsidian Web Clipper — Obsidian 插件
一键将网页内容保存至 Obsidian,可同步 X 文章,支持在线阅读。
───
最后编辑: