wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,955
87
12
38
金币
60,211金币
最近在折腾 OpenClaw 的数据采集能力,调研了一圈目前自媒体/网站数据获取的工具,整理如下:

───

🌐 通用网页采集

1. Agent-Reach — 各社媒平台数据获取
🔗 https://github.com/Panniantong/Agent-Reach

2. opencli — 浏览器自动化
🔗 https://github.com/jackwener/opencli

3. bb-browser — 浏览器就是 API
🔗 https://github.com/epiral/bb-browser

4. web-access — 补上 Claude Code 联网策略 + CDP 浏览器操作 + 站点经验积累
🔗 https://github.com/eze-is/web-access

5. jina.ai (http://jina.ai/) — 获得任何网页纯 Markdown
🔗 https://r.jina.ai (https://r.jina.ai/)
📎 参考:https://x.com/vista8/status/2035369626188816868

6. xcrawl — API 服务,简单高效,省心选择,搭配 OpenClaw 使用更佳
🔗 https://docs.xcrawl.com/zh/doc/developer-guides/openclaw/
🎁 新用户注册即送 1000 积分:https://xcrawl.com (https://xcrawl.com/)

───

📱 平台专属爬虫

7. wechat_articles_spider — 公众号爬取
🔗 https://github.com/klin-h/wechat_articles_spider

8. MediaCrawler — 自媒体平台爬虫,专注国内平台
🔗 https://github.com/NanmiCoder/MediaCrawler

───

🔧 OpenClaw 生态

9. 6551 资讯 SKILL

• OpenTwitter MCP:https://clawhub.ai/infra403/opentwitter-mcp
• OpenNews MCP:https://clawhub.ai/infra403/opennews-mcp

───

📝 知识管理

10. Obsidian Web Clipper — Obsidian 插件
一键将网页内容保存至 Obsidian,可同步 X 文章,支持在线阅读。

───
 
最后编辑: