最近在「写你不知道的大模型训练」的这篇文章，刚好需要批量去下载一批大模型训练的论文以及厂商的模型发布的博客以及各种资料来分析，之前做法是搜索然后手工处理，刚好碰到了 XCrawl 这个工具，给到关键词就可以帮你搜索下载到结构化的文章内容数据，支持 Scrape 单页抓取、Crawl 全站递归、Search/SERP 搜索结果采集几类接口，输出 Markdown 或 JSON 直接可用，相比自己手工或者转 Render 链接要方便不少。它支持 MCP 和 curl 多种形式使用，我直接用 CLAUDEmd 告诉他用 curl 方式来获取内容，给了他一个批量的任务先搜索论文线索，然后把厂商的最新博客给弄下来，试了试挺一气呵成，免费注册的1000积分完全够用了，文档也挺清晰，有需要小伙伴可以去这里注册试试看
0:21
最近在「写你不知道的大模型训练」的这篇文章，刚好需要批量去下载一 …
已浏览 2万 次1 个月前
x.comTw93
网页结构化数据抓取 AI 神器 Firecrawl
3:13
网页结构化数据抓取 AI 神器 Firecrawl
已浏览 638 次2025年2月5日
bilibili零重力瓦力
SmartCrawl：利用 AI 技术将任何网站数据转为 API
0:12
SmartCrawl：利用 AI 技术将任何网站数据转为 API
已浏览 973 次2024年7月15日
bilibili三花AI
AI爬蟲黑科技Craw|免費開源網頁抓取工具
AI爬蟲黑科技Craw|免費開源網頁抓取工具
已浏览 4.2万 次2025年4月28日
TikTokmop.ai2025114
Chinniluuu on Instagram: "Can’t wait when I hear my fav music..🏃I got balance Amma, don’t worry 😉🧿🪬..#borntolead #smartcrawl #fun #babylogic #VirajUnfiltered@wearekidsunited @babiesworldwide @babytalent.contest @babies.official #babyboy #familia#kidsdoingthings #cutekidsclub #babiesofinsta 🧿🪬"
Chinniluuu on Instagram: "Can’t wait when I hear my fav music..🏃I g…
已浏览 882万 次2025年4月17日
Instagrammaster_virajhanuman
Firecrawl + n8n 自动化实战 - 从数据抓取到飞书推送极简指南
21:27
Firecrawl + n8n 自动化实战 - 从数据抓取到飞书推送极简指南
已浏览 3645 次9 个月之前
YouTube小白AI笔记
AI时代新爬虫：网站自动转LLM数据，firecrawl深度玩法解读
5:15
AI时代新爬虫：网站自动转LLM数据，firecrawl深度玩法解读
已浏览 4831 次2024年6月7日
YouTubeIT咖啡馆
8:29
自媒体抓取神器！MediaCrawler让数据采集变得如此简单，新手也能轻松 …
已浏览 485 次10 个月之前
YouTubeQinmeigui
6:30
基于AI的网络爬虫和数据抓取工具Crawl4AI整合包下载
已浏览 264 次5 个月之前
YouTubeAI画师大阳
1:53
告别繁琐！Firecrawl 重塑数据采集新体验
已浏览 1302 次10 个月之前
bilibili沈code
AI爬虫黑科技FireCrawl 零门槛抓取网页数据!!##FireCrawl ##爬虫神器 …
2025年3月11日
douyin.com
0:53
Firecrawl爬虫神器上线⚙️
已浏览 761 次2024年9月25日
bilibili有趣的灵魂董菲同学
0:37
【Github热门】6.2K Star MediaCrawler，爬取一切！学技术 …
已浏览 9.2万 次2024年3月18日
bilibiliGit公子龙师兄
0:37
FireCrawl: 震撼GitHub的AI时代爬虫神器 | 3万Star开源项目完全解析
已浏览 2704 次2025年3月15日
YouTube达轮无限进步
5:14
Firecrawl大模型 网络爬虫本地部署实践 #小工蚁
已浏览 4355 次2024年11月22日
bilibili小工蚁创始人
0:36
AI爬虫黑科技FireCrawl一秒抓取网页数据一键爬取网页数据开源网页数 …
已浏览 195 次6 个月之前
bilibili新无止竞博客
7:05
爬虫智能化实用工具crawl4ai使用
已浏览 796 次10 个月之前
bilibili图灵夏洛
12:33
【Github68.8k项目】firecrawl最强爬虫开源项目，手把手教学！今天不 …
已浏览 5259 次5 个月之前
bilibili明天学姐教爬虫
9:24
AI神器Firecrawl：免费网页爬虫，小白也能轻松上手
已浏览 290 次5 个月之前
bilibili薛定猫AI
9:00
【爬虫神器】Firecrawl开源发布！AI驱动零门槛抓取任意网站，这波免费 …
已浏览 12 次5 个月之前
bilibili宙流AI小工坊主
17:20
网络爬虫技术/webcrawler/一套视频全部搞定
已浏览 480 次2022年8月8日
bilibili壹号程序员
18:00
【免费开源】用 AI 爬虫 Firecrawl 扒遍全网！最强 AI 网页抓取工具来袭！
已浏览 2557 次5 个月之前
bilibiliAI-seeker
6:15
【喂饭系列】超酷的！零代码DeepSeek Firecrawl Dify LLM搭建 …
已浏览 464 次2025年3月20日
bilibili敲代码的码农
14:49
【精品】GO语言实现分布式爬虫教程：gocrawl-12-并发爬虫-队列调度器-
已浏览 128 次2021年8月6日
bilibili一只程序dog
5:51
AI时代新爬虫：网站自动转LLM数据，firecrawl深度玩法解读
已浏览 3.8万 次2024年6月5日
bilibiliIT咖啡馆
1:41
Firecrawl 最强AI爬虫工具
已浏览 6211 次2025年4月8日
bilibili码码评测
9:00
用AI免费爬取任何网站！Firecrawl开源神器，你的专属AI网页抓取助手！
已浏览 596 次5 个月之前
bilibili烟神殿副殿主
9:00
[免费AI神器Firecrawl突袭！颠覆性开源爬虫让你抓取任意网站]
已浏览 100 次5 个月之前
bilibili4zapi
0:24
AI爬虫黑科技 Firecrawl，小白也能一键提取网页数据！
已浏览 4809 次2024年9月3日
bilibili艾克ai分享
0:38
A科技FireCrawl一秒抓取网页
已浏览 111 次11 个月之前
bilibiliAIGC-亿晨
观看更多视频
静态缩略图占位符