Crawl4ai - 标签 | 飞污熊小站https://xiongneng.me/tags/crawl4ai/飞污熊小站Hugo 0.165.0 & FixIt v0.4.6-20260512073637-464c4659zh-CNyidao620@163.com (XiongNeng)yidao620@163.com (XiongNeng)XiongNengMon, 31 Aug 2026 12:53:38 +0000crawl4ai专为LLM而生的爬虫https://xiongneng.me/posts/ai/crawl4ai/Sat, 29 Aug 2026 20:35:10 +0800yidao620@163.com (XiongNeng)https://xiongneng.me/posts/ai/crawl4ai/AI<p>做 AI 应用的人，迟早都会撞上同一个问题&ndash;喂给模型的数据从哪来？ 模型自己不会上网。你要给它知识，就得先去网上抓内容、清洗、转成它能吃的格式。而网页抓取这件事，从来都不简单：动态加载、反爬、登录态、表格、分页、JS 渲染……每个都是坑。 有人专门为 LLM 场景做了一个爬虫，把抓取到的网页直接转成干净的 Markdown。这个项目叫 <code>crawl4ai</code>，是 GitHub 上 star 最多的爬虫，作者是 unclecode。</p>