Crawl4AI：把全网网页变成 LLM 能直接用的干净 Markdown，RAG 数据清洗一步到位（71.8K★）

一、项目简介

Crawl4AI 是一个开源、对大模型友好的网页爬虫与抓取框架，能把任意网页一键转换成结构清晰、可直接喂给 LLM / RAG 的 Markdown，并支持结构化数据提取、截图、动态渲染等能力。对做检索增强、知识库、Agent 联网取数的人来说，它基本等于把”爬虫 + 清洗”两道工序合并了。

二、安装要求和过程

环境要求：Python 3.10 及以上；底层基于 Playwright（Chromium），首次使用需下载浏览器内核。

快速安装（Python 包）：

# 安装
pip install -U crawl4ai

# 安装后执行一键浏览器配置
crawl4ai-setup

# 自检环境是否就绪
crawl4ai-doctor

# 若遇到浏览器相关报错，可手动补全
python -m playwright install --with-deps chromium

Docker 部署（推荐生产环境）：

docker pull unclecode/crawl4ai:latest
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest
# 监控面板: http://localhost:11235/dashboard
# 交互 playground: http://localhost:11235/playground

三、核心功能

• LLM 就绪的 Markdown 输出：智能 Markdown 保留标题、表格、代码块，并提供 Fit Markdown（裁剪导航/广告等无关内容）、引用标注，以及基于 BM25 算法的内容过滤，正文噪声大幅降低。
• 结构化数据提取：支持基于 LLM 的 Schema 提取、CSS 选择器提取、余弦相似度匹配，配合分块（Chunk）策略，直接产出 Pydantic 结构化对象，无需手写正则。
• 真·浏览器级抓取：基于 Playwright 托管浏览器，支持会话保持、代理、Cookie、用户脚本、Hook、动态视口调整、懒加载处理，还能截图与生成 PDF。
• 自适应爬取与调度：异步浏览器池 + 缓存机制，能学习网站结构、只爬该爬的页面；内置深度爬取与内存自适应调度，从单页到万级站点都能扛。
• 部署灵活、可接 Agent：零密钥、CLI + Docker 双形态；新版 Docker 自带监控面板、浏览器池预热、Playground 与 MCP 集成，可直连 Claude Code 等 AI 编程工具。

四、典型使用场景

• 搭 RAG 知识库：把公司文档站、竞品官网、行业博客批量抓成干净 Markdown，直接喂进向量库做检索增强，省去大量手写清洗规则。
• 生成 LLM 训练 / 微调语料：用 LLM 提取策略从定价页、榜单页抽取结构化字段（例如各家模型的价格表），产出干净的 JSON 数据集。
• AI Agent 联网取数：通过 Docker + MCP 把 Crawl4AI 接进 Agent 工作流，让智能体实时抓取网页、执行 JS、截图后回写结果，补足大模型”看不见实时网页”的短板。

五、推荐理由

我自己踩过不少爬虫的坑：传统方案要么反爬头疼，要么抓下来的 Markdown 一堆导航/侧边栏噪音，接 RAG 前还得再写一层清洗。Crawl4AI 的 Fit Markdown + BM25 过滤基本把”正文 vs 杂质”这件事做对了，接检索增强时相当省心；异步 + 浏览器池的性能也不错，小规模到大规模都能用。Docker 镜像开箱即用，MCP 直连 Claude Code 这点对做 Agent 的人尤其香。小提醒：它依赖 Playwright/Chromium，首次部署体积不小；上生产建议走 0.9.0+ 的安全加固 Docker 镜像（已修复路径遍历 / SSRF / RCE）。

六、下载地址

• 官方网站 / 文档：https://crawl4ai.com ｜ https://docs.crawl4ai.com
• GitHub 仓库：https://github.com/unclecode/crawl4ai（⭐ 71.8K+，Apache-2.0）
• PyPI 安装：pip install -U crawl4ai
• Docker 镜像：unclecode/crawl4ai:latest