### [Crawl4AI：把全网网页变成 LLM 能直接用的干净 Markdown，RAG 数据清洗一步到位（71.8K★）](https://www.willai.cc/article/3607)

**Published:** 2026-07-09T23:59:16

**Author:** hiyoho

**Excerpt:** 一、项目简介 Crawl4AI 是一个开源、对大模型友好的网页爬虫与抓取框架，能把任意网页一键转换成结构清晰、可直接喂给 LLM / RAG 的 Markdown，并支持结构化数据提取、截图、动态渲染等能力。对做检索增强、知识库、Agent

![Crawl4AI 项目封面](https://admin.hiyoho.com/wp-content/uploads/2026/07/crawl4ai_og-1.png)

## 一、项目简介

**Crawl4AI** 是一个开源、对大模型友好的网页爬虫与抓取框架，能把任意网页一键转换成结构清晰、可直接喂给 LLM / RAG 的 Markdown，并支持结构化数据提取、截图、动态渲染等能力。对做检索增强、知识库、Agent 联网取数的人来说，它基本等于把”爬虫 + 清洗”两道工序合并了。

## 二、安装要求和过程

**环境要求：**Python 3.10 及以上；底层基于 Playwright（Chromium），首次使用需下载浏览器内核。

**快速安装（Python 包）：**

```
# 安装
pip install -U crawl4ai

# 安装后执行一键浏览器配置
crawl4ai-setup

# 自检环境是否就绪
crawl4ai-doctor

# 若遇到浏览器相关报错，可手动补全
python -m playwright install --with-deps chromium
```

**Docker 部署（推荐生产环境）：**

```
docker pull unclecode/crawl4ai:latest
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest
# 监控面板: http://localhost:11235/dashboard
# 交互 playground: http://localhost:11235/playground
```

## 三、核心功能

-   **LLM 就绪的 Markdown 输出：**智能 Markdown 保留标题、表格、代码块，并提供 Fit Markdown（裁剪导航/广告等无关内容）、引用标注，以及基于 BM25 算法的内容过滤，正文噪声大幅降低。
-   **结构化数据提取：**支持基于 LLM 的 Schema 提取、CSS 选择器提取、余弦相似度匹配，配合分块（Chunk）策略，直接产出 Pydantic 结构化对象，无需手写正则。
-   **真·浏览器级抓取：**基于 Playwright 托管浏览器，支持会话保持、代理、Cookie、用户脚本、Hook、动态视口调整、懒加载处理，还能截图与生成 PDF。
-   **自适应爬取与调度：**异步浏览器池 + 缓存机制，能学习网站结构、只爬该爬的页面；内置深度爬取与内存自适应调度，从单页到万级站点都能扛。
-   **部署灵活、可接 Agent：**零密钥、CLI + Docker 双形态；新版 Docker 自带监控面板、浏览器池预热、Playground 与 MCP 集成，可直连 Claude Code 等 AI 编程工具。

## 四、典型使用场景

-   **搭 RAG 知识库：**把公司文档站、竞品官网、行业博客批量抓成干净 Markdown，直接喂进向量库做检索增强，省去大量手写清洗规则。
-   **生成 LLM 训练 / 微调语料：**用 LLM 提取策略从定价页、榜单页抽取结构化字段（例如各家模型的价格表），产出干净的 JSON 数据集。
-   **AI Agent 联网取数：**通过 Docker + MCP 把 Crawl4AI 接进 Agent 工作流，让智能体实时抓取网页、执行 JS、截图后回写结果，补足大模型”看不见实时网页”的短板。

## 五、推荐理由

我自己踩过不少爬虫的坑：传统方案要么反爬头疼，要么抓下来的 Markdown 一堆导航/侧边栏噪音，接 RAG 前还得再写一层清洗。Crawl4AI 的 _Fit Markdown + BM25 过滤_基本把”正文 vs 杂质”这件事做对了，接检索增强时相当省心；异步 + 浏览器池的性能也不错，小规模到大规模都能用。Docker 镜像开箱即用，MCP 直连 Claude Code 这点对做 Agent 的人尤其香。小提醒：它依赖 Playwright/Chromium，首次部署体积不小；上生产建议走 0.9.0+ 的安全加固 Docker 镜像（已修复路径遍历 / SSRF / RCE）。

## 六、下载地址

-   官方网站 / 文档：[https://crawl4ai.com](https://crawl4ai.com) ｜ [https://docs.crawl4ai.com](https://docs.crawl4ai.com)
-   GitHub 仓库：[https://github.com/unclecode/crawl4ai](https://github.com/unclecode/crawl4ai)（⭐ 71.8K+，Apache-2.0）
-   PyPI 安装：`pip install -U crawl4ai`
-   Docker 镜像：`unclecode/crawl4ai:latest`

**Tags:** AI, AI Agent, AI开源项目, crawl4ai, Docker, LLM, LLM友好, Playwright, Python, RAG

**Categories:** 开源项目

---