📌 项目简介

MediaCrawler 是一个多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、百度贴吧、知乎共 7 个主流内容平台的公开信息抓取。项目基于 Playwright 浏览器自动化框架实现，无需 JS 逆向，直接利用保存的登录态浏览器上下文通过 JS 表达式获取签名参数，大幅降低了爬虫技术门槛。

该项目定位为学习爬虫技术、研究浏览器自动化方案的开源教学项目，同时也为 LLM 训练数据收集、内容分析等场景提供了实用工具链。

⚙️ 安装要求与过程

环境要求

• Python：推荐 3.11 及以上版本（已支持 Python 3.13）
• Node.js：≥ 16.0.0（WebUI 前端需要）
• Chrome 浏览器：推荐 ≥ 144 版本（开启远程调试后可复用登录态）
• 包管理工具：推荐 uv（速度快、依赖解析准确）

快速安装（5 分钟上手）

# 1. 克隆项目
git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

# 2. 安装 Python 依赖（使用 uv）
uv sync

# 3.（可选）安装 Playwright 浏览器驱动（标准模式需要）
uv run playwright install

# 4.（推荐）配置 Chrome 远程调试
# 在 Chrome 地址栏输入 chrome://inspect/#remote-debugging
# 勾选允许远程调试，确认 Server 运行在 127.0.0.1:9222

WebUI 可视化界面部署

# 开发调试模式
# 终端 1：启动后端 API 服务（默认端口 8080）
uv run uvicorn api.main:app --port 8080 --reload

# 终端 2：启动前端开发服务
cd webui
npm install
npm run dev
# 访问 http://localhost:5173/ 即可使用

# 生产部署模式
cd webui
npm install
npm run build
uv run uvicorn api.main:app --port 8080 --reload
# 直接访问 http://localhost:8080

✨ 核心功能

• 7 大平台全覆盖：小红书、抖音、快手、B站、微博、百度贴吧、知乎，功能覆盖度一致
• 多种爬取模式：支持关键词搜索爬取、指定 ID 爬取帖子/视频、二级评论爬取、指定创作者主页爬取
• 登录态缓存：基于 Playwright 保存登录态，支持 CDP 模式连接本地 Chrome，复用已有登录态、Cookie 和扩展，降低平台风控风险
• WebUI 可视化界面：无需命令行，直接在网页配置爬虫参数、查看运行状态、导出数据，大幅降低使用门槛
• 多存储格式支持：CSV、JSON、JSONL、Excel、SQLite、MySQL 等多种数据存储格式，满足不同 downstream 需求
• IP 代理池：内置代理池支持，可配置多账号+IP 轮换，降低被封禁风险
• 评论词云图：自动生成评论词云图，直观展示用户情感倾向和热点话题

🖼️ 支持平台一览

🚀 典型使用场景

场景一：LLM 训练数据收集

MediaCrawler 可以批量采集各平台公开的文本、图片、评论数据，经过清洗后作为 LLM 的微调或预训练数据。相比手动采集，效率提升 100 倍以上，且支持断点续爬，适合大规模数据采集任务。

# 爬取小红书关键词搜索结果（用于训练数据分析类 LLM）
uv run main.py --platform xhs --lt qrcode --type search
# 数据自动保存为 JSON/CSV，可直接接入训练 pipeline

场景二：社交媒体舆情监测

企业或研究机构可以使用 MediaCrawler 定期采集特定关键词的社交媒体内容，结合 LLM 进行情感分析、热点话题发现和舆情预警。WebUI 界面使得非技术团队也能轻松配置和运行爬取任务。

# 爬取指定关键词的微博内容
uv run main.py --platform weibo --lt cookie --type search --keywords "AI大模型"

场景三：内容创作者竞品分析

自媒体运营者可以用 MediaCrawler 采集同类创作者的高赞内容、评论热词、发布时间规律等，为内容策略优化提供数据支撑。结合评论词云图功能，可以快速把握受众偏好。

💡 推荐理由

📦 下载地址

⚠️ 注意事项

📅 数据更新至 2026 年 7 月  |  ⭐ GitHub: NanmiCoder/MediaCrawler