MediaCrawler：覆盖国内主流内容平台的公开数据采集学习项目
一分钟看懂
MediaCrawler 是基于 Python 和 Playwright 的多平台自媒体数据采集工具，支持小红书、抖音、快手、B 站、微博、百度贴吧和知乎等平台。它通过真实浏览器完成登录并保存登录态，再复用页面环境中的签名参数访问公开数据，可采集内容、评论、创作者等信息，并提供多种存储方式和 WebUI。
你可以用它做什么
- 在合规的小规模研究中采集公开帖子、视频、问答及评论。
- 学习 Playwright 登录态、平台适配器和异步爬虫设计。
- 按关键词、详情链接或创作者维度组织采集任务。
- 将结果保存为 CSV、JSON、数据库等形式，供后续分析。
主要能力
项目通过浏览器自动化降低手工处理登录和签名的难度，各平台逻辑放在独立模块中。仓库包含命令参数、代理、存储、API 与 WebUI 等组件，并提供 uv/Python 环境的启动说明。平台支持范围很广，但具体字段与登录方式会随网站更新。
适合哪些人
适合学习爬虫、舆情研究和公开数据处理的开发者，以及获得平台许可的内部研究。它不适合商业化批量抓取、绕过访问控制或采集个人敏感信息。
怎么开始使用
按 README 安装指定 Python 与 uv 环境，安装 Playwright 浏览器，复制并核对配置后选择平台和登录方式，再用小数据量运行。首次使用应阅读项目的完整免责声明和参数文档。
使用前需要知道
仓库明确限定学习与参考用途，禁止商业和非法使用，也反对大规模爬取。网站条款、著作权、个人信息保护和反不正当竞争风险都需要单独评估。登录凭证、Cookie 和采集结果属于敏感数据；不要提交到仓库，且应设置速率上限。平台改版、验证码和风控会导致功能失效。