GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

D4Vinci /

Scrapling

提供页面解析、HTTP 与浏览器获取及可恢复爬虫流程的 Python 框架。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-06#5

当日排名

+1,661当日新增 Star97,907总 Star

Scrapling:从页面解析扩展到可恢复采集任务的 Python 框架

一分钟看懂

Scrapling 是一个 Python 网页解析与采集框架。它将选择器解析、HTTP 获取、浏览器获取和爬虫调度放在同一套工具中,既能处理单页提取,也能组织多页抓取。是否启用浏览器与其他能力取决于安装的可选依赖。

你可以用它做什么

  • 用 CSS、XPath 或文本条件提取网页中的字段。
  • 为动态页面选择浏览器获取方式。
  • 编写带并发、限速、断点恢复和导出的采集任务。
  • 用响应缓存重复调试解析逻辑,减少反复访问网站。

主要能力

框架提供 Spider、请求/响应对象、会话选择、链接提取器与部分现成爬虫模板,并支持 JSON、JSONL、CSV、XML 等导出方式。页面结构变化时可利用适配与相似性能力辅助定位,但仍需要验证取出的内容是否正确。

适合哪些人

适合熟悉 Python、需要维护网页数据流程的开发者和数据团队。只想手工保存少量资料的人未必需要完整爬虫框架;目标站点是否允许采集仍须独立判断。

怎么开始使用

要求 Python 3.10+。基础安装 pip install scrapling 只提供解析引擎;需要 fetchers 或 spiders 时,应按官方说明安装对应可选依赖,使用浏览器获取还需安装浏览器及系统依赖。先从允许采集的单页、单字段开始,检查结果,再逐步加入分页和并发。

使用前需要知道

浏览器获取比纯 HTTP 请求占用更多资源;基础安装不能直接运行所有 README 示例。robots 遵循是需要配置的选项,不是默认访问授权。登录凭据、采集结果和开发缓存都可能含敏感信息。项目采用 BSD-3-Clause;遇到限流应调整请求节奏并核对网站规则,不能把框架宣传视为任何网站都能访问的保证。

官方资料