609 B
609 B
title, type, tags, date
| title | type | tags | date | |||
|---|---|---|---|---|---|---|
| Scrapy | concept |
|
2025-11-11 |
Definition
Scrapy 是一个用 Python 编写的快速高级网页爬虫框架，用于从网站中提取结构化数据。
Key Features
- 轻量高效、插件生态丰富、可 Docker 化部署
- 对 JS 渲染页面支持弱，需要配合 Splash 或 Playwright
Role
在电商数据采集系统中，Scrapy 负责结构化抓取、分页调度、下载媒体，输出 JSON 或 CSV 文件供 n8n 消费。
Connections
- Scrapy ← depends_on ← Playwright
- n8n ← orchestrates ← Scrapy