43 lines
1.1 KiB
Markdown
43 lines
1.1 KiB
Markdown
---
|
||
title: "可自动化、可扩展、AI增强的电商数据采集与处理系统"
|
||
type: source
|
||
tags: []
|
||
date: 2026-04-14
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/Home Office/可自动化、可扩展、AI增强的电商数据采集与处理系统.md]]
|
||
|
||
## Summary
|
||
- 核心主题：Docker+n8n构建电商数据采集处理系统
|
||
- 问题域：数据爬取、AI处理、自动化管道
|
||
- 方法/机制：Scrapy+Playwright爬虫+n8n工作流+LLM处理
|
||
- 结论/价值：实现全自动电商数据采集与分析
|
||
|
||
## Key Claims
|
||
- 三层架构：采集层、处理层、存储展示层
|
||
- Scrapy+Playwright组合适合动态页面爬取
|
||
- n8n实现自动化工作流
|
||
|
||
## Key Quotes
|
||
> "在 Ubuntu 上使用 Docker Compose 部署一个自动化电商爬虫系统。"
|
||
|
||
## Key Concepts
|
||
- [[Scrapy]]：Python爬虫框架
|
||
- [[Playwright]]：浏览器自动化
|
||
- [[n8n]]：工作流自动化
|
||
- [[Docker Composer]]：容器编排
|
||
- [[LLM]]：大语言模型
|
||
|
||
## Key Entities
|
||
- [[PostgreSQL]]：数据库
|
||
- [[MinIO]]：对象存储
|
||
- [[Grafana]]：可视化
|
||
- [[Ollama]]：本地LLM
|
||
|
||
## Connections
|
||
- [[Scrapy]] ← uses ← [[Playwright]]
|
||
- [[n8n]] ← integrates ← [[LLM]]
|
||
|
||
## Contradictions
|
||
- 无 |