feat(wiki): ingest Cloud DevOps and Home Office sources batch

This commit is contained in:
2026-04-14 20:27:45 +08:00
parent b299ecf694
commit 189d98acd2
57 changed files with 2029 additions and 189 deletions

View File

@@ -0,0 +1,43 @@
---
title: "可自动化、可扩展、AI增强的电商数据采集与处理系统"
type: source
tags: []
date: 2026-04-14
---
## Source File
- [[raw/Home Office/可自动化、可扩展、AI增强的电商数据采集与处理系统.md]]
## Summary
- 核心主题Docker+n8n构建电商数据采集处理系统
- 问题域数据爬取、AI处理、自动化管道
- 方法/机制Scrapy+Playwright爬虫+n8n工作流+LLM处理
- 结论/价值:实现全自动电商数据采集与分析
## Key Claims
- 三层架构:采集层、处理层、存储展示层
- Scrapy+Playwright组合适合动态页面爬取
- n8n实现自动化工作流
## Key Quotes
> "在 Ubuntu 上使用 Docker Compose 部署一个自动化电商爬虫系统。"
## Key Concepts
- [[Scrapy]]Python爬虫框架
- [[Playwright]]:浏览器自动化
- [[n8n]]:工作流自动化
- [[Docker Composer]]:容器编排
- [[LLM]]:大语言模型
## Key Entities
- [[PostgreSQL]]:数据库
- [[MinIO]]:对象存储
- [[Grafana]]:可视化
- [[Ollama]]本地LLM
## Connections
- [[Scrapy]] ← uses ← [[Playwright]]
- [[n8n]] ← integrates ← [[LLM]]
## Contradictions
- 无