Auto-sync: 2026-04-23 16:02
This commit is contained in:
68
wiki/sources/ai-memory-tools-two-camps.md
Normal file
68
wiki/sources/ai-memory-tools-two-camps.md
Normal file
@@ -0,0 +1,68 @@
|
||||
---
|
||||
title: "I Went Through Every AI Memory Tool I Could Find. There Are Two Camps."
|
||||
type: source
|
||||
tags: [ai-agent, memory, context-management, tooling]
|
||||
sources: []
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[Agent/AI-Memory-Tools-Two-Camps]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:AI 记忆工具的全景分类——揭示该领域存在两个根本不同的技术路线
|
||||
- 问题域:AI Agent 的持久化上下文问题——如何让 Agent 跨会话保持记忆
|
||||
- 方法/机制:Camp 1(记忆后端)通过向量提取+检索解决事实召回;Camp 2(上下文基质)通过文件累积+背景整合实现上下文复合增长
|
||||
- 结论/价值:提出了"记忆"与"上下文"不是同一问题的核心洞察;预测 6 个月内"context engineering"将取代"memory"成为主流术语;ALIVE 是作者实际运行的上下文基质方案
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Camp 1 与 Camp 2 是两个根本不同的技术范式,而非同一问题的不同实现
|
||||
- Camp 1 工具优化目标是**召回**:能否找到正确的事实
|
||||
- Camp 2 工具优化目标是**复合**:系统是否随时间变得更好
|
||||
- Zep 将品牌定位从"memory"重塑为"context engineering"是市场上最强的信号,表明 Camp 2 路线正在成为主流
|
||||
- GitHub 上 450+ repos 标记"agent-memory"、460+ 标记"context-management",但几乎无人明确区分这两种范式
|
||||
- 持续运行的 24/7 Agent 场景下,只有 Camp 2 架构才能真正实现跨会话复合增长
|
||||
|
||||
## Key Quotes
|
||||
> "there are 450+ repos tagged 'agent-memory' on github and 460+ tagged 'context-management.' me and my agentic best friends went through them." — @witcheer,揭示该领域分类混乱的现状
|
||||
> "the line from their docs that defines the philosophy: 'the model only remembers what gets saved to disk, there is no hidden state.'" — OpenClaw 定义了 Camp 2 的核心哲学
|
||||
> "a funded company with 4.4k stars looked at where the space was going and decided 'memory' was the wrong word for what they were building." — Zep 的品牌重塑是市场信号
|
||||
> "within 6 months, 'context engineering' replaces 'memory' as the default term for what serious agent infrastructure does." — 作者的核心预测
|
||||
> "if you're building agents that need to run for more than one conversation, you're going to end up here." — Camp 2 是长期运行 Agent 的必然归宿
|
||||
|
||||
## Key Concepts
|
||||
- [[Memory Backend]]:从对话中提取事实,存入向量数据库,检索时召回。代表工具:Mem0、MemPalace、Supermemory、Honcho、Cognee。核心问题:记忆是扁平条目,无关系;提取质量依赖 LLM prompt;事实不进化
|
||||
- [[Context Substrate]]:维护结构化、人类可读的上下文文件,跨会话累积。代表工具:OpenClaw、Zep、Thoth、TrustGraph、MemSearch、ALIVE。核心哲学:"nothing gets extracted — the context is the files"
|
||||
- [[Fact Recall]] vs [[Compounding]]:Camp 1 优化召回精度,Camp 2 优化复合增长;前者问"AI 应该记住什么",后者问"AI 应该在什么样的上下文中工作"
|
||||
- [[Dreaming Cycle]]:OpenClaw 的背景整合过程——light sleep(分组)→ REM(频繁访问提升)→ deep sleep(写入长期记忆),六维评分机制(相关性0.30、频率0.24、查询多样性0.15、时效性0.15、整合度0.10、概念丰富度0.06)
|
||||
- [[Temporal Knowledge Graph]]:Zep 的 Graphiti 框架使用带 valid_at/invalid_at 时间戳的知识图谱,自动提取关系,返回预格式化上下文块,<200ms 检索
|
||||
- [[Context Core]]:TrustGraph 引入的可移植、带版本控制的上下文捆绑包(领域schema+知识图谱+向量嵌入+证据来源+检索策略),将上下文视为第一公民制品
|
||||
- [[Context Engineering]]:作者预测将取代"memory"成为描述 Agent 基础设施的标准术语
|
||||
|
||||
## Key Entities
|
||||
- [[Mem0]]:53.1k stars,Camp 1 类别领导者,四操作(add/search/update/delete),三层存储(user/session/agent),混合检索,集成简单但记忆为扁平条目,无关系推理
|
||||
- [[MemPalace]]:46.2k stars,本地优先逐字记忆,用 ChromaDB 组织为 wings(实体)/rooms(主题)/drawers(原内容),LongMemEval 96.6% 召回率但线性增长无压缩
|
||||
- [[Supermemory]]:21.8k stars,差异化是时序感知("I moved to SF"自动取代旧城市),expired facts 自动遗忘,MemoryBench 声称第一,多模态连接器(Google Drive/Gmail/Notion/GitHub)
|
||||
- [[Honcho]]:2.4k stars,将人/Agent 视为统一模型中的"对等体",异步推理服务推导心理洞察,PostgreSQL + pgvector,AGPL-3.0
|
||||
- [[OpenClaw]]:358k stars,plain markdown 文件(Mmemory.md + daily notes + DREAMS.md),无向量数据库,dreaming 三阶段整合,Camp 2 典型代表
|
||||
- [[Zep]]:4.4k stars,从"memory"重塑品牌为"context engineering",Graphiti 时序知识图谱,SOC2 Type 2 + HIPAA 合规,<200ms 检索,架构上处于两 Camp 边界
|
||||
- [[Thoth]]:145 stars,最深层架构,10 实体类型 + 67 有向关系类型 + FAISS + 图扩展检索,四阶段夜间 dream cycle,三层反污染机制防止跨实体事实混淆
|
||||
- [[TrustGraph]]:2.0k stars,Context Cores 可移植版本化上下文容器,treats context like code,Cassandra + Qdrant 基础设施
|
||||
- [[MemSearch]]:1.2k stars,Zilliz 团队出品,Markdown 文件为唯一真相,Milvus 为下游"阴影索引",三层层级渐进披露(语义块→完整章节→原始记录)
|
||||
- [[ALIVE]]:作者实际运行的方案,structured context substrate,file-native,agent-agnostic,walnuts 作为可移植上下文容器,零基础设施依赖,运行在 Hermes Agent + Claude Code + Mac Mini M4 上
|
||||
|
||||
## Connections
|
||||
- [[RAG]] ← related_to ← [[Memory Backend]]:两者共享向量检索的基本机制,但 RAG 通常指一次性问答场景,Memory Backend 指跨会话累积
|
||||
- [[OpenClaw]] ← implements ← [[Context Substrate]]:OpenClaw 的 Markdown 文件架构是 Context Substrate 范式的典型实现
|
||||
- [[Semantic-Memory-Search]] ← extends ← [[OpenClaw]]:MemSearch 为 OpenClaw 的 Markdown 记忆提供语义搜索能力
|
||||
- [[Memory Backend]] ← evolves_into ← [[Context Substrate]]:Supermemory 的时序感知和 Honcho 的心理建模代表了 Camp 1 向 Camp 2 的演进趋势
|
||||
- [[Second Brain]] ← uses ← [[Context Substrate]]:[[Second Brain]] 基于 OpenClaw 的累积记忆能力,本质上是 Context Substrate 范式在个人知识管理中的应用
|
||||
- [[养龙虾5天血泪史]] ← experiences ← [[OpenClaw]]:实战中暴露了 OpenClaw 记忆压缩和检索的痛点,推动了对 Context Substrate 架构的深入理解
|
||||
- [[Context Substrate]] ← enables ← [[Self-Improving-Skill]]:Self-Improving 的复盘机制([[养虾日记2]])是 Context Substrate 中背景整合思想的实践
|
||||
|
||||
## Contradictions
|
||||
- 与 [[semantic-memory-search]] 可能存在张力:
|
||||
- 冲突点:MemSearch(Camp 2)将向量索引视为文件的下游"阴影索引",可随时重建;[[semantic-memory-search]] 则将向量搜索作为记忆检索的核心能力
|
||||
- 当前观点:向量索引是可选的访问加速层,Markdown 文件才是唯一真相
|
||||
- 对方观点:向量语义搜索是必要的,单纯的关键词/Markdown 文件无法高效处理"我上周讨论的那个关于 X 的内容"
|
||||
- 注:两者其实互补——MemSearch 本身也使用混合搜索,但强调文件优先而非索引优先
|
||||
61
wiki/sources/building-your-quartz.md
Normal file
61
wiki/sources/building-your-quartz.md
Normal file
@@ -0,0 +1,61 @@
|
||||
---
|
||||
title: "Building your Quartz"
|
||||
type: source
|
||||
tags:
|
||||
- quartz
|
||||
- obsidian
|
||||
- static-site-generator
|
||||
- self-hosting
|
||||
date: 2026-03-04
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[Home Office/Building your Quartz]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:Quartz 静态网站的本地预览与自托管部署指南
|
||||
- 问题域:如何将 Markdown 文件构建为可预览的本地网站,以及如何通过主流 Web 服务器(Nginx/Apache/Caddy)实现公网自托管
|
||||
- 方法/机制:Quartz 将 Markdown 文件转换为 HTML/JS/CSSbundle;本地预览通过 `npx quartz build --serve` 启动热重载服务器;自托管需配置 Web 服务器处理无扩展名链接(`try_files $uri $uri.html $uri/`)
|
||||
- 结论/价值:Quartz 提供了一套完整的从笔记到静态网站的构建与部署流程,支持多种主流 Web 服务器的自托管方案,适合将 Obsidian 笔记发布为公网可访问的静态网站
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Quartz 将 Markdown 文件和资源转换为 HTML、JS 和 CSS 文件包(即一个网站)
|
||||
- Serve 模式仅用于本地预览,生产环境部署需使用 GitHub Pages 等静态托管服务
|
||||
- 静态托管前需正确配置 `baseUrl`,否则 RSS Feed 和 Sitemap 生成功能将无法正常工作
|
||||
- 自托管时 Web 服务器必须处理不含 `.html` 扩展名的链接(Quartz 生成此类链接)
|
||||
- Nginx 通过 `try_files $uri $uri.html $uri/ =404` 规则处理无扩展名链接
|
||||
- Apache 通过 RewriteCond/RewriteRule 组合实现相同功能
|
||||
- Caddy 通过 `try_files {path} {path}.html {path}/ =404` 实现,并支持 gzip 压缩和错误页处理
|
||||
|
||||
## Key Quotes
|
||||
> "Serve mode is intended for local previews only. For production workloads, see the page on hosting."
|
||||
> — Quartz 官方文档,明确 serve 模式仅用于本地预览
|
||||
|
||||
> "Some Quartz features (like RSS Feed and sitemap generation) require `baseUrl` to be configured properly in your configuration to work properly."
|
||||
> — Quartz 官方文档,部署前必须配置 baseUrl
|
||||
|
||||
## Key Concepts
|
||||
- [[Quartz]]:Obsidian 笔记静态网站生成器,将 Markdown 转换为 HTML/JS/CSS bundle
|
||||
- [[Static Site Generator]]:静态网站生成器,无需服务器端渲染,直接托管 HTML 文件
|
||||
- [[npx quartz build]]:Quartz 构建命令,核心参数包括 `-d/--directory`(内容目录)、`-o/--output`(输出目录)、`--serve`(本地预览)、`--port`(端口)、`--concurrency`(并发数)
|
||||
- [[try_files]]:Nginx 指令,按顺序尝试文件、HTML 文件、目录,最后返回 404
|
||||
- [[RewriteRule]]:Apache mod_rewrite 模块指令,用于 URL 重写处理无扩展名链接
|
||||
- [[baseUrl]]:Quartz 配置项,用于生成正确的绝对 URL,RSS Feed 和 Sitemap 功能依赖此配置
|
||||
|
||||
## Key Entities
|
||||
- [[Quartz]]:开源静态网站生成器,专注于将 Obsidian 风格的双链笔记发布为静态网站
|
||||
- [[Obsidian]]:本地笔记软件,Quartz 的内容来源
|
||||
- [[GitHub Pages]]:Quartz 推荐的公网托管方案
|
||||
|
||||
## Connections
|
||||
- [[Obsidian]] — provides content → [[Quartz]]
|
||||
- [[Quartz]] — builds to static files → [[Static Site Generator]]
|
||||
- [[Quartz]] — local preview → [[npx quartz build --serve]]
|
||||
- [[Quartz]] — production deployment → [[GitHub Pages]] / Self-hosting
|
||||
- Self-hosting — requires → [[try_files]] (Nginx) / [[RewriteRule]] (Apache) / [[Caddyfile]] (Caddy)
|
||||
|
||||
## Contradictions
|
||||
- 与通用静态网站托管方案(如 Vercel/Netlify)冲突:
|
||||
- 冲突点:这些平台自动处理 URL 重写,无需手动配置 Web 服务器
|
||||
- 当前观点:Quartz 支持手动自托管(自行配置 Nginx/Apache/Caddy),提供完全控制权
|
||||
- 对方观点:使用 Vercel/Netlify 可零配置自动部署,省去服务器维护成本
|
||||
@@ -0,0 +1,57 @@
|
||||
---
|
||||
title: "Learn AI for free directly from top companies"
|
||||
type: source
|
||||
tags:
|
||||
- "AI学习"
|
||||
- "教育资源"
|
||||
- "免费课程"
|
||||
date: 2026-04-16
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[AI/Learn AI for free directly from top companies]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:汇总全球顶级科技公司提供的免费 AI 学习资源
|
||||
- 问题域:AI 教育普及与免费学习资源获取
|
||||
- 方法/机制:列举 10 家顶级公司/平台的免费 AI 课程资源及直链
|
||||
- 结论/价值:无需付费,即可直接获取权威 AI 培训内容
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Anthropic 提供免费 AI 技能培训平台(Skilljar)
|
||||
- Google 提供免费 AI 学习路径(Google AI Learning)
|
||||
- Meta 开源 AI 学习资源平台
|
||||
- NVIDIA 提供 CUDA 开发者免费学习资源
|
||||
- Microsoft 提供免费技术培训(Microsoft Learn)
|
||||
- OpenAI 提供 Academy 免费课程
|
||||
- IBM SkillsBuild 提供免费 AI 技能培训
|
||||
- AWS 提供 Skill Builder 免费学习平台
|
||||
- DeepLearning.AI 提供免费 AI 课程
|
||||
- Hugging Face 提供免费学习路径
|
||||
|
||||
## Key Quotes
|
||||
> "Learn AI for free directly from top companies." — Leonard Rodman (@RodmanAi)
|
||||
|
||||
## Key Concepts
|
||||
- [[AI教育]]
|
||||
- [[免费学习资源]]
|
||||
- [[企业级AI培训]]
|
||||
|
||||
## Key Entities
|
||||
- [[Anthropic]]:AI 安全与对齐研究公司,提供 skilljar.com 免费培训平台
|
||||
- [[Google]]:提供 grow.google/ai 免费 AI 学习路径
|
||||
- [[Meta]]:提供 ai.meta.com/resources/ 开源 AI 学习资源
|
||||
- [[NVIDIA]]:提供 developer.nvidia.com/cuda 免费 CUDA 课程
|
||||
- [[Microsoft]]:提供 Microsoft Learn 免费技术培训平台
|
||||
- [[OpenAI]]:提供 academy.openai.com 免费课程
|
||||
- [[IBM]]:通过 SkillsBuild 提供免费 AI 技能培训
|
||||
- [[AWS]]:通过 Skill Builder 提供免费学习平台
|
||||
- [[DeepLearning.AI]]:吴恩达创立的免费 AI 课程平台
|
||||
- [[Hugging Face]]:提供 huggingface.co/learn 免费学习路径
|
||||
|
||||
## Connections
|
||||
- [[AI教育]] ← 资源来源 ← [[Anthropic]] / [[Google]] / [[Meta]] / [[NVIDIA]] / [[Microsoft]] / [[OpenAI]] / [[IBM]] / [[AWS]] / [[DeepLearning.AI]] / [[Hugging Face]]
|
||||
- [[免费学习资源]] ← 涵盖 ← [[Claude Prompt Library]](Anthropic 官方提示词库)
|
||||
|
||||
## Contradictions
|
||||
- 无已知冲突
|
||||
53
wiki/sources/tiktok-shop-apache-superset-dashboard设计思路.md
Normal file
53
wiki/sources/tiktok-shop-apache-superset-dashboard设计思路.md
Normal file
@@ -0,0 +1,53 @@
|
||||
---
|
||||
title: "TikTok Shop - Apache Superset Dashboard设计思路"
|
||||
type: source
|
||||
tags: ["TikTok电商", "数据可视化", "Apache Superset", "选品分析", "BI仪表盘"]
|
||||
date: 2026-04-18
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[跨境电商/TikTok Shop - Apache Superset Dashboard设计思路]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:Apache Superset 在 TikTok Shop 电商选品分析场景的完整 Dashboard 设计方案
|
||||
- 问题域:TikTok Shop 跨境电商卖家如何通过数据可视化系统发现爆品、识别类目机会、监控竞品店铺
|
||||
- 方法/机制:基于 Scrapy + Playwright 抓取的 TikTok Shop 产品数据(products 表、product_reviews 表、product_variations 表),通过 SQL View 预处理 JSON 字段,设计 4-Tab 专业 Dashboard(爆品雷达 / 类目洞察 / 店铺监控 / 评论分析),结合动态过滤器实现选品决策自动化
|
||||
- 结论/价值:提供了一套"可长期演进的专业选品分析系统"的完整设计蓝图,从数据准备→指标体系→可视化图表→Dashboard 布局→高阶选品评分 SQL,均有可直接落地的方案
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Apache Superset 不会自动解析 JSON 字段,必须通过 SQL View 预先提取 rating、rating_count 等数值字段,才能构建 KPI 卡、Heatmap 等图表
|
||||
- 核心选品目标为"找出热卖产品 + 高评分 + 低竞争 + 高折扣",Dashboard 应支持动态过滤器实现交互式选品决策
|
||||
- SQL 选品评分公式:score = sold × 0.4 + rating × 15 + discount_percent × 0.5 + rating_count × 0.2,可根据业务需求自定义权重
|
||||
- 推荐 4-Tab Dashboard 结构:爆品雷达(KPI总览)→ 类目机会洞察(热力图/箱线图)→ 店铺监控(时序图)→ 评论分析(评分趋势)
|
||||
|
||||
## Key Quotes
|
||||
> "找出热卖产品 + 高评分 + 低竞争 + 高折扣 → 决定选哪些产品卖" — 选品 Dashboard 核心目标
|
||||
> "Superset 不会自动解析 JSON,你需要创建 SQL View 预先提取数值字段" — 数据准备关键步骤
|
||||
> "这样整个 Dashboard 变成一个动态选品系统" — 动态过滤器的价值定位
|
||||
|
||||
## Key Concepts
|
||||
- [[Apache Superset]]:开源 BI 可视化平台,支持 SQL 查询、多样化图表和仪表盘构建,本文档中使用 Docker 容器化部署
|
||||
- [[KPI Card]]:关键绩效指标卡片,展示总产品数、热卖产品数、平均评分、平均价格等核心数字
|
||||
- [[选品评分公式]]:加权多维度评分公式,权重可自定义(sold × 0.4 + rating × 15 + discount × 0.5 + rating_count × 0.2)
|
||||
- [[Scatter Plot]](散点图):用于分析销量 vs 价格关系,气泡大小代表评分,颜色代表类目
|
||||
- [[Box Plot]](箱线图):用于分析类目价格带分布,找出"利润空间大但竞争低"的类目
|
||||
- [[Heatmap]](热力图):用于类目评分 vs 销量交叉分析
|
||||
- [[SQL View]]:在数据库层面预处理 JSON 字段(如 JSON_EXTRACT),使 Superset 能直接计算数值指标
|
||||
- [[Dynamic Filter]](动态过滤器):支持 Category/Store Name/价格范围/时间范围等交互式筛选,使 Dashboard 具备实时分析能力
|
||||
- [[GMV]](商品交易总额):final_price × sold,用于产品排名
|
||||
|
||||
## Key Entities
|
||||
- [[TikTok Shop]]:字节跳动旗下电商平台,本文档数据抓取的目标平台
|
||||
- [[tiktok_products 数据库]]:包含 products、product_reviews、product_variations 三张核心表的数据库结构
|
||||
- [[products 表]]:存储产品基础信息(id/title/sold/price/rating/category/store_name/timestamp/position)
|
||||
- [[product_reviews 表]]:存储用户评论数据(rating/review_date/review_text/product_id)
|
||||
- [[product_variations 表]]:存储 SKU 层变体数据(sku/stock/final_price/discount_percent)
|
||||
|
||||
## Connections
|
||||
- [[Scrapy + Playwright 抓取TikTok Shop Data]] ← upstream_data_source ← [[TikTok Shop Apache Superset Dashboard设计思路]]
|
||||
- [[TikTok PM - Python Django 项目]] ← shares_database_schema ← [[TikTok Shop Apache Superset Dashboard设计思路]]
|
||||
- [[Apache Superset]] ← tool ← [[TikTok Shop Apache Superset Dashboard设计思路]]
|
||||
- [[用Docker安装Apache Superset]] ← prerequisite ← [[TikTok Shop Apache Superset Dashboard设计思路]]
|
||||
|
||||
## Contradictions
|
||||
- 与 [[电商如何选品-如何找到爆款-选品策略]]:后者侧重选品策略理论(市场调研/竞争对手分析/利润测算),前者侧重数据驱动的可视化执行工具(Apache Superset Dashboard)。两者互补而非冲突——策略指导选品方向,Dashboard 提供实时数据验证。
|
||||
70
wiki/sources/可自动化-可扩展-ai增强的电商数据采集与处理系统.md
Normal file
70
wiki/sources/可自动化-可扩展-ai增强的电商数据采集与处理系统.md
Normal file
@@ -0,0 +1,70 @@
|
||||
---
|
||||
title: "可自动化、可扩展、AI增强的电商数据采集与处理系统"
|
||||
type: source
|
||||
tags: []
|
||||
date: 2025-11-11
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[raw/Others/可自动化、可扩展、AI增强的电商数据采集与处理系统.md]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:基于 Docker + Ubuntu + n8n 构建可自动化、可扩展、AI增强的电商数据采集与处理系统
|
||||
- 问题域:电商数据爬取效率低、AI处理缺失、缺乏自动化管线
|
||||
- 方法/机制:三层架构(爬虫层→AI处理层→存储展示层);Scrapy+Playwright组合抓取动态页面;n8n工作流编排自动化;Docker Compose容器化部署
|
||||
- 结论/价值:提供完整的开源技术栈方案,实现从爬取到AI分析的全链路自动化
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Scrapy 负责结构化抓取、分页调度、媒体下载;Playwright 负责加载动态页面;两者通过 Docker Compose 容器化,输出 JSON/CSV 供 n8n 消费
|
||||
- n8n 工作流可实现定时启动爬虫→读取JSON→调用LLM提取属性→写入数据库→生成报表通知的全链路自动化
|
||||
- AI 处理任务包括:内容摘要分类、多语言翻译、特征提取(品牌/价格/类别)、异常检测(异常价格/缺图产品)、结构化JSON输出
|
||||
- 本地可使用 Ollama(Mistral/Llama3)通过 HTTP Request 调用本地 API,无需外部 API Key
|
||||
- 防封策略:User-Agent轮换、代理池(BrightData/ScraperAPI)、下载延迟+随机化访问、分布式调度(Scrapyd/Scrapy集群)
|
||||
|
||||
## Key Quotes
|
||||
> "Scrapy + Playwright(或 Crawlee + Playwright)" — 推荐爬虫工具组合
|
||||
> "在 n8n 中可以通过 workflow 实现整个管线自动化" — n8n 自动化核心理念
|
||||
> "可以本地使用 Ollama (Mistral, Llama3) 模型,通过 n8n 的 HTTP Request 调用本地 http://localhost:11434/api/generate" — 本地AI处理方案
|
||||
|
||||
## Key Concepts
|
||||
- [[Scrapy]]:Python 爬虫框架,擅长结构化抓取、分页调度和媒体下载
|
||||
- [[Playwright]]:浏览器自动化工具,支持 JS 渲染页面和无头模式
|
||||
- [[scrapy-playwright]]:让 Scrapy 调用 Playwright 渲染动态页面的插件
|
||||
- [[n8n]]:开源工作流自动化平台,支持 Trigger/Action/AI 节点编排
|
||||
- [[Docker Compose]]:容器化编排工具,定义和运行多容器应用
|
||||
- [[Ollama]]:本地 LLM 运行框架,支持 Mistral/Llama3 等模型
|
||||
- [[LangChain]]:结合 Vector DB(Qdrant/Milvus)存储产品语义信息
|
||||
- [[Bright Data]]:商业代理池服务,用于爬虫防封
|
||||
- [[Scrapyd]]:Scrapy 分布式部署集群管理工具
|
||||
- [[MinIO]]:S3 兼容对象存储,用于存储图片和视频
|
||||
- [[Grafana]]:可视化平台,生成电商趋势与分析报表
|
||||
- [[Metabase]]:开源 BI 工具,连接数据库生成分析报表
|
||||
- [[FastAPI]]:Python Web 框架,用于暴露 REST API 给前端或 BI 工具
|
||||
|
||||
## Key Entities
|
||||
- [[Amazon]]:电商平台示例,Scrapy 爬虫的目标站点
|
||||
- [[JD]](京东):电商平台示例
|
||||
- [[Taobao]](淘宝):电商平台示例
|
||||
- [[Shopee]]:电商平台示例,提供公开 API
|
||||
- [[Scrapy]] 社区:开源爬虫框架生态
|
||||
|
||||
## Connections
|
||||
- [[Scrapy]] ← 核心爬虫 ← [[scrapy-playwright]]
|
||||
- [[scrapy-playwright]] ← 集成 → [[Playwright]]
|
||||
- [[n8n]] ← 编排自动化 ← [[Docker Compose]]
|
||||
- [[Docker Compose]] ← 容器化 ← [[Scrapy]] + [[Playwright]]
|
||||
- [[Ollama]] ← 本地 LLM ← [[n8n HTTP Request Node]]
|
||||
- [[Bright Data]] ← 代理池 ← 防封策略
|
||||
- [[Metabase]] ← 数据可视化 ← PostgreSQL/SQLite
|
||||
- [[MinIO]] ← 对象存储 ← 图片/视频存储
|
||||
|
||||
## Contradictions
|
||||
- 无已知冲突内容
|
||||
|
||||
## 起步路径
|
||||
1. 在 Ubuntu 上安装 Docker + Docker Compose
|
||||
2. 启动基础环境:scrapy + playwright + n8n
|
||||
3. 选择 1–2 个电商站点(Amazon / JD / Taobao)
|
||||
4. 构建 Scrapy 爬虫模板
|
||||
5. 用 n8n 处理数据并测试 AI 工作流
|
||||
6. 逐步扩展至全自动管线
|
||||
53
wiki/sources/在-ubuntu-安装-ollama-并运行-qwen2-5‑coder-7b.md
Normal file
53
wiki/sources/在-ubuntu-安装-ollama-并运行-qwen2-5‑coder-7b.md
Normal file
@@ -0,0 +1,53 @@
|
||||
---
|
||||
title: "在 Ubuntu 安装 Ollama 并运行 Qwen2.5‑Coder 7B"
|
||||
type: source
|
||||
tags: [ollama, qwen, qwen-coder, ubuntu, 本地大模型]
|
||||
date: 2026-04-18
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[AI/在 Ubuntu 安装 Ollama 并运行 Qwen2.5‑Coder 7B]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:在 Ubuntu 系统上通过官方安装脚本部署 Ollama 本地大模型运行框架,并下载运行 Qwen2.5-Coder 7B 代码生成模型
|
||||
- 问题域:本地 AI 推理环境搭建、大模型私有部署、本地 API 服务暴露
|
||||
- 方法/机制:通过官方 install.sh 脚本一键安装 Ollama;使用 systemd 管理服务;通过 `OLLAMA_HOST=0.0.0.0` 开放远程 API;CUDA 自动 GPU 加速
|
||||
- 结论/价值:3 条命令完成安装部署;Qwen2.5-Coder 7B 因其 Tool usage 能力强、Shell/Python/SQL 理解强、Repo 级代码理解强,比普通 qwen2.5:7b 更适合工程任务
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- Ollama 官方安装脚本自动完成 CLI 安装、systemd 服务创建和 API 启动
|
||||
- qwen2.5-coder:7b 模型大小约 4.5GB,推荐配置为 8+ CPU cores + 16GB RAM + NVIDIA GPU
|
||||
- 默认 Ollama API 仅监听 127.0.0.1(本地),需修改 systemd 服务配置 `OLLAMA_HOST=0.0.0.0` 才能开放远程访问
|
||||
- 若系统安装了 CUDA,Ollama 会自动使用 GPU 加速,无需额外配置
|
||||
- 小型机器可选择 qwen2.5-coder:3b 替代 7B 以降低资源需求
|
||||
- 推荐搭配工具:Open WebUI(ChatGPT UI)、n8n(AI 自动化)、LangChain(Agent framework)、OpenClaw(AI coding agent)
|
||||
|
||||
## Key Quotes
|
||||
> "qwen2.5-coder:7b 因为 Tool usage 能力强、Shell / Python / SQL 理解强、Repo 级代码理解强,比普通 qwen2.5:7b **更适合工程任务**" — 选型建议
|
||||
|
||||
> "如果安装了 CUDA,Ollama 会 **自动使用 GPU**,无需额外配置" — GPU 加速机制
|
||||
|
||||
> "最简安装流程:curl -fsSL https://ollama.com/install.sh | sh && ollama pull qwen2.5-coder:7b && ollama run qwen2.5-coder:7b" — 3 条命令完成部署
|
||||
|
||||
## Key Concepts
|
||||
- [[Ollama]]:开源本地 LLM 运行框架,支持 macOS/Windows/Linux/Docker,`ollama run <model>` 一键运行大语言模型
|
||||
- [[Qwen2.5-Coder]]:阿里通义千问团队开发的代码生成模型,7B 版本约 4.5GB,在 Tool usage、Shell/Python/SQL 理解和 Repo 级代码理解方面优于通用版 Qwen2.5
|
||||
- [[本地大模型部署]]:在自有硬件上运行 AI 模型,数据完全私有、无需 API Key、无网络依赖
|
||||
- [[GPU 加速推理]]:Ollama 自动检测 CUDA 环境并调用 NVIDIA GPU 加速推理,无需手动配置
|
||||
- [[REST API]]:Ollama 默认提供 localhost:11434 REST API 接口,支持 JSON 格式的对话请求
|
||||
|
||||
## Key Entities
|
||||
- [[Open WebUI]]:开源大模型 Web 界面,支持 Ollama/OpenAI API 接入,可配置 RAG 本地知识库和联网搜索
|
||||
- [[n8n]]:开源工作流自动化平台,可通过 Webhook 与本地 Ollama API 集成实现 AI 驱动的自动化工作流
|
||||
- [[OpenClaw]]:AI coding agent,支持配置 `ollama/qwen2.5-coder:7b` 作为后端模型
|
||||
- [[LangChain]]:Agent framework,可与本地 Ollama API 集成构建复杂 AI 应用
|
||||
|
||||
## Connections
|
||||
- [[Ollama]] ← 基础平台 ← [[详细-离线部署大模型-ollama-deepseek-open-webui安装使用方法及常见问题解决-1]]
|
||||
- [[Open WebUI]] ← 依赖 ← [[Ollama]]
|
||||
- [[n8n]] ← 可调用 ← [[Ollama API]]
|
||||
- [[OpenClaw]] ← 可配置 ← [[Qwen2.5-Coder]]
|
||||
- [[Qwen2.5-Coder]] ← 特定版本 ← [[Ollama]]
|
||||
|
||||
## Contradictions
|
||||
- 暂无冲突内容
|
||||
55
wiki/sources/电商如何选品-如何找到爆款-选品策略.md
Normal file
55
wiki/sources/电商如何选品-如何找到爆款-选品策略.md
Normal file
@@ -0,0 +1,55 @@
|
||||
---
|
||||
title: "电商如何选品 - 如何找到爆款选品策略"
|
||||
type: source
|
||||
tags: []
|
||||
date: 2026-04-18
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[跨境电商/电商如何选品 如何找到爆款 选品策略]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:电商选品策略与爆款发现方法论,聚焦跨境电商(Tk Shop / Etsy 平台)
|
||||
- 问题域:电商创业者如何系统化找到高潜力产品,降低试错成本,实现年销售额数百万美元
|
||||
- 方法/机制:20 种选品策略 + 情境配对 + 季节性规划 + POD 低成本测款 + 工具辅助分析(Salesmartly / Erank / Pinterest / Etsy 趋势)
|
||||
- 结论/价值:未来品牌需针对细分市场而非大众市场;多工具组合使用可提升客户转化率和选品效率
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- 细分市场定位比大众市场更有增长潜力,未来品牌需针对 LGBTQ、特定人群等细分群体
|
||||
- 情境配对的产品组合(如露营三件套)比单品更具吸引力,能提升客单价
|
||||
- POD(Print on Demand)模式允许创业者以极低成本测试市场需求,降低库存风险
|
||||
- 季节性和节日趋势是选品的关键时机,需提前规划布局
|
||||
- Erank 等工具可分析竞争对手销售情况,提高产品上市效率
|
||||
- 跨平台订单管理工具(如 Salesmartly)可提升多渠道运营效率
|
||||
|
||||
## Key Quotes
|
||||
> "未来品牌需针对细分市场" — 视频核心观点,强调细分人群定位的战略价值
|
||||
> "POD模式让创业者可以低风险测试市场需求" — 降低创业门槛的关键方法
|
||||
> "关注Pinterest和Etsy的季度趋势报告,便于掌握热门关键词与产品上市时机" — 趋势洞察工具推荐
|
||||
|
||||
## Key Concepts
|
||||
- [[电商选品策略]]:系统化评估和选择电商平台销售产品的决策框架,涵盖市场需求分析、竞争度评估、利润空间计算
|
||||
- [[爆款产品]]:在特定市场 Segment 中获得高销量和高利润的产品,通常具有差异化竞争力和稳定供应链
|
||||
- [[POD模式]](Print on Demand):按需印刷模式,创业者无需囤货,有订单再生产,大幅降低库存风险和启动成本
|
||||
- [[情境配对]]:将多个互补产品组合为使用场景套装,通过提升整体价值感知来提高客单价和转化率
|
||||
- [[季节性选品]]:根据节假日、季节变化、消费趋势预测提前规划产品线,最大化流量高峰期销售
|
||||
- [[细分市场定位]]:针对特定人群(如LGBTQ、特定年龄层、特定兴趣圈)开发差异化产品,避免大众市场竞争
|
||||
|
||||
## Key Entities
|
||||
- [[Salesmartly]]:跨平台订单管理和客户沟通工具,支持多渠道消息聚合,提升电商运营效率
|
||||
- [[Erank]]:Etsy 平台关键词和竞争分析工具,帮助评估产品市场潜力和搜索排名
|
||||
- [[TikTok Shop]]:字节跳动旗下短视频电商平台,本视频重点运营渠道之一
|
||||
- [[Etsy]]:手工/创意类 C2C 电商平台,适合 POD 产品和创意商品销售
|
||||
- [[Pinterest]]:图片分享社交平台,其趋势报告是选品和内容营销的重要参考数据源
|
||||
|
||||
## Connections
|
||||
- [[电商视频Prompt库]] ← 同一作者/系列 ← 电商选品内容创作
|
||||
- [[做TK跨境思路不对努力白费]] ← 依赖 ← 选品策略(本文)作为上游输入
|
||||
- [[可自动化-可扩展-ai增强的电商数据采集与处理系统]] ← 关联 ← 电商选品工具链
|
||||
|
||||
## Contradictions
|
||||
- 与 [[做TK跨境思路不对努力白费]] 潜在冲突:
|
||||
- 冲突点:选品的具体平台优先级
|
||||
- 当前观点:Etsy/Pinterest 趋势是重要参考,适合 POD 和创意类产品
|
||||
- 对方观点:优先美区/日本 TikTok Shop,避开东南亚,需数据软件分析
|
||||
- 注:两者针对的产品类型不同(Etsy 手工艺/POD vs TikTok 快消品),可互补而非冲突
|
||||
45
wiki/sources/电商视频prompt.md
Normal file
45
wiki/sources/电商视频prompt.md
Normal file
@@ -0,0 +1,45 @@
|
||||
---
|
||||
title: "电商视频Prompt库"
|
||||
type: source
|
||||
tags: [ai, image-to-video, prompt, text-to-video]
|
||||
date: 2026-04-23
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[跨境电商/电商视频Prompt.md]]
|
||||
|
||||
## Summary(用中文描述)
|
||||
- 核心主题:AI 生成宠物用品电商视频的模块化 Prompt 库
|
||||
- 问题域:TikTok Shop / 跨境电商宠物用品视频内容生产
|
||||
- 方法/机制:7 大模块化 Prompt(产品展示 / 宠物动作 / 衣服防穿帮 / 场景变化 / Negative Prompt / 卖货文案 / 全流程示例),通过"拼积木"方式组合使用
|
||||
- 结论/价值:**低翻车率 + 高真实感**的视频生成方案,服务 TikTok 带货,可扩展到 1 个产品 → 3 条视频 → 6 条文案 → A/B 测试的全链路自动化
|
||||
|
||||
## Key Claims(用中文描述)
|
||||
- 模块化 Prompt 组合策略能够**降低 AI 视频翻车率、提高真实感**,专为电商带货场景设计
|
||||
- 宠物衣服类视频必须使用**"防穿帮"专用 Prompt**(Clothing Alignment 模块),否则衣服会出现滑动、漂浮、变形
|
||||
- 场景变化 Prompt 应作为**加法模块叠加**,不应在初始 Prompt 中写死,以实现一条视频模板覆盖多场景
|
||||
- 一套产品可生成**3 条差异化视频**(细节展示版 / 宠物日常版 / 情绪共鸣版),配合 6 条文案进行 A/B 测试
|
||||
|
||||
## Key Quotes
|
||||
> "低翻车率 + 高真实感 + 为 TikTok 带货服务" — 整体设计目标
|
||||
> "场景一定是加法模块,不要一开始就写死" — 场景变化模块使用原则
|
||||
> "一个产品 = 3 条视频模板 → 自动生成 6 条文案 → A/B 测试" — 进阶自动化愿景
|
||||
|
||||
## Key Concepts
|
||||
- [[Prompt库设计原则]]:模块化(Modular)、变量化(Variable)、可组合(Composable)
|
||||
- [[Negative Prompt]]:反向提示词,统一放置以降低翻车率,排除卡通风格/畸形解剖/水印等干扰
|
||||
- [[Image-to-Video]]:以产品图片为输入,生成动态展示视频(核心工作流)
|
||||
- [[TikTok电商内容自动化]]:图片 → 视频 → 文案 → A/B 测试的全链路自动化
|
||||
|
||||
## Key Entities
|
||||
- [[TikTok Shop]]:目标平台,该 Prompt 库的视频专为 TikTok Shop 带货场景设计
|
||||
- [[宠物用品]]:核心品类,以宠物衣服为典型案例(防穿帮、衣服合身问题)
|
||||
- [[TikTok]]:短视频/电商平台,卖货文案生成模块(TikTok E-commerce Copywriter)以该平台用户为受众
|
||||
|
||||
## Connections
|
||||
- [[电商如何选品-如何找到爆款-选品策略]] ← complements ← [[电商视频prompt]]
|
||||
- [[14个免费的AI图生视频工具-用AI让图片动起来]] ← related_to ← [[电商视频prompt]]
|
||||
- [[二创视频必不可少-2025年最热门AI工具推荐合集-AI配音-声音克隆]] ← related_to ← [[电商视频prompt]]
|
||||
|
||||
## Contradictions
|
||||
- 暂无发现与 Wiki 中其他页面的实质冲突
|
||||
Reference in New Issue
Block a user