Workspace sync: auto commit 2026-04-23 13:22:56

2026-04-23 13:22:56 +08:00
parent 980a3e89bf
commit fcfe9c7ae5
7 changed files with 881 additions and 4 deletions
--- a/wiki/entities/gog-CLI.md
+++ b/wiki/entities/gog-CLI.md
@@ -0,0 +1,48 @@
+---
+title: "gog CLI"
+type: entity
+tags: [google-workspace, cli, macos]
+last_updated: 2026-03-15
+---
+
+# gog CLI
+
+## Overview
+gog CLI（gogcli）是由 steipete 开发的 Google Workspace 命令行管理工具，通过 Homebrew 安装（`brew install steipete/tap/gogcli`），输出路径为 `/opt/homebrew/bin/gog`。支持 Gmail、Google Calendar、Google Drive、Google Contacts、Google Docs、Google Sheets 全套服务的管理。
+
+## Aliases
+- gogcli
+- gog CLI
+- Gog CLI
+
+## Details
+
+| 属性 | 值 |
+|------|-----|
+| 类型 | 产品 / 工具 |
+| 作者 | steipete |
+| GitHub | github.com/steipete/gogcli |
+| 官网 | gogcli.sh |
+| 平台 | macOS（Homebrew） |
+| 认证方式 | OAuth 2.0 |
+
+## Supported Services
+- **Gmail**：搜索、发送、创建草稿
+- **Google Calendar**：查看事件、创建事件
+- **Google Drive**：搜索文件
+- **Google Contacts**：列出联系人
+- **Google Sheets**：获取/更新数据
+- **Google Docs**：导出文档、查看内容
+
+## Key Dependencies
+- **OAuth 凭证**：需要从 Google Cloud Console 下载 `credentials.json` 并放置到 `~/Library/Application Support/gogcli/credentials.json`
+- **Google Cloud Console**：用于创建 OAuth 客户端 ID 和启用各 API 服务
+- **测试用户白名单**：首次授权需要将 Google 账号邮箱添加到 OAuth 客户端的测试用户列表
+
+## Related Entities
+- [[Google]] — Google 公司
+- [[personal-crm]] — 使用 gog CLI 提供 Gmail 和 Calendar 数据
+- [[multi-channel-assistant]] — 整合 Google Workspace（gog）
+
+## Related Sources
+- [[gog-cli-安装配置指南]] — 完整安装与配置指南
--- a/wiki/index.md
+++ b/wiki/index.md
@@ -4,6 +4,8 @@
 - [Overview](overview.md) — living synthesis

 ## Sources
+- [2026-04-23] [Scrapy + Playwright 抓取TikTok Shop Data](sources/scrapy-playwright-抓取tiktok-shop-data.md)
+- [2026-04-23] [GOG CLI 安装配置指南](sources/gog-cli-安装配置指南.md)
 - [2026-04-23] [Last30Days 使用指南](sources/last30days-使用指南.md)
 - [2026-04-23] [如何利用Sora接口实现视频自动化生成工作流](sources/如何利用sora接口实现视频自动化生成工作流.md)
 - [2026-04-23] [If You Have Multiple Interests, Do Not Waste the Next 2-3 Years](sources/if-you-have-multiple-interests-do-not-waste-the-next-2-3-years-如果你有多项兴趣爱好-不要浪费接下来的两三年时间.md)
@@ -176,7 +178,6 @@
 - [2026-04-21] [obsidian-必装-skills](sources/obsidian-必装-skills.md) — (expected: wiki/sources/obsidian-必装-skills.md — source missing)
 - [2026-04-21] [marketing-weibo-strategist](sources/marketing-weibo-strategist.md) — (expected: wiki/sources/marketing-weibo-strategist.md — source missing)
 - [2026-04-21] [marketing-baidu-seo-specialist](sources/marketing-baidu-seo-specialist.md) — (expected: wiki/sources/marketing-baidu-seo-specialist.md — source missing)
- [2026-04-21] [gog-cli-安装配置指南](sources/gog-cli-安装配置指南.md) — (expected: wiki/sources/gog-cli-安装配置指南.md — source missing)
 - [2026-04-21] [marketing-carousel-growth-engine](sources/marketing-carousel-growth-engine.md) — (expected: wiki/sources/marketing-carousel-growth-engine.md — source missing)
 - [2026-04-21] [marketing-private-domain-operator](sources/marketing-private-domain-operator.md) — (expected: wiki/sources/marketing-private-domain-operator.md — source missing)
 - [2026-04-21] [marketing-short-video-editing-coach](sources/marketing-short-video-editing-coach.md) — (expected: wiki/sources/marketing-short-video-editing-coach.md — source missing)
@@ -413,7 +414,6 @@
 - [2026-04-18] [做tk跨境思路不对努力白费](sources/做tk跨境思路不对努力白费.md) — (expected: wiki/sources/做tk跨境思路不对努力白费.md — source missing)
 - [2026-04-18] [超达物流定价](sources/超达物流定价.md) — (expected: wiki/sources/超达物流定价.md — source missing)
 - [2026-04-18] [tk美国面单授权及操作流程](sources/tk美国面单授权及操作流程.md) — (expected: wiki/sources/tk美国面单授权及操作流程.md — source missing)
- [2026-04-18] [scrapy-playwright-抓取tiktok-shop-data](sources/scrapy-playwright-抓取tiktok-shop-data.md) — (expected: wiki/sources/scrapy-playwright-抓取tiktok-shop-data.md — source missing)
 - [Your-AI-Isn-t-Stupid---It-Just-Needs-a-Better-Harness--Lychee-Technology-Engineering-Blog](sources/Your-AI-Isn-t-Stupid---It-Just-Needs-a-Better-Harness--Lychee-Technology-Engineering-Blog.md) — (expected: wiki/sources/Your-AI-Isn-t-Stupid---It-Just-Needs-a-Better-Harness--Lychee-Technology-Engineering-Blog.md — source missing)
 - [Expose-hermes-agent-as-an-OpenAI-compatible-API-for-any-frontend](sources/Expose-hermes-agent-as-an-OpenAI-compatible-API-for-any-frontend.md) — (expected: wiki/sources/Expose-hermes-agent-as-an-OpenAI-compatible-API-for-any-frontend.md — source missing)
 - [zk-steward](sources/zk-steward.md) — (expected: wiki/sources/zk-steward.md — source missing)
@@ -601,6 +601,7 @@
 - [Gitea](entities/Gitea.md)
 - [glances](entities/glances.md)
 - [gog](entities/gog.md)
+- [gog-CLI](entities/gog-CLI.md)
 - [Google](entities/Google.md)
 - [Google-Cloud](entities/Google-Cloud.md)
 - [GoogleCloud](entities/GoogleCloud.md)
--- a/wiki/log.md
+++ b/wiki/log.md
@@ -1,4 +1,33 @@
-## [2026-04-26] ingest | Last30Days 使用指南
+## [2026-04-24] ingest | Scrapy + Playwright 抓取TikTok Shop Data
+- Source file: 跨境电商/Scrapy + Playwright 抓取TikTok Shop Data.md
+- Status: ✅ 成功摄入
+- Summary: 使用 Scrapy + Playwright 技术栈抓取 TikTok Shop 商家数据的环境配置与运行指南。涵盖 Python venv 虚拟环境搭建、scrapy-playwright 依赖安装、Chromium 浏览器安装、Docker 容器化部署配置，以及 Playwright 验证方法。
+- Concepts touched: [[Scrapy]], [[Playwright]], [[scrapy-playwright]], [[venv]], [[Docker]], [[Chromium]]
+- Entities touched: [[TikTok Shop]], [[shenwei]]
+- Source page: wiki/sources/scrapy-playwright-抓取tiktok-shop-data.md
+- Notes:
+  - 新增 1 个 Source Page（wiki/sources/scrapy-playwright-抓取tiktok-shop-data.md）
+  - Concept 和 Entity 均以 wikilink 形式建立关联，暂不创建独立页面（各仅出现 1 次，未达 ≥2 次阈值）
+  - 冲突检测：无已知冲突内容
+  - 已在 index.md 添加 Source 条目
+  - overview.md 无需更新（TikTok Shop 已存在于 Key Entities，Scrapy/Playwright 属技术工具不需独立概念页）
+
+## [2026-04-23] ingest | GOG CLI 安装配置指南
+- Source file: Skills/GOG-CLI-安装配置指南.md
+- Status: ✅ 成功摄入
+- Summary: gog CLI（Google Workspace 命令行工具）在 macOS 系统上的完整安装与配置流程。涵盖 Homebrew 安装、OAuth 凭证配置、测试用户白名单添加、Google API 启用、常用命令速查及故障排除。
+- Concepts touched: [[OAuth 2.0]], [[Google Cloud Console]], [[API Enablement]], [[Google Workspace]]
+- Entities touched: [[gog CLI]]
+- Source page: wiki/sources/gog-cli-安装配置指南.md
+- Notes:
+  - 新增 1 个 Source Page（wiki/sources/gog-cli-安装配置指南.md）
+  - 新增 1 个 Entity Page（wiki/entities/gog-CLI.md）
+  - 冲突检测：无已知冲突内容
+  - 已在 index.md 修正 Source 条目（去除 "(expected: source missing)" 标注）
+  - 已在 overview.md Key Entities 添加 [[gog CLI]] 条目
+  - 已在 overview.md Key Concepts 添加 [[OAuth 2.0]], [[Google Cloud Console]], [[API Enablement]]
+
+
 - Source file: Skills/Last30Days-使用指南.md
 - Status: ✅ 成功摄入
 - Summary: Last30Days 方法论——通过 AI Agent 自动化追踪近30天内新增/更新的内容源，避免信息过载。核心价值：将"主动订阅"转变为"被动接收"，用 AI 替代人工巡检，节省 80% 信息搜集时间。
--- a/wiki/overview.md
+++ b/wiki/overview.md
@@ -189,7 +189,7 @@ Covers Claude Code, Claude Code Templates (npx 一键安装 Skills/Agents/MCP vi

 **[[我的工具集]]**：个人 AI 工具推荐清单，按类型分类（Text-to-Speech / Image-Editor / Image-to-Video / Web-Scraper / AI-Summary），每类列出工具名称、提供商、定价和链接。覆盖 Google AI Studio（Wavespeed 图生视频、Vidu $8/月、海螺 AI ¥42/月）、Brightdata（付费网页爬取）、Decopy（AI 摘要/思维导图/多语言输出）。与 [[AI图生视频工具盘点]] 互补——前者侧重工具索引清单，后者侧重免费工具详细评测。

-Key concepts: [[AI簡報工作流]], [[AI圖生視頻工具]], [[文字生成視頻]], [[電商場景]], [[AI工具整合]], [[ChatGPT]], [[Canva]], [[Gamma AI]], [[Morning Briefing]], [[Todoist API]], [[AI-Driven Task Extraction]], [[TaskAutomation]], [[Recurring Tasks]], [[MeetingNotes]], [[ActionItemTracking]], [[TranscriptProcessing]], [[RAG从入门到精通系列]], [[Agent Personality Design]], [[Vibe Coding]], [[Design-to-Code Workflow]], [[Multi-AI Review]], [[CodeWeaver]], [[LLM Wiki]], [[多智能体系统可靠性]], [[Plan Mode]], [[Build Mode]], [[Workspace]], [[Agent-Memory]], [[Claude Code Templates]], [[MCP（Model Context Protocol）]], [[Remote-SSH]], [[Bind Mount]], [[Attach 容器]], [[Docker 用户组]], [[SSH Config]], [[SSH 免密登录]], [[Vibe-Kanban]], [[OpenCode]], [[nvm]], [[pm2]], [[单一职责原则]], [[DRY原则]], [[模块化编程]], [[微服务架构]], [[Redis缓存]], [[消息队列]], [[输入-处理-输出模型]], [[并发编程]], [[Pain Point Mining]], [[Startup MVP Pipeline]], [[Agent-Driven Market Research]], [[Last 30 Days Method]], [[Pre-Build Validation]], [[Reality-Signal]], [[Competition-Analysis]], [[Pivot-Strategy]], [[Agent-Build-Gate]], [[CoworkWorkspace]], [[RemoteRescuePattern]], [[Multi-AgentHub]], [[MCPOnceAllAgents]], [[Personalization]], [[Custom Instructions]], [[Proactive AI]], [[Expert User Assumption]], [[Error Accountability]]
+Key concepts: [[AI簡報工作流]], [[AI圖生視頻工具]], [[文字生成視頻]], [[電商場景]], [[AI工具整合]], [[ChatGPT]], [[Canva]], [[Gamma AI]], [[Morning Briefing]], [[Todoist API]], [[AI-Driven Task Extraction]], [[TaskAutomation]], [[Recurring Tasks]], [[MeetingNotes]], [[ActionItemTracking]], [[TranscriptProcessing]], [[RAG从入门到精通系列]], [[Agent Personality Design]], [[Vibe Coding]], [[Design-to-Code Workflow]], [[Multi-AI Review]], [[CodeWeaver]], [[LLM Wiki]], [[多智能体系统可靠性]], [[Plan Mode]], [[Build Mode]], [[Workspace]], [[API Enablement]], [[OAuth 2.0]], [[Google Cloud Console]], [[Agent-Memory]], [[Claude Code Templates]], [[MCP（Model Context Protocol）]], [[Remote-SSH]], [[Bind Mount]], [[Attach 容器]], [[Docker 用户组]], [[SSH Config]], [[SSH 免密登录]], [[Vibe-Kanban]], [[OpenCode]], [[nvm]], [[pm2]], [[单一职责原则]], [[DRY原则]], [[模块化编程]], [[微服务架构]], [[Redis缓存]], [[消息队列]], [[输入-处理-输出模型]], [[并发编程]], [[Pain Point Mining]], [[Startup MVP Pipeline]], [[Agent-Driven Market Research]], [[Last 30 Days Method]], [[Pre-Build Validation]], [[Reality-Signal]], [[Competition-Analysis]], [[Pivot-Strategy]], [[Agent-Build-Gate]], [[CoworkWorkspace]], [[RemoteRescuePattern]], [[Multi-AgentHub]], [[MCPOnceAllAgents]], [[Personalization]], [[Custom Instructions]], [[Proactive AI]], [[Expert User Assumption]], [[Error Accountability]]

 ### Productivity & Knowledge Management
 Obsidian plugins, blogwatcher RSS monitoring, Quartz static site generation, project management systems, and personal CRM frameworks. QuickAdd plugin enables quick note capture via hotkeys for rapid idea recording.
@@ -238,6 +238,7 @@ Key concepts: [[Generalist]], [[Self-Education]], [[Self-Interest]], [[Self-Suff
 - [[AionUi]] — 桌面多 Agent Hub（macOS/Windows/Linux），将 OpenClaw 作为可视化 Cowork Agent 运行，支持内置远程救援专家和统一 MCP 配置
 - [[n8n]] — workflow automation
 - [[Node.js]] — JavaScript 运行时环境，n8n-mcp 的运行依赖，也是 [[n8n]] 工作流引擎的后端运行环境
+- [[gog CLI]] — 由 steipete 开发的 Google Workspace 命令行管理工具（Homebrew 安装），支持 Gmail/Calendar/Drive/Contacts/Docs/Sheets 全套服务，[[personal-crm]] 和 [[multi-channel-assistant]] 的前置依赖
 - [[Quartz]] — static site generator for wikis
 - [[RSSHub]] — open-source RSS aggregator
 - [[RackNerd]]：低总价OpenVZ/KVM VPS提供商，本方案中托管公网VPS1（192.227.222.142, vps.ishenwei.online），运行frps服务端（端口7000）和Caddy自动HTTPS反向代理（*.ishenwei.online），作为全网内网服务的统一公网入口
--- a/wiki/sources/gog-cli-安装配置指南.md
+++ b/wiki/sources/gog-cli-安装配置指南.md
@@ -0,0 +1,45 @@
+---
+title: "GOG CLI 安装配置指南"
+type: source
+tags: [gog, gog-cli, macos, google-workspace]
+date: 2026-03-15
+---
+
+## Source File
+- [[Skills/GOG-CLI-安装配置指南.md]]
+
+## Summary（用中文描述）
+- 核心主题：gog CLI（Google Workspace 命令行工具）在 macOS 系统上的完整安装与配置流程
+- 问题域：如何通过命令行管理 Google Workspace 全套服务（Gmail、Google Calendar、Google Drive、Google Contacts、Google Docs、Google Sheets），并与 AI Agent 工作流集成
+- 方法/机制：Homebrew 安装 → Google Cloud Console 创建 OAuth 凭证 → 移动凭证文件到 gogcli 配置目录 → 添加测试用户解除 Google 安全限制 → 启用各 Google API → 验证授权状态
+- 结论/价值：实现通过命令行管理 Google Workspace 全套服务的能力，可集成到 AI Agent 工作流中（自动邮件处理、日历管理等）
+
+## Key Claims（用中文描述）
+- Homebrew 可通过 `brew install steipete/tap/gogcli` 一键安装 gog CLI，输出路径为 `/opt/homebrew/bin/gog`
+- OAuth 凭证需要放置在 `/Users/weishen/Library/Application Support/gogcli/credentials.json`，并通过 `gog auth credentials` 命令指定路径
+- 首次授权时 Google 会阻止未验证应用，需要在 Google Cloud Console 的 OAuth 客户端中将测试用户邮箱加入白名单才能通过授权
+- Google API 调用需要同时满足两个条件：OAuth 授权成功 + API 已启用（Enabling），缺一不可
+- 启用新的 API 服务后需要重新授权（`gog auth revoke` + `gog auth login`），因为旧 token 不包含新权限
+
+## Key Quotes
+> "此应用未经 Google 验证。此应用请求访问您 Google 账号中的敏感信息。在开发者让该应用通过 Google 验证之前，请勿使用该应用。" — Google 首次授权时的安全警告，解决方案是在测试用户中添加 Google 邮箱
+> "即使 OAuth 成功，如果 API 未启用也会报错：403 accessNotConfigured" — API 调用失败的常见原因
+> "旧 token 不包含新权限" — 启用新 API 后必须重新授权的原因
+
+## Key Concepts
+- [[OAuth 2.0]]：Google 账号身份认证协议，gog CLI 使用 OAuth 完成用户授权
+- [[Google Cloud Console]]：Google API 管理平台，用于创建 OAuth 凭证和启用 API 服务
+- [[Google Workspace]]：Google 办公套件，包含 Gmail、Google Calendar、Google Drive、Google Contacts、Google Docs、Google Sheets
+- [[Google API Enablement]]：Google API 调用需要先在 Google Cloud Console 中启用对应服务，与 OAuth 认证是两层独立机制
+
+## Key Entities
+- [[gog CLI]]：由 steipete 开发的 Google Workspace 命令行管理工具，通过 Homebrew 分发
+- [[Google Cloud Console]]：Google 云平台控制台，用于管理 OAuth 凭证和 API 启用状态
+
+## Connections
+- [[personal-crm]] ← uses ← [[gog CLI]]（gog CLI 提供 Gmail 和 Calendar 数据，是 personal-crm 的前置依赖）
+- [[gog CLI]] ← requires ← [[OAuth 2.0]]（认证机制）
+- [[gog CLI]] ← requires ← [[Google API Enablement]]（每项服务需单独启用）
+
+## Contradictions
+- 无已知冲突内容
--- a/wiki/sources/scrapy-playwright-抓取tiktok-shop-data.md
+++ b/wiki/sources/scrapy-playwright-抓取tiktok-shop-data.md
@@ -0,0 +1,49 @@
+---
+title: "Scrapy + Playwright 抓取TikTok Shop Data"
+type: source
+tags: [playwright, scrapy, tiktok-shop, python, docker, 爬虫]
+date: 2026-04-24
+---
+
+## Source File
+- [[跨境电商/Scrapy + Playwright 抓取TikTok Shop Data.md]]
+
+## Summary（用中文描述）
+- 核心主题：使用 Scrapy + Playwright 技术栈抓取 TikTok Shop 商家数据的环境配置与运行指南
+- 问题域：TikTok Shop 跨境电商数据采集的工程实现
+- 方法/机制：通过 Python venv 虚拟环境隔离依赖，使用 scrapy-playwright 集成包驱动 Chromium 浏览器执行动态页面渲染，再通过 Docker 容器化部署
+- 结论/价值：提供了完整的开发环境搭建流程和生产级 Docker 部署配置，是跨境电商数据采集项目的技术基座
+
+## Key Claims（用中文描述）
+- **虚拟环境隔离是首选方案**：通过 `python3 -m venv` 创建独立虚拟环境，安装 Scrapy + scrapy-playwright 依赖，相比 Docker 直接安装更适合开发调试
+- **Playwright Chromium 是渲染引擎**：通过 `playwright install chromium` 安装无头浏览器，负责处理 TikTok Shop 的 JavaScript 动态加载内容
+- **Docker 部署需配置 venv 环境变量**：在 Dockerfile 中添加 `RUN python3 -m venv /app/venv ENV PATH="/app/venv/bin:$PATH"`，使容器内 Python 命令使用虚拟环境
+- **可用命令行参数指定目标店铺**：通过 `scrapy runspider tiktok_shop_spider.py -a shop_url="..."` 传递 TikTok Shop 店铺 URL 参数
+
+## Key Quotes
+> "最推荐：创建虚拟环境 (venv) 并安装 Scrapy + Playwright" — 文档作者推荐的最佳实践方案
+
+> "source venv/bin/activate" — venv 激活命令
+
+> "RUN python3 -m venv /app/venv ENV PATH=\"/app/venv/bin:$PATH\"" — Docker 中配置 Python venv 的标准写法
+
+> "python -c \"from playwright.sync_api import sync_playwright; print('Playwright OK')\"" — Playwright 验证命令
+
+## Key Concepts
+- [[Scrapy]]：Python 爬虫框架，负责请求调度、数据解析和管道存储
+- [[Playwright]]：Microsoft 开发的无头浏览器自动化工具，支持 Chromium/Firefox/WebKit 多引擎，用于渲染 JavaScript 动态页面
+- [[scrapy-playwright]]：连接 Scrapy 与 Playwright 的集成包，使 Scrapy Spider 能够执行浏览器自动化操作
+- [[venv]]：Python 内置虚拟环境工具，用于隔离项目依赖，避免版本冲突
+- [[Docker]]：容器化平台，用于生产环境部署
+- [[Chromium]]：Google 浏览器引擎，Playwright 的默认渲染引擎
+
+## Key Entities
+- [[TikTok Shop]]：字节跳动旗下的电商平台，本文档的数据采集目标
+- shenwei：文档作者，提供实际操作笔记
+
+## Connections
+- [[TikTok Shop Apache Superset Dashboard]] ← uses ← [[Scrapy-Playwright-TikTok-Shop-Data]]
+- [[做tk跨境思路不对努力白费]] ← related_to ← [[Scrapy-Playwright-TikTok-Shop-Data]]
+
+## Contradictions
+- 无已知冲突内容