Update nexus wiki content
This commit is contained in:
@@ -1,62 +1,54 @@
|
||||
---
|
||||
title: "macOS Spatial/Metal Engineer Agent Personality"
|
||||
type: source
|
||||
tags: [agent, apple, metal, spatial-computing, visionos, xr]
|
||||
date: 2026-04-25
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[raw/Agent/agency-agents/spatial-computing/macos-spatial-metal-engineer.md]]
|
||||
|
||||
## Summary（用中文描述）
|
||||
- 核心主题：macOS Spatial/Metal Engineer Agent 的人格定义——一个专注于 Swift + Metal 渲染的空间计算专家 Agent，负责构建 macOS 和 Vision Pro 上的高性能 3D 可视化系统
|
||||
- 问题域：如何在 Apple 平台上实现大规模图数据的高性能 GPU 渲染，并将渲染流通过 Compositor Services 传输到 Vision Pro 进行沉浸式空间计算体验
|
||||
- 方法/机制：使用实例化 Metal 渲染（Instanced Rendering）驱动 10k-100k 节点；通过 RemoteImmersiveSpace 和 LayerRenderer 实现 Vision Pro 立体帧流；用 Metal Compute Shader 实现 GPU 物理力导向图布局
|
||||
- 结论/价值：定义了一个完整的 Apple 平台空间计算 Agent 技术栈，从渲染管线到手势交互到性能调优，覆盖了 visionOS/macOS 跨平台沉浸式开发的核心路径
|
||||
|
||||
## Key Claims（用中文描述）
|
||||
- Agent 通过实例化 Metal 渲染，可在 90fps 立体渲染下驱动 25k 节点图数据
|
||||
- Agent 使用 RemoteImmersiveSpace 实现 macOS 与 Vision Pro 的全沉浸式代码可视化连接
|
||||
- Agent 通过 LayerRenderer 的 stereo 配置（RGBA16Float + Depth32Float）实现高质量立体帧流
|
||||
- Agent 利用 Metal Compute Shader 执行 GPU 并行力导向图布局，避免 CPU 瓶颈
|
||||
- Agent 将注视（Gaze）追踪 + 捏合（Pinch）手势识别作为主要空间交互方式
|
||||
|
||||
## Key Quotes
|
||||
> "Never drop below 90fps in stereoscopic rendering" — Metal 渲染硬性性能要求
|
||||
> "Use instanced drawing for massive node counts" — 核心渲染优化策略
|
||||
> "Stream stereo frames to Vision Pro via Compositor Services" — 跨设备渲染架构目标
|
||||
> "Implement proper depth ordering for stereoscopic rendering" — Vision Pro 立体渲染规范
|
||||
|
||||
## Key Concepts
|
||||
- [[Instanced Rendering]]：通过单次 draw call 批量渲染大量节点，每个节点含 position/color/scale/symbolId 属性
|
||||
- [[RemoteImmersiveSpace]]：macOS 与 Vision Pro 之间的全沉浸式空间连接协议
|
||||
- [[Compositor Services]]：提供 LayerRenderer 用于生成和提交立体帧到 Vision Pro
|
||||
- [[LayerRenderer]]：配置 stereo 模式、RGBA16Float 颜色格式和 Depth32Float 深度格式的渲染层
|
||||
- [[Force-Directed Graph Layout]]：在 Metal Compute Shader 中实现的力导向图物理模拟（排斥力 + 吸引力 + 阻尼）
|
||||
- [[Metal System Trace]]：Xcode Instruments 工具，用于分析 Metal 帧时间和 GPU 利用率
|
||||
- [[Stereoscopic Rendering]]：双眼立体渲染，需维护正确的深度顺序和 vergence-accommodation 限制
|
||||
- [[GPU-Driven Rendering]]：通过 Indirect Command Buffers 实现 GPU 自主驱动的渲染管线
|
||||
- [[Triple Buffering]]：三缓冲策略保证 CPU-GPU 数据传输与渲染流水线的平滑衔接
|
||||
- [[Frustum Culling & LOD]]：视锥裁剪和层级细节优化，用于大规模图数据的性能保障
|
||||
|
||||
## Key Entities
|
||||
- [[Apple]]：平台生态——提供 Metal、visionOS、CompositorServices 等核心框架
|
||||
- [[Vision Pro]]：目标设备——通过 RemoteImmersiveSpace 接收来自 macOS 的立体渲染流
|
||||
- [[Metal]]：底层图形 API——支持 instanced rendering、compute shaders、geometry shaders
|
||||
- [[Xcode Instruments]]：性能分析工具——Metal System Trace 用于帧时间和 GPU 利用率分析
|
||||
- [[RealityKit]]：空间锚点支持——用于 Vision Pro 空间锚点的持久化管理
|
||||
- [[ARKit]]：环境映射——结合 ARKit 实现环境光照和空间理解
|
||||
|
||||
## Connections
|
||||
- [[macos-spatial-metal-engineer]] ← builds ← [[MetalGraphRenderer]]（核心渲染组件）
|
||||
- [[macos-spatial-metal-engineer]] ← integrates_with ← [[VisionProCompositor]]（Vision Pro 流式连接）
|
||||
- [[macos-spatial-metal-engineer]] ← uses ← [[ForceDirectedGraphLayout]]（GPU 物理模拟）
|
||||
- [[xr-immersive-developer]] ← shares_architecture_with ← [[macos-spatial-metal-engineer]]（XR 开发领域重叠）
|
||||
- [[visionos-spatial-engineer]] ← extends ← [[macos-spatial-metal-engineer]]（visionOS 专用扩展）
|
||||
|
||||
## Contradictions
|
||||
- 与 [[visionos-spatial-engineer]] 可能存在职责重叠：
|
||||
- 冲突点：两者都涉及 Vision Pro 开发，但侧重点不同
|
||||
- 当前观点：macOS Spatial/Metal Engineer 专注 macOS 侧渲染管线 + Vision Pro 流式输出
|
||||
- 对方观点：visionOS Spatial Engineer 专注 visionOS 原生空间交互开发
|
||||
- 协调：两者可协同——macOS 侧负责高性能渲染，visionOS 侧负责原生交互体验
|
||||
---
|
||||
title: "macOS Spatial/Metal Engineer Agent Personality"
|
||||
type: source
|
||||
tags: ["apple", "metal", "spatial-computing", "vision-pro", "swift", "rendering"]
|
||||
date: 2026-05-02
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[Agent/agency-agents/spatial-computing/macos-spatial-metal-engineer.md]]
|
||||
|
||||
## Summary（用中文描述）
|
||||
- 核心主题：macOS Spatial/Metal Engineer 智能体人格定义文档，用于构建高性能 3D 渲染系统和空间计算体验
|
||||
- 问题域：如何让 AI 智能体扮演 Swift + Metal 渲染专家，同时支持 macOS 和 Vision Pro 的空间计算集成
|
||||
- 方法/机制：通过详细定义 Agent 的身份定位、核心任务、性能指标、技术架构（Metal 渲染管线、Compositor Services 集成、空间交互系统、GPU 布局物理引擎）和工作流程
|
||||
- 结论/价值：提供了一套完整的空间计算智能体开发框架，涵盖从 Metal 渲染优化到 Vision Pro 交互集成的全链路能力要求
|
||||
|
||||
## Key Claims（用中文描述）
|
||||
- Agent 必须实现 instanced Metal 渲染，支持 10k-100k 节点达到 90fps（主体 + 机制 + 结果）
|
||||
- Agent 必须通过 Compositor Services 将立体帧流式传输到 Vision Pro（主体 + 机制 + 结果）
|
||||
- Agent 必须保持 GPU 利用率低于 80% 以预留散热空间（主体 + 机制 + 结果）
|
||||
- Agent 必须将注视选择延迟控制在 50ms 以内（主体 + 机制 + 结果）
|
||||
- Agent 必须保持内存使用低于 1GB（主体 + 机制 + 结果）
|
||||
|
||||
## Key Quotes
|
||||
> "Never drop below 90fps in stereoscopic rendering" — Metal 性能红线要求
|
||||
> "Stream stereo frames to Vision Pro via Compositor Services" — 跨设备渲染架构核心能力
|
||||
> "Reduced overdraw by 60% using early-Z rejection" — 性能优化的典型表达方式
|
||||
> "Placed focus plane at 2m for comfortable vergence" — 空间 UX 的核心设计考量
|
||||
|
||||
## Key Concepts
|
||||
- [[Metal]]：Apple 的 GPU 编程框架，用于高性能 3D 渲染
|
||||
- [[Vision Pro Compositor Services]]：Apple 的 LayerRenderer API，用于向 Vision Pro 流式传输立体帧
|
||||
- [[RemoteImmersiveSpace]]：Apple 平台的空间计算全沉浸模式，用于 macOS 与 Vision Pro 的代码可视化协作
|
||||
- [[Instanced Rendering]]：GPU 批量渲染大量相似几何体的技术，支持 10k-100k 节点
|
||||
- [[Force-Directed Graph Layout]]：基于 GPU 物理模拟的图布局算法
|
||||
- [[Frustum Culling]]：视锥剔除优化技术，用于跳过不可见几何体
|
||||
- [[Stereoscopic Rendering]]：立体渲染技术，同时渲染左右眼视角
|
||||
|
||||
## Key Entities
|
||||
- [[Apple]]：平台提供商，提供 Metal、visionOS、Compositor Services 等核心技术框架
|
||||
- [[Vision Pro]]：Apple 的空间计算头显设备，通过 RemoteImmersiveSpace 实现远程沉浸体验
|
||||
- [[Xcode]]：Apple 开发环境，用于 Metal 项目构建
|
||||
- [[Metal System Trace]]：Apple 性能分析工具，用于 GPU 性能调优
|
||||
- [[Instruments]]：Apple 系统性能分析套件，用于内存和性能分析
|
||||
|
||||
## Connections
|
||||
- [[visionOS Spatial Engineer]] ← extends ← [[macOS Spatial/Metal Engineer]]
|
||||
- [[Metal Graph Renderer]] ← depends_on ← [[Force-Directed Graph Layout]]
|
||||
- [[Vision Pro Compositor]] ← depends_on ← [[Compositor Services]]
|
||||
- [[Spatial Interaction Handler]] ← depends_on ← [[Gaze Tracking]] ← depends_on ← [[Vision Pro]]
|
||||
|
||||
## Contradictions
|
||||
- 暂无发现内容冲突
|
||||
|
||||
|
||||
Reference in New Issue
Block a user