63 lines
4.6 KiB
Markdown
63 lines
4.6 KiB
Markdown
---
|
||
title: "macOS Spatial/Metal Engineer Agent Personality"
|
||
type: source
|
||
tags: [agent, apple, metal, spatial-computing, visionos, xr]
|
||
date: 2026-04-25
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/Agent/agency-agents/spatial-computing/macos-spatial-metal-engineer.md]]
|
||
|
||
## Summary（用中文描述）
|
||
- 核心主题：macOS Spatial/Metal Engineer Agent 的人格定义——一个专注于 Swift + Metal 渲染的空间计算专家 Agent，负责构建 macOS 和 Vision Pro 上的高性能 3D 可视化系统
|
||
- 问题域：如何在 Apple 平台上实现大规模图数据的高性能 GPU 渲染，并将渲染流通过 Compositor Services 传输到 Vision Pro 进行沉浸式空间计算体验
|
||
- 方法/机制：使用实例化 Metal 渲染（Instanced Rendering）驱动 10k-100k 节点；通过 RemoteImmersiveSpace 和 LayerRenderer 实现 Vision Pro 立体帧流；用 Metal Compute Shader 实现 GPU 物理力导向图布局
|
||
- 结论/价值：定义了一个完整的 Apple 平台空间计算 Agent 技术栈，从渲染管线到手势交互到性能调优，覆盖了 visionOS/macOS 跨平台沉浸式开发的核心路径
|
||
|
||
## Key Claims（用中文描述）
|
||
- Agent 通过实例化 Metal 渲染，可在 90fps 立体渲染下驱动 25k 节点图数据
|
||
- Agent 使用 RemoteImmersiveSpace 实现 macOS 与 Vision Pro 的全沉浸式代码可视化连接
|
||
- Agent 通过 LayerRenderer 的 stereo 配置（RGBA16Float + Depth32Float）实现高质量立体帧流
|
||
- Agent 利用 Metal Compute Shader 执行 GPU 并行力导向图布局，避免 CPU 瓶颈
|
||
- Agent 将注视（Gaze）追踪 + 捏合（Pinch）手势识别作为主要空间交互方式
|
||
|
||
## Key Quotes
|
||
> "Never drop below 90fps in stereoscopic rendering" — Metal 渲染硬性性能要求
|
||
> "Use instanced drawing for massive node counts" — 核心渲染优化策略
|
||
> "Stream stereo frames to Vision Pro via Compositor Services" — 跨设备渲染架构目标
|
||
> "Implement proper depth ordering for stereoscopic rendering" — Vision Pro 立体渲染规范
|
||
|
||
## Key Concepts
|
||
- [[Instanced Rendering]]：通过单次 draw call 批量渲染大量节点，每个节点含 position/color/scale/symbolId 属性
|
||
- [[RemoteImmersiveSpace]]：macOS 与 Vision Pro 之间的全沉浸式空间连接协议
|
||
- [[Compositor Services]]：提供 LayerRenderer 用于生成和提交立体帧到 Vision Pro
|
||
- [[LayerRenderer]]：配置 stereo 模式、RGBA16Float 颜色格式和 Depth32Float 深度格式的渲染层
|
||
- [[Force-Directed Graph Layout]]：在 Metal Compute Shader 中实现的力导向图物理模拟（排斥力 + 吸引力 + 阻尼）
|
||
- [[Metal System Trace]]：Xcode Instruments 工具，用于分析 Metal 帧时间和 GPU 利用率
|
||
- [[Stereoscopic Rendering]]：双眼立体渲染，需维护正确的深度顺序和 vergence-accommodation 限制
|
||
- [[GPU-Driven Rendering]]：通过 Indirect Command Buffers 实现 GPU 自主驱动的渲染管线
|
||
- [[Triple Buffering]]：三缓冲策略保证 CPU-GPU 数据传输与渲染流水线的平滑衔接
|
||
- [[Frustum Culling & LOD]]：视锥裁剪和层级细节优化，用于大规模图数据的性能保障
|
||
|
||
## Key Entities
|
||
- [[Apple]]：平台生态——提供 Metal、visionOS、CompositorServices 等核心框架
|
||
- [[Vision Pro]]：目标设备——通过 RemoteImmersiveSpace 接收来自 macOS 的立体渲染流
|
||
- [[Metal]]：底层图形 API——支持 instanced rendering、compute shaders、geometry shaders
|
||
- [[Xcode Instruments]]：性能分析工具——Metal System Trace 用于帧时间和 GPU 利用率分析
|
||
- [[RealityKit]]：空间锚点支持——用于 Vision Pro 空间锚点的持久化管理
|
||
- [[ARKit]]：环境映射——结合 ARKit 实现环境光照和空间理解
|
||
|
||
## Connections
|
||
- [[macos-spatial-metal-engineer]] ← builds ← [[MetalGraphRenderer]]（核心渲染组件）
|
||
- [[macos-spatial-metal-engineer]] ← integrates_with ← [[VisionProCompositor]]（Vision Pro 流式连接）
|
||
- [[macos-spatial-metal-engineer]] ← uses ← [[ForceDirectedGraphLayout]]（GPU 物理模拟）
|
||
- [[xr-immersive-developer]] ← shares_architecture_with ← [[macos-spatial-metal-engineer]]（XR 开发领域重叠）
|
||
- [[visionos-spatial-engineer]] ← extends ← [[macos-spatial-metal-engineer]]（visionOS 专用扩展）
|
||
|
||
## Contradictions
|
||
- 与 [[visionos-spatial-engineer]] 可能存在职责重叠：
|
||
- 冲突点：两者都涉及 Vision Pro 开发，但侧重点不同
|
||
- 当前观点：macOS Spatial/Metal Engineer 专注 macOS 侧渲染管线 + Vision Pro 流式输出
|
||
- 对方观点：visionOS Spatial Engineer 专注 visionOS 原生空间交互开发
|
||
- 协调：两者可协同——macOS 侧负责高性能渲染，visionOS 侧负责原生交互体验
|