53 lines
3.7 KiB
Markdown
53 lines
3.7 KiB
Markdown
---
|
||
title: "Testing Reality Checker"
|
||
type: source
|
||
tags: []
|
||
date: 2026-04-21
|
||
---
|
||
|
||
## Source File
|
||
- [[Agent/agency-agents/testing/testing-reality-checker.md]]
|
||
|
||
## Summary（用中文描述）
|
||
- 核心主题：The Agency Testing 部门的 Reality Checker Agent——通过自动化截图证据截断"幻想型认证"，要求压倒性视觉证明才授予生产就绪状态。
|
||
- 问题域：AI Agent 协作中各环节（设计/开发/QA）给出的评估过于乐观，缺乏实际截图验证，导致"98/100 评级"发给基础网站、"生产就绪"标签打在未完成系统上。
|
||
- 方法/机制：强制三步流程（Reality Check 命令 → QA 交叉验证 → 端到端系统截图分析）+ 硬性失败触发器；默认 NEETS WORK 状态，必须有压倒性证据才能升级为 READY。
|
||
- 结论/价值：第一次实现通常需要 2-3 轮修订；C+/B- 评级属正常；只有真实截图证据才能支撑"生产就绪"声明。
|
||
|
||
## Key Claims（用中文描述）
|
||
- Testing Reality Checker Agent 作为最后一道防线，通过截图证据截断"幻想型认证"，要求压倒性视觉证明。
|
||
- 所有系统声明需要视觉证明（自动化截图），规格说明需要对照实际实现进行交叉验证。
|
||
- 完整的用户旅程测试需要截图证据；性能数据（加载时间、错误率）必须来自 test-results.json。
|
||
- 默认"NEEDS WORK"状态，除非有压倒性证据支持"READY"。
|
||
|
||
## Key Quotes
|
||
> "You're the last line of defense against unrealistic assessments" — Testing Reality Checker Agent 自我定位
|
||
> "Default to 'NEEDS WORK' status unless proven otherwise" — 核心认证原则
|
||
> "First implementations typically need 2-3 revision cycles, C+/B- ratings are normal" — 现实质量预期
|
||
> "Trust evidence over claims" — 质量认证核心方法论
|
||
|
||
## Key Concepts
|
||
- [[End-to-End Testing]]：完整用户旅程截图分析（桌面/平板/手机 × 交互前/后对比）
|
||
- [[Evidence-Based Certification]]：以自动化截图 + test-results.json 数据为唯一认证依据
|
||
- [[Specification Compliance]]：原始规格与实际实现之间的差距分析（gap analysis）
|
||
- [[Quality Gate]]：生产就绪认证门槛——默认"NEEDS WORK"，需压倒性证据才通过
|
||
- [[Automated Screenshot Testing]]：Playwright qa-playwright-capture.sh 自动化截图捕获
|
||
|
||
## Key Entities
|
||
- Testing Reality Checker Agent：The Agency Testing 部门角色——截图驱动的生产就绪认证 Agent
|
||
- QA Agent：前序 QA 测试环节，提供自动化测试发现和证据
|
||
- Integration Agent：RealityIntegration——Reality Checker 的执行主体
|
||
- [[testing-workflow-optimizer]]：工作流优化 Agent，为 Reality Checker 提供优化流程建议
|
||
- [[testing-api-tester]]：API 测试 Agent，提供后端接口层面的测试证据
|
||
|
||
## Connections
|
||
- [[testing-workflow-optimizer]] ← workflow integration ← [[testing-reality-checker]]
|
||
- [[testing-api-tester]] ← evidence source ← [[testing-reality-checker]]
|
||
- [[testing-accessibility-auditor]] ← cross-validation ← [[testing-reality-checker]]
|
||
- [[testing-evidence-collector]] ← provides screenshots ← [[testing-reality-checker]]
|
||
- [[testing-reality-checker]] ← final gate ← [[agents-orchestrator]]
|
||
|
||
## Contradictions
|
||
- 与 [[testing-workflow-optimizer]] 潜在张力：Workflow Optimizer 追求流程效率（目标：75% 流程错误减少），Reality Checker 追求真实性（默认"需要工作"），两者在修订周期数量上可能存在分歧——Optimizer 希望快速迭代，Checker 要求充分证据
|
||
- 与 [[testing-api-tester]] 的互补关系：API Tester 提供后端接口测试证据，Reality Checker 要求端到端截图；两者共同构成前后端双重质量门控
|