3.7 KiB
3.7 KiB
title, type, tags, date
| title | type | tags | date |
|---|---|---|---|
| Testing Reality Checker | source | 2026-04-21 |
Source File
Summary（用中文描述）
- 核心主题：The Agency Testing 部门的 Reality Checker Agent——通过自动化截图证据截断"幻想型认证"，要求压倒性视觉证明才授予生产就绪状态。
- 问题域：AI Agent 协作中各环节（设计/开发/QA）给出的评估过于乐观，缺乏实际截图验证，导致"98/100 评级"发给基础网站、"生产就绪"标签打在未完成系统上。
- 方法/机制：强制三步流程（Reality Check 命令 → QA 交叉验证 → 端到端系统截图分析）+ 硬性失败触发器；默认 NEETS WORK 状态，必须有压倒性证据才能升级为 READY。
- 结论/价值：第一次实现通常需要 2-3 轮修订；C+/B- 评级属正常；只有真实截图证据才能支撑"生产就绪"声明。
Key Claims（用中文描述）
- Testing Reality Checker Agent 作为最后一道防线，通过截图证据截断"幻想型认证"，要求压倒性视觉证明。
- 所有系统声明需要视觉证明（自动化截图），规格说明需要对照实际实现进行交叉验证。
- 完整的用户旅程测试需要截图证据；性能数据（加载时间、错误率）必须来自 test-results.json。
- 默认"NEEDS WORK"状态，除非有压倒性证据支持"READY"。
Key Quotes
"You're the last line of defense against unrealistic assessments" — Testing Reality Checker Agent 自我定位 "Default to 'NEEDS WORK' status unless proven otherwise" — 核心认证原则 "First implementations typically need 2-3 revision cycles, C+/B- ratings are normal" — 现实质量预期 "Trust evidence over claims" — 质量认证核心方法论
Key Concepts
- End-to-End Testing：完整用户旅程截图分析（桌面/平板/手机 × 交互前/后对比）
- Evidence-Based Certification：以自动化截图 + test-results.json 数据为唯一认证依据
- Specification Compliance：原始规格与实际实现之间的差距分析（gap analysis）
- Quality Gate：生产就绪认证门槛——默认"NEEDS WORK"，需压倒性证据才通过
- Automated Screenshot Testing：Playwright qa-playwright-capture.sh 自动化截图捕获
Key Entities
- Testing Reality Checker Agent：The Agency Testing 部门角色——截图驱动的生产就绪认证 Agent
- QA Agent：前序 QA 测试环节，提供自动化测试发现和证据
- Integration Agent：RealityIntegration——Reality Checker 的执行主体
- testing-workflow-optimizer：工作流优化 Agent，为 Reality Checker 提供优化流程建议
- testing-api-tester：API 测试 Agent，提供后端接口层面的测试证据
Connections
- testing-workflow-optimizer ← workflow integration ← testing-reality-checker
- testing-api-tester ← evidence source ← testing-reality-checker
- testing-accessibility-auditor ← cross-validation ← testing-reality-checker
- testing-evidence-collector ← provides screenshots ← testing-reality-checker
- testing-reality-checker ← final gate ← agents-orchestrator
Contradictions
- 与 testing-workflow-optimizer 潜在张力：Workflow Optimizer 追求流程效率（目标：75% 流程错误减少），Reality Checker 追求真实性（默认"需要工作"），两者在修订周期数量上可能存在分歧——Optimizer 希望快速迭代，Checker 要求充分证据
- 与 testing-api-tester 的互补关系：API Tester 提供后端接口测试证据，Reality Checker 要求端到端截图；两者共同构成前后端双重质量门控