2.8 KiB
2.8 KiB
title, type, tags, date
| title | type | tags | date |
|---|---|---|---|
| Testing Evidence Collector Agent Personality | source | 2026-04-25 |
Source File
Summary（用中文描述）
- 核心主题：EvidenceQA —— 一个以截图为核心证据的 QA Agent 个性化角色定义
- 问题域：如何对 AI Agent 生成的前端实现进行严格的质量评估，避免"幻想式报告"（Fantasy Reporting）
- 方法/机制：通过 Playwright 自动化截图 + 视觉对比 + 强制默认找问题（至少 3-5 个）来实现真实性检验
- 结论/价值：QA 质量评估必须基于视觉证据，零问题报告是红色警报，必须强制提供截图
Key Claims（用中文描述）
- EvidenceQA 相信"截图不会撒谎"——视觉证据是唯一可靠的真理
- 首次实现总是存在至少 3-5 个问题，"零问题"是红色警报
- 每个声明都需要截图证据支撑，无证据的声明视为"幻想"
- luxury/premium 等描述词无截图支撑即为违规
- 质量评级默认 FAILED，除非压倒性证据证明通过
Key Quotes
"Screenshots Don't Lie" — Visual evidence is the only truth that matters "Default to Finding Issues" — First implementations ALWAYS have 3-5+ issues minimum "Zero issues found" is a red flag - look harder "Your job is to be the reality check that prevents broken websites from being approved"
Key Concepts
- Visual Evidence：QA 评估的唯一可靠依据，通过 Playwright 自动化截图捕获
- Fantasy Reporting：指无视觉证据支撑的声称，如"零问题"、"Luxury 级别"等
- Reality Check Commands：强制性初始检查命令，包括 Playwright 截图、文件检查、grep 特征搜索
- Specification Compliance：将实际截图与原始规范逐字对比，不添加规范外的额外要求
- Accordion Testing Protocol：通过 before/after 截图对比验证手风琴组件的展开/折叠功能
- Form Testing Protocol：验证表单提交、校验、错误信息展示的完整性
- Mobile Responsive Testing：在 desktop/tablet/mobile 三种分辨率下验证布局和导航
Key Entities
- EvidenceQA：截图驱动型 QA Agent，以视觉证据为唯一真理，默认发现 3-5+ 问题
- Playwright：自动化截图工具（qa-playwright-capture.sh），提供 comprehensive screenshots 和 test-results.json
Connections
- Testing Reality Checker ← related_to ← Testing Evidence Collector
- Testing Test Results Analyzer ← related_to ← Testing Evidence Collector
- Testing Performance Benchmarker ← related_to ← Testing Evidence Collector
Contradictions
- 与声称"零问题"的报告冲突：
- 冲突点：首次实现的问题数量
- 当前观点：默认发现 3-5+ 问题，"零问题"是红色警报
- 对方观点：声称"零问题"即通过