2.0 KiB
2.0 KiB
title, type, tags, sources, last_updated
| title | type | tags | sources | last_updated | ||||
|---|---|---|---|---|---|---|---|---|
| Self-Grading Illusion | concept |
|
|
2026-04-20 |
Overview
Self-Grading Illusion——LLM 无法有效评估自身输出的结构性缺陷。同一套权重既生成输出又评判输出——生成输出的权重位置决定了它不能可靠地评判该输出，导致对平庸输出给予不配得的信心评分。
Mechanism
当 LLM 被要求评估自己生成的内容时：
- 它使用生成该内容的同一内部表征做出判断
- 这些表征对自身产出的缺陷有"盲点"（因为它们就是产生缺陷的原因）
- 结果：结构性的自我偏好，而非客观评估
Source in Article
Anthropic 在 steering vectors 和内部模型表征方面的研究被本文引用，表明在冲突约束下（"修这个 bug，但又不能改任何代码"），模型内部状态有可测量的变化——不只是表面文本预测出错，模型在内部对"看起来正确"而非"真正正确"进行了优化。
Solution: Sprint Contract
Sprint-Contract 通过角色分离打破结构性缺陷：
- Generator 生成输出
- Evaluator 在干净上下文中评估——只接收输出 + 成功标准，不读 Generator 的思维链
- Evaluator 必须执行：运行代码、在 headless 浏览器验证接口、对比 schema——不只是读文本然后评判
Key Rules
- Evaluator 必须在干净上下文中操作——如果它读取了 Generator 的完整推理链，它继承了 Generator 的假设和盲点
- 给 Evaluator 的信息：输出 + 成功标准，无其他
Source
See Also
- Sprint-Contract — 具体解决方案
- LLM-as-a-Judge — 相关评估模式（LLM-as-Judge 适用于主观评估，Self-Grading Illusion 适用于自我评估）