47 lines
2.7 KiB
Markdown
47 lines
2.7 KiB
Markdown
---
|
||
title: "Multi-Agent System Reliability"
|
||
type: source
|
||
tags: [multi-agent, reliability, architecture, llm]
|
||
date: 2026-04-13
|
||
---
|
||
|
||
## Source File
|
||
- raw/AI/Multi-Agent System Reliability.md
|
||
|
||
## Summary
|
||
- 核心主题：4种架构模式提升多智能体系统可靠性
|
||
- 问题域：LLM 本身不可靠（幻觉、逻辑谬误、上下文漂移），多智能体拓扑会将错误传播至系统失效
|
||
- 方法/机制：Hierarchy（层级）、Consensus（共识）、Adversarial Debate（对抗辩论）、Knock-out（淘汰制）
|
||
- 结论/价值：停止将 LLM 视为"魔法聊天机器人"，应视为分布式系统中不可靠组件，需约束、验证、淘汰、挑战
|
||
|
||
## Key Claims
|
||
- LLM 不能被拟人化：它不受生物需求驱动，无法真正"害怕"或"渴望"，仅模拟情感
|
||
- Hierarchy 模式：Supervisor 做计划→分解任务→分配给 Worker→Validator 验证；依赖图强制协作
|
||
- Consensus 模式：3个模型同时独立处理同一任务，选多数票结果；同类幻觉概率从20%降至0.8%
|
||
- Adversarial Debate 模式：一个生成器提议，一个批评者攻击，一个裁判裁决；防止 Sycophancy（阿谀奉承）
|
||
- Knock-out 模式：多个 Agent 执行任务，最差者淘汰；将 LLM 视为"cattle"而非"pet"
|
||
|
||
## Key Quotes
|
||
> "Stop treating LLMs like magic chatbots. Start treating them like unreliable components in a distributed system." — Alex Ewerlöf
|
||
|
||
> "We don't need AI that 'cares.' We need AI that is constrained, verified, pruned, and challenged."
|
||
|
||
## Key Concepts
|
||
- [[Multi Agent Hierarchy]]：层级模式，Supervisor 规划 + Worker 执行 + Validator 验证
|
||
- [[Multi Agent Consensus]]：共识模式，多数投票降低幻觉概率，3个模型相同谎言概率降至0.8%
|
||
- [[Multi Agent Adversarial Debate]]：对抗辩论模式，防止 Sycophancy，真理越辩越明
|
||
- [[Multi Agent Knock out]]：淘汰制模式，适应度函数评估，不合格 Agent 直接淘汰
|
||
- [[LLM-可靠性工程]]：将 SRE 原则应用于 LLM 系统，视 LLM 为不可靠组件
|
||
- [[Sycophancy]]：模型阿谀倾向，用威胁逼迫时可能撒谎以取悦用户
|
||
|
||
## Key Entities
|
||
- [[Alex Ewerlof]]：作者，资深工程师，27年经验，SRE 背景，2023年起专注 LLM
|
||
- [[遗传算法]]：GA，Knock-out 模式借鉴的经典 ML 方法
|
||
|
||
## Connections
|
||
- [[Multi Agent Hierarchy]] ← 人类组织 ← [[Multi-Agent-System-Reliability]]
|
||
- [[Multi Agent Consensus]] ← 民主投票 ← [[Multi-Agent-System-Reliability]]
|
||
- [[Multi Agent Adversarial Debate]] ← 法庭对抗 ← [[Multi-Agent-System-Reliability]]
|
||
- [[Multi Agent Knock out]] ← 适者生存 ← [[Multi-Agent-System-Reliability]]
|
||
- [[LLM]] ← 不可靠组件 ← [[Multi-Agent-System-Reliability]]
|