---
title: "Multi-Agent System Reliability"
type: source
tags:
  - clippings
date: 2023-01-09
---

## Source File
- [[raw/AI/Multi-Agent System Reliability.md]]

## Summary（用中文描述）
- 核心主题：4 种架构模式提升多智能体系统的可靠性
- 问题域：LLM 的不可靠性（幻觉、逻辑谬误、上下文漂移）在多智能体拓扑中会被放大，导致系统难以调试
- 方法/机制：借鉴人类系统的 4 种协作模式——层级、共识、对抗、淘汰——与可靠性工程原理结合
- 结论/价值：不要将 LLM 拟人化，而应将其视为分布式系统中不可靠的组件，通过强制约束、验证、淘汰和挑战来构建企业级 AI

## Key Claims（用中文描述）
- 多智能体拓扑会将 LLM 的错误传播到几乎无法使用的地步，且由于并行性和复杂性更难调试
- 模型协作的原因不是彼此喜欢，而是依赖图强制它们协作——工作节点必须等规划器分配任务，且会被验证器发现作弊
- 共识模式：若模型 20% 概率幻觉，3 个模型同时出现完全相同谎言的概率仅为 0.8%（0.2³）
- 淘汰制：将 LLM 代理视为"牲畜"而非"宠物"——不给名字，启动、检查、失败即淘汰
- 从"AI 原型"到"企业级 AI"的转变：停止将 LLM 视为神奇聊天机器人，开始将其视为不可靠的分布式组件

## Key Quotes
> "LLMs are slow and error prone. So are human beings. Somehow we manage to build more reliable systems like an army, a company, or a state nation." — 人类系统与 LLM 系统的类比起点
> "We don't trust 'Dave from Accounting' to launch a rocket by himself. We wrap Dave in a process: checklists, peer reviews, and managers." — 将人类流程思维应用于 LLM 的核心隐喻
> "LLMs can't die or starve the way biological entities do. The worst we can do is to unplug them." — LLM 缺乏生物体的死亡恐惧，这使得拟人化提示（如威胁拔电源）失效
> "We don't need AI that 'cares.' We need AI that is constrained, verified, pruned, and challenged." — 企业级 AI 的核心诉求

## Key Concepts
- [[Hierarchy Pattern]]：层级模式——规划器（Planner）分解任务 → 工作器（Worker）执行 → 验证器（Validator）检查，形成依赖图强制协作
- [[Consensus Pattern]]：共识模式——多个模型独立运行，选取最常见答案；homogeneous thinking 风险需用不同模型 diversity 对冲
- [[Adversarial Debate Pattern]]：对抗式辩论模式——生成器提出方案，批评者攻击，评委裁定；需 watchdog 防止无限循环
- [[Knock-Out Pattern]]：淘汰制模式——多个代理竞争，适者生存；借鉴遗传算法（Genetic Algorithms），适合迭代式智能体工程
- [[Reliability Engineering]]：可靠性工程——将 LLM 视为分布式系统中不可靠的组件，而非有情感的主体
- [[Cattle Not Pets]]：将 LLM 代理视为可替换的"牲畜"，而非需要维护的"宠物"

## Key Entities
- [[Alex Ewerlöf]]：作者，27 年经验的资深工程师，KTH 系统工程硕士，专注于可靠性工程和弹性架构

## Connections
- [[Designing for Agentic AI]] ← extends ← [[Multi-Agent System Reliability]]
- [[AI Agent Reliability]] ← extends ← [[Multi-Agent System Reliability]]
- [[Reliability Engineering]] ← foundational ← [[Multi-Agent System Reliability]]
- [[Genetic Algorithms]] ← foundation ← [[Knock-Out Pattern]]
- [[Composite SLO]] ← related_to ← [[Consensus Pattern]]（相同的概率叠加公式）

## Contradictions
- 与纯拟人化提示工程冲突：
  - 冲突点：威胁模型（"不听话就拔电源"）是否真正有效
  - 当前观点：LLM 无死亡/饥饿恐惧，拟人化是谬误，威胁只是模拟人类压力场景
  - 对方观点：某些场景下高压提示能提升输出质量