§07 评估与反馈是 Agent 的质检员

§07 评估与反馈是 Agent 的质检员

本章目录

07.1 2026 年 6 月的一份报告

清华大学清新研究团队,发了《2026 智能体安全研究报告》。

80 页。核心一句:Agent 安全,已从模型层,转到运行时系统安全。

07.2 怎么知道它干得好不好

行业用基准打分:

基准 考啥 标叔的结论
GAIA 真实多步问题 贴近日常任务
SWE-bench 修真实代码 bug 程序员最关心
OSWorld 操作真实电脑界面 能不能点按钮

但测试不是一次性的。好系统有反馈环

跑完自查 → 你打分纠错 → 模型学习改进。

像员工每月复盘。越干越稳。

07.3 安全公式

清华给了一个清醒公式:

Agent Safety = 身份 + 策略 + 工具 + 日志

Agent 不是聊天框。它会发邮件、会转账、会改库。

它的安全边界,远大于"只会聊"的模型。

示意图 12:Agent 安全公式

flowchart LR
  S["Agent Safety"] --> I["身份"]
  S --> P["策略"]
  S --> T["工具"]
  S --> L["日志"]
  style S fill:#d97706,stroke:#b45309,color:#fff

07.4 七层安全控制

报告提了七层:

  1. 身份层:独立账号,不长期持你密码。
  2. 权限层:最小权限,短期可撤销。
  3. 工具层:工具打风险标签。
  4. 上下文层:防投毒。
  5. 记忆层:防记忆污染。
  6. 沙箱层:操作隔离。
  7. 审计层:全量日志 + 高风险人工审批。

示意图 13:七层安全控制栈

flowchart TD
  1["① 身份层"] --> 2["② 权限层"]
  2 --> 3["③ 工具层"]
  3 --> 4["④ 上下文层"]
  4 --> 5["⑤ 记忆层"]
  5 --> 6["⑥ 沙箱层"]
  6 --> 7["⑦ 审计层"]
  style 7 fill:#0ea5a4,stroke:#0f766e,color:#fff

07.5 给普通人的三条铁律

注意:这三条,我建议你截图保存。

第一,别把银行密码、主账号给"全权限"Agent。宁可每步问你确认。

第二,动真钱、发真邮件前,设一道"人工审批门"。

第三,高风险动作(转账、删库、外发)必须留日志、可撤销。

风险等级 例子 标叔的建议
低风险 写周报、查资料 可先落地
中风险 外发通知 草稿后确认
高风险 转账、删库 人工审批必过

§07 讲完"质检"。下一章讲"上线"——从 Demo 到生产,要跨四道坎。