§07 评估与反馈是 Agent 的质检员
07.1 2026 年 6 月的一份报告
清华大学清新研究团队,发了《2026 智能体安全研究报告》。
80 页。核心一句:Agent 安全,已从模型层,转到运行时系统安全。
07.2 怎么知道它干得好不好
行业用基准打分:
| 基准 | 考啥 | 标叔的结论 |
|---|---|---|
| GAIA | 真实多步问题 | 贴近日常任务 |
| SWE-bench | 修真实代码 bug | 程序员最关心 |
| OSWorld | 操作真实电脑界面 | 能不能点按钮 |
但测试不是一次性的。好系统有反馈环:
跑完自查 → 你打分纠错 → 模型学习改进。
像员工每月复盘。越干越稳。
07.3 安全公式
清华给了一个清醒公式:
Agent Safety = 身份 + 策略 + 工具 + 日志
Agent 不是聊天框。它会发邮件、会转账、会改库。
它的安全边界,远大于"只会聊"的模型。
示意图 12:Agent 安全公式
flowchart LR
S["Agent Safety"] --> I["身份"]
S --> P["策略"]
S --> T["工具"]
S --> L["日志"]
style S fill:#d97706,stroke:#b45309,color:#fff
07.4 七层安全控制
报告提了七层:
- 身份层:独立账号,不长期持你密码。
- 权限层:最小权限,短期可撤销。
- 工具层:工具打风险标签。
- 上下文层:防投毒。
- 记忆层:防记忆污染。
- 沙箱层:操作隔离。
- 审计层:全量日志 + 高风险人工审批。
示意图 13:七层安全控制栈
flowchart TD
1["① 身份层"] --> 2["② 权限层"]
2 --> 3["③ 工具层"]
3 --> 4["④ 上下文层"]
4 --> 5["⑤ 记忆层"]
5 --> 6["⑥ 沙箱层"]
6 --> 7["⑦ 审计层"]
style 7 fill:#0ea5a4,stroke:#0f766e,color:#fff
07.5 给普通人的三条铁律
注意:这三条,我建议你截图保存。
第一,别把银行密码、主账号给"全权限"Agent。宁可每步问你确认。
第二,动真钱、发真邮件前,设一道"人工审批门"。
第三,高风险动作(转账、删库、外发)必须留日志、可撤销。
| 风险等级 | 例子 | 标叔的建议 |
|---|---|---|
| 低风险 | 写周报、查资料 | 可先落地 |
| 中风险 | 外发通知 | 草稿后确认 |
| 高风险 | 转账、删库 | 人工审批必过 |
§07 讲完"质检"。下一章讲"上线"——从 Demo 到生产,要跨四道坎。