Agent 运行后,每次模型调用、工具调用、沙箱命令都能进 trace。Eve 用 OpenTelemetry,可接入现有可观测平台;部署在 Vercel 上时,还能在 Agent Runs 里看会话执行过程。
这回答了 Demo 常忽略的问题:Agent 出错后,怎么知道它当时看了什么、调了什么工具?
instructions、skills、tools 都是仓库里的文件。一次看似无害的修改,也可能改变 Agent 行为。
Eve 提供评测能力:你可以定义带评分标准的测试集,在本地运行,也能接入 CI,把行为回归挡在部署之前。具体命令和配置随版本演进,以你安装版本的文档为准。
把 evals 接进 CI。我建议每次改 instructions 都跑一遍评测。比上线后发现"旧能力退化了"便宜得多。
| 维度 | 没可观测/评测 | 有 Tracing + Evals | 标叔的结论 |
|---|---|---|---|
| 出错复盘 | 靠猜 | 看 trace | 评测赢 |
| 行为回归 | 上线才发现 | CI 挡住 | 评测赢 |
| 接入成本 | 无 | 需写用例 | 平手 |