Vercel Eve 从入门到精通 §10 ← 目录
Part 3 · 进阶实战

§10 Tracing 与 Evals:上线才是真正的开始

10.1 Tracing:出错后能复盘

Agent 运行后,每次模型调用、工具调用、沙箱命令都能进 trace。Eve 用 OpenTelemetry,可接入现有可观测平台;部署在 Vercel 上时,还能在 Agent Runs 里看会话执行过程。

这回答了 Demo 常忽略的问题:Agent 出错后,怎么知道它当时看了什么、调了什么工具?

10.2 Evals:升级前先验证

instructions、skills、tools 都是仓库里的文件。一次看似无害的修改,也可能改变 Agent 行为。

Eve 提供评测能力:你可以定义带评分标准的测试集,在本地运行,也能接入 CI,把行为回归挡在部署之前。具体命令和配置随版本演进,以你安装版本的文档为准。

核心建议

把 evals 接进 CI。我建议每次改 instructions 都跑一遍评测。比上线后发现"旧能力退化了"便宜得多。

维度没可观测/评测有 Tracing + Evals标叔的结论
出错复盘靠猜看 trace评测赢
行为回归上线才发现CI 挡住评测赢
接入成本需写用例平手
→ 能跑、能看、能评测,就差判断了。下一章做总结。