§08 从 Demo 到生产要跨四道坎
本章目录
08.1 一句扎心的话
2026 年 5 月。阿里云一篇文说:"Demo 做得挺惊艳,一到生产就翻车。"
我深以为然。
08.2 跨越一:从单次对话到长时任务
你的原型在 Notebook 跑得好好的。
一上线,"分析 100 篇财报出报告",跑 3 分钟超时了。
传统 API 假设几百毫秒返回。Agent 要跑 5-10 分钟。
解法:上 WebSocket 或 SSE,流式推中间结果。会话状态持久化。异步任务队列。
08.3 跨越二:从单 Agent 到多 Agent
一个 Agent 啥都干,上下文爆了,准确率暴跌。
拆多个,新问题来了:怎么通信?谁调度?失败咋办?
解法:同团队用 A2A 通信、MCP 接工具。Agent 数 > 5,必须上正式协同框架。
08.4 跨越三:从本地跑到弹性伸缩
Demo 你一个人用,GPU 闲着无所谓。
上线 1000 人同时跑,GPU 排到天荒地老。半夜没人用还烧钱。
解法:Serverless GPU。按需分配,低谷缩到 0,按调用付费。
某车厂上了函数计算 GPU,算力成本降了约 33%。
08.5 跨越四:从"能跑"到"可观测"
客户说"答得不对"。你打开日志,只有一行 execution completed。
完全不知道中间发生了啥。
生产级可观测要三件事:
- 链路追踪:每步都记(谁调了啥、耗时多少)。
- 质量评估:建 50-100 测试用例,每次更新自动跑。
- 成本监控:给每次调用加 Token 预算,单任务限最大步数。
示意图 14:从 Demo 到生产的四道坎
flowchart LR
C1["单次对话 → 长时任务"] --> C2["单 Agent → 多 Agent"]
C2 --> C3["本地跑 → 弹性伸缩"]
C3 --> C4["能跑 → 可观测"]
style C4 fill:#0ea5a4,stroke:#0f766e,color:#fff
08.6 真实落地数据
谷歌 2026 年报告,调研 3466 位企业决策者:
- 52% 的生成式 AI 企业,已把 Agent 投产。
- 88% 的早期采用者,已在至少一个场景拿到正 ROI。
- 加拿大电信 TELUS,5.7 万员工定期用 Agent,每次互动平均省 40 分钟。
| 平台能力 | 自建成本 | 成熟平台 | 标叔的结论 |
|---|---|---|---|
| 长时+流式 | 改 API 网关 | 原生支持 | 小团队别自建 |
| 多 Agent 协同 | 自建注册中心 | 内置模板 | 直接用好平台 |
| GPU 弹性 | K8s+调度 | Serverless | 按量省钱 |
| 可观测 | 自建追踪 | 控制台可视 | 必须上 |
核心建议:团队不到 20 人,别在基础设施上造轮子。选覆盖这四点的一站式平台。
§08 讲完"上线"。下一章讲"发动机"——Agentic 循环,Agent 真正的内核。