§08 从 Demo 到生产要跨四道坎

§08 从 Demo 到生产要跨四道坎

本章目录

08.1 一句扎心的话

2026 年 5 月。阿里云一篇文说:"Demo 做得挺惊艳,一到生产就翻车。"

我深以为然。

08.2 跨越一:从单次对话到长时任务

你的原型在 Notebook 跑得好好的。

一上线,"分析 100 篇财报出报告",跑 3 分钟超时了。

传统 API 假设几百毫秒返回。Agent 要跑 5-10 分钟。

解法:上 WebSocket 或 SSE,流式推中间结果。会话状态持久化。异步任务队列。

08.3 跨越二:从单 Agent 到多 Agent

一个 Agent 啥都干,上下文爆了,准确率暴跌。

拆多个,新问题来了:怎么通信?谁调度?失败咋办?

解法:同团队用 A2A 通信、MCP 接工具。Agent 数 > 5,必须上正式协同框架。

08.4 跨越三:从本地跑到弹性伸缩

Demo 你一个人用,GPU 闲着无所谓。

上线 1000 人同时跑,GPU 排到天荒地老。半夜没人用还烧钱。

解法:Serverless GPU。按需分配,低谷缩到 0,按调用付费。

某车厂上了函数计算 GPU,算力成本降了约 33%。

08.5 跨越四:从"能跑"到"可观测"

客户说"答得不对"。你打开日志,只有一行 execution completed

完全不知道中间发生了啥。

生产级可观测要三件事:

  • 链路追踪:每步都记(谁调了啥、耗时多少)。
  • 质量评估:建 50-100 测试用例,每次更新自动跑。
  • 成本监控:给每次调用加 Token 预算,单任务限最大步数。

示意图 14:从 Demo 到生产的四道坎

flowchart LR
  C1["单次对话 → 长时任务"] --> C2["单 Agent → 多 Agent"]
  C2 --> C3["本地跑 → 弹性伸缩"]
  C3 --> C4["能跑 → 可观测"]
  style C4 fill:#0ea5a4,stroke:#0f766e,color:#fff

08.6 真实落地数据

谷歌 2026 年报告,调研 3466 位企业决策者:

  • 52% 的生成式 AI 企业,已把 Agent 投产。
  • 88% 的早期采用者,已在至少一个场景拿到正 ROI。
  • 加拿大电信 TELUS,5.7 万员工定期用 Agent,每次互动平均省 40 分钟。
平台能力 自建成本 成熟平台 标叔的结论
长时+流式 改 API 网关 原生支持 小团队别自建
多 Agent 协同 自建注册中心 内置模板 直接用好平台
GPU 弹性 K8s+调度 Serverless 按量省钱
可观测 自建追踪 控制台可视 必须上

核心建议:团队不到 20 人,别在基础设施上造轮子。选覆盖这四点的一站式平台。

§08 讲完"上线"。下一章讲"发动机"——Agentic 循环,Agent 真正的内核。