EdgeOne Makers 从入门到精通
附录

§18 用边缘 AI 模型快速搭建对话型 AI 站点

5天前我点开 deepseek-r1-edge.edgeone.app 试了下,问一句话,答案几乎是秒回。它背后不是"前端调云端大模型",而是边缘节点直达大模型——模型算力下沉到离用户最近的边缘,延迟自然低。这一章讲怎么用 Makers 的「AI 聊天模板」一分钟搭出这种站点。

经验:我测过好几次,普通 AI 应用是"浏览器 → 你的服务器 → 云端大模型",多跳一次就多一份延迟。边缘 AI 是"浏览器 → 边缘节点上的模型",链路短了一大截。对对话这种要流式、要快的交互,体感差别很明显。

18.1 为什么用边缘模型

Makers 免费开放边缘部署 DeepSeek 系列模型,配合「AI 聊天模板」,1 分钟上线,零成本体验毫秒级响应。

对比 云端大模型 边缘 AI 模型
调用方式 需要 API Key 边缘函数内免 Key 免费调用
延迟 多跳,偏高 边缘节点直达,低
架构 传统服务端 完全 Serverless
协议 各厂商不一 兼容 OpenAI API 标准

标叔的结论:边缘模型适合"快、轻、免运维"的对话场景。要复杂推理或私有数据,还是走网关接云端大模型(见 §17)。两条路不冲突,按场景选。

18.2 四步上线

  1. 进模板页 templates/deepseek-r1-edge,点"部署" → Makers 控制台配置项目 → "立即创建"
  2. 创建后自动进入部署流程,可在详情页看构建日志
  3. 部署成功,点项目概览的预览按钮生成预览链接
  4. 打开链接,对话框发任意问题,看流式输出

18.3 边缘函数里怎么调

模板核心是边缘函数。示例路径 /functions/v1/chat/completions/index.js

export async function onRequestPost({ request }) {
  const { content } = await request.json();
  try {
    const response = await AI.chatCompletions({
      model: '@tx/deepseek-ai/deepseek-v3-0324',
      messages: [{ role: 'user', content }],
      stream: true, // 启用流式输出
    });
    // 返回流式响应
  } catch (error) {
    // 错误处理
  }
}

建议:我一般把域名绑成自定义域名(如 www.example.com)。这个函数跑在边缘节点上,直接 AI.chatCompletions 调模型,不需要你自己的 API Key,它就成了可持久调用的 API 地址——预览链接有时效限制,正式用一定要绑域名。

18.4 多提供商容错

接口的调用符合 OpenAI API 标准,意味着你能轻松在不同厂商间切换、复用代码。下面这个类实现多重保障的自动容错:

export class AIService {
  constructor(
    deepseekApiKey: string,
    siliconFlowApiKey: string,
    groqApiKey: string,
    tencentApiKey: string
  ) {
    this.serviceConfigs = [
      { name: 'edgeonemakers', baseURL: 'https://www.example.com/v1', enabled: true, priority: 1 },
      { name: 'tencent', baseURL: 'https://api.lkeap.cloud.tencent.com/v1', model: 'deepseek-v3', enabled: true, priority: 2 },
      { name: 'deepseek', baseURL: 'https://api.deepseek.com/v1', model: 'deepseek-chat', enabled: true, priority: 3 },
    ];
  }
}
优先级 提供商 说明
1 你的边缘域名 最快,免 Key
2 腾讯云大模型 兜底备用
3 DeepSeek 官方 再兜底

标叔的结论:我习惯把边缘模型当主链路、云端模型当兜底,你的对话服务就有了弹性。这也是 Makers 的思路——能力下沉到边缘,控制留在你手里。

下一章,我们深潜模型与智能体的进阶能力——从接自己的厂商 Key,到让 Agent 真正“动手”、把链路看穿。