Vercel 在 X 和官方 changelog 宣布 AI Gateway 支持 Private Inference:企业可把自己的模型端点注册为私有提供商,用 private/<slug> 模型 ID 通过 Chat Completions、Responses 或 Messages 调用,网关自动转换请求格式。私有模型只对本团队可见,凭证加密存储,可按提供商开启零数据保留,并能在 Claude Code、Codex、Cursor 等编程 Agent 中使用,端点故障时可回退到目录模型。

核心要点速览

  • ✓把微调、自托管或预发布模型端点注册为私有提供商,用 private/<slug> ID 调用,切换模型只改 model ID
  • ✓支持 Chat Completions、Responses、Messages 三种 API,网关把请求翻译成端点自身格式
  • ✓私有模型只对本 Vercel 团队可见、不进公开目录,凭证加密存储,可按提供商开启零数据保留
  • ✓可在 Claude Code、Codex、Cursor 等接入 AI Gateway 的编程 Agent 里使用;日志、trace drain 和报表与目录模型合并展示
  • ✓可选端点故障时回退到目录模型;Vercel CLI 65.16.0+ 提供 private-inference providers/models create 命令
Vercel AI Gateway 上线 Private Inference:自托管、微调和预发布模型用 private/ ID 接入,与目录模型共用 API、鉴权和日志
🖼️要闻配图
点击全屏高清查看
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

企业自己微调或自托管的模型,过去要单独管理密钥、客户端代码和日志,和 OpenAI、Anthropic 等目录模型割裂。Vercel 在 X 和官方 changelog 宣布 AI Gateway 上线 Private Inference。

架构亮点与底层机制

在 Private Inference 页面填入端点 base URL、API 格式和凭证即可注册为私有提供商,再添加模型,用 private/<slug> ID 通过 Chat Completions、Responses 或 Messages 调用,网关负责翻译请求格式。私有模型只对本团队可见,凭证加密存储,可按提供商开启零数据保留,端点故障时可回退到目录模型。

权威 Benchmark 与实测跑分对比

这是平台功能更新,官方未公布性能跑分或定价数字,计费细节见 Private Inference 文档。可观测性图表会按私有模型拆分请求数、token 和首 token 时间。

开发者实战落地与开箱指南

用 Vercel CLI 65.16.0 及以上版本可执行 private-inference providers create 和 models create 注册端点;之后在 AI SDK 里把 model 设为 private/ 前缀即可。运行 npx vercel@latest ai-gateway setup 后,Claude Code、Codex 的 /model 里也能直接选私有模型。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Artificial Analysis 发布 Coding Agent Index v2.1:换用 FrontierCode 2.0 与 Terminal-Bench 4.1,Claude Fable 5.2 与 Opus 5.5 以 58 分并列第一,各配置平均降 5 分
立即阅读→