Vercel 在 X 和官方 changelog 宣布 AI Gateway 支持 Private Inference:企业可把自己的模型端点注册为私有提供商,用 private/<slug> 模型 ID 通过 Chat Completions、Responses 或 Messages 调用,网关自动转换请求格式。私有模型只对本团队可见,凭证加密存储,可按提供商开启零数据保留,并能在 Claude Code、Codex、Cursor 等编程 Agent 中使用,端点故障时可回退到目录模型。
核心要点速览
- ✓把微调、自托管或预发布模型端点注册为私有提供商,用 private/<slug> ID 调用,切换模型只改 model ID
- ✓支持 Chat Completions、Responses、Messages 三种 API,网关把请求翻译成端点自身格式
- ✓私有模型只对本 Vercel 团队可见、不进公开目录,凭证加密存储,可按提供商开启零数据保留
- ✓可在 Claude Code、Codex、Cursor 等接入 AI Gateway 的编程 Agent 里使用;日志、trace drain 和报表与目录模型合并展示
- ✓可选端点故障时回退到目录模型;Vercel CLI 65.16.0+ 提供 private-inference providers/models create 命令

开发者 3 秒速决决策指标
本地显存不够?先比较云端 API 与自部署的实际成本
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
企业自己微调或自托管的模型,过去要单独管理密钥、客户端代码和日志,和 OpenAI、Anthropic 等目录模型割裂。Vercel 在 X 和官方 changelog 宣布 AI Gateway 上线 Private Inference。
架构亮点与底层机制
在 Private Inference 页面填入端点 base URL、API 格式和凭证即可注册为私有提供商,再添加模型,用 private/<slug> ID 通过 Chat Completions、Responses 或 Messages 调用,网关负责翻译请求格式。私有模型只对本团队可见,凭证加密存储,可按提供商开启零数据保留,端点故障时可回退到目录模型。
权威 Benchmark 与实测跑分对比
这是平台功能更新,官方未公布性能跑分或定价数字,计费细节见 Private Inference 文档。可观测性图表会按私有模型拆分请求数、token 和首 token 时间。
开发者实战落地与开箱指南
用 Vercel CLI 65.16.0 及以上版本可执行 private-inference providers create 和 models create 注册端点;之后在 AI SDK 里把 model 设为 private/ 前缀即可。运行 npx vercel@latest ai-gateway setup 后,Claude Code、Codex 的 /model 里也能直接选私有模型。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察