结论
- 大多数配置失败来自 base_url 错、模型名错、模型权限未开或客户端仍指向 OpenAI。
- endpoint 和模型名会变化,应以官方文档为准。
- 先测 curl 或 SDK,再测真实 app/tool 路径。
- 多个工具需要共享路由、日志和预算时,网关更省心。
怎么做
- 在官方 provider 控制台分别创建开发和生产 key。
- 从当前 provider 文档复制兼容 endpoint、model name 和认证格式。
- 跑一个最小 chat 请求,并记录 provider、model、状态、延迟和错误体。
- 把 key 放进服务端环境变量或 secrets manager。
- 面向客户上线前,加入 DeepSeek 或其它 fallback 路线。
推荐路径对比
| 平台 | 免费/额度 | 适合 |
|---|---|---|
| 通义千问 DashScope | 注册额度变化 | 阿里生态、中文、代码和长上下文应用 |
| 智谱 GLM | 注册 tokens 变化 | 国产 GLM 工作流和中文应用 fallback |
| DeepSeek | 核验当前价格 | 低价推理/代码 fallback |
| 硅基流动 | 免费/开源路线变化 | 中国大陆直连多模型实验 |
| OpenLLMAPI | 体验额度变化 | Qwen、GLM、DeepSeek 等统一兼容路由 |
自有平台承接
把 Qwen 和 GLM 放到一个干净 endpoint 后面
官方 provider key 保持服务端安全,再通过一个 OpenAI-compatible 路由统一 fallback、日志和预算。
FAQ
为什么 invalid API key 或 unauthorized?
检查 key 是否属于正确账号/项目、模型是否开通、base_url 是否当前有效,以及 Authorization header 是否正确。
可以用 OpenAI SDK 吗?
provider 支持 compatible mode 时通常可以,但必须显式设置 baseURL/base_url,并单独测试 streaming 或 tool calls。
先选 Qwen 还是 GLM?
按工作负载选:Qwen 适合阿里/DashScope 生态和长上下文测试;GLM 适合国产 GLM 工作流和 fallback 覆盖。
什么时候 OpenLLMAPI 有用?
当你不想每个 app、agent 或队友都管理独立 provider key 和 fallback 规则时。