接入文档
面向制造业的国产大模型统一接入与智能治理网关。本文档说明如何以最小改造成本将业务系统接入统一网关。
1. 概述
一个端点,纳管全部已接入的国产大模型与私有化模型
业务侧只需将 base_url 指向本网关、使用平台下发的 sk-safe- 前缀密钥,即可通过统一接口调用全部已纳管的国产大模型与内网自建模型,无需管理各厂商的账号与凭据。 网关在服务端完成智能路由、故障转移、限流配额、成本核算与全链路审计,业务代码零改造切换底层模型。
2. 获取密钥
密钥由平台管理员在控制台创建并下发
请联系平台管理员,在控制台「密钥与租户」页面为对应业务租户创建 API 密钥。 出于安全考虑,密钥明文仅在创建时显示一次, 平台仅存储其哈希值,无法二次找回;请创建后立即妥善保存(建议存入企业密钥管理系统)。 若密钥遗失或疑似泄露,应立即在控制台吊销并重新创建。
3. OpenAI 兼容调用
标准 Chat Completions 协议,任何 OpenAI 生态 SDK / 框架均可直接使用
向 POST /v1/chat/completions 发起请求,鉴权使用 Authorization: Bearer 请求头。curl 示例:
curl https://your-gateway/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-safe-xxxxxxxxxxxxxxxx" \
-d '{
"model": "deepseek-chat",
"messages": [
{ "role": "user", "content": "总结一下本周产线设备的报警日志要点" }
]
}'Python(openai 官方 SDK)示例,仅需替换 base_url:
from openai import OpenAI
# base_url 指向网关的 /v1,其余用法与官方 SDK 完全一致
client = OpenAI(
base_url="https://your-gateway/v1",
api_key="sk-safe-xxxxxxxxxxxxxxxx",
)
resp = client.chat.completions.create(
model="deepseek-chat",
messages=[{"role": "user", "content": "生成一份注塑车间设备巡检要点清单"}],
)
print(resp.choices[0].message.content)4. Anthropic 兼容调用 / Claude Code 直连
网关同时暴露 Anthropic Messages 协议端点,自动完成协议适配
向 POST /v1/messages 发起请求,鉴权使用 x-api-key 请求头,并携带 anthropic-version: 2023-06-01:
curl https://your-gateway/v1/messages \
-H "Content-Type: application/json" \
-H "x-api-key: sk-safe-xxxxxxxxxxxxxxxx" \
-H "anthropic-version: 2023-06-01" \
-d '{
"model": "glm-4.6",
"max_tokens": 1024,
"messages": [
{ "role": "user", "content": "分析这段设备振动数据的异常趋势" }
]
}'Claude Code 等 Anthropic 生态工具可直接将上游指向本网关,仅需设置两个环境变量:
# 将 Claude Code 的上游指向本网关,即可直连已纳管的国产模型
export ANTHROPIC_BASE_URL=https://your-gateway
export ANTHROPIC_AUTH_TOKEN=sk-safe-xxxxxxxxxxxxxxxx
claude网关会自动将 Anthropic Messages 协议适配为 OpenAI 兼容协议后转发至国产模型上游, 工具调用、流式输出等能力按上游模型的实际支持情况透传,业务侧无需感知底层差异。
5. 可用模型
以下为平台当前注册的全部模型;实际可调用范围以密钥的模型白名单为准
| 模型 ID | 名称 | 供应商 | 类别 |
|---|---|---|---|
| deepseek-chat | DeepSeek-V3 通用对话 | DeepSeek 深度求索 | 国产云 |
| deepseek-reasoner | DeepSeek-R1 推理 | DeepSeek 深度求索 | 国产云 |
| glm-4.6 | GLM-4.6 旗舰 | 智谱 GLM | 国产云 |
| glm-4.5-air | GLM-4.5-Air 轻量 | 智谱 GLM | 国产云 |
| glm-4-plus | GLM-4-Plus | 智谱 GLM | 国产云 |
| embedding-3 | GLM Embedding-3 | 智谱 GLM | 国产云 |
| kimi-k2-0905-preview | Kimi K2 | 月之暗面 Kimi | 国产云 |
| moonshot-v1-128k | Moonshot 128K 长文本 | 月之暗面 Kimi | 国产云 |
| qwen-max | Qwen-Max 旗舰 | 阿里通义千问 | 国产云 |
| qwen-plus | Qwen-Plus 均衡 | 阿里通义千问 | 国产云 |
| qwen-turbo | Qwen-Turbo 高速 | 阿里通义千问 | 国产云 |
| text-embedding-v3 | 通义 Embedding-v3 | 阿里通义千问 | 国产云 |
| doubao-pro | 豆包 Pro | 字节豆包 | 国产云 |
| doubao-seed | 豆包 Seed | 字节豆包 | 国产云 |
| hunyuan-turbo | 混元 Turbo | 腾讯混元 | 国产云 |
| MiniMax-M1 | MiniMax-M1 | MiniMax | 国产云 |
| step-2-16k | Step-2 | 阶跃星辰 | 国产云 |
| 4.0Ultra | 星火 4.0 Ultra | 讯飞星火 | 国产云 |
| ernie-4.5-turbo-128k | 文心 4.5 Turbo | 百度文心 | 国产云 |
| ernie-4.0-8k | 文心 4.0 | 百度文心 | 国产云 |
| Baichuan4-Turbo | 百川4-Turbo | 百川智能 | 国产云 |
| yi-lightning | Yi-Lightning | 零一万物 Yi | 国产云 |
| yi-large | Yi-Large | 零一万物 Yi | 国产云 |
| SenseChat-5 | 商汤 SenseChat-5 | 商汤日日新 | 国产云 |
| SkyChat-3.0 | 天工 SkyChat-3.0 | 昆仑天工 | 国产云 |
| shanhai-turbo | 山海 Turbo | 云知声山海 | 国产云 |
| minicpm-4 | MiniCPM-4 | 面壁 MiniCPM | 国产云 |
| 360gpt-pro | 360智脑 Pro | 360 智脑 | 国产云 |
| gpt-4o | GPT-4o 旗舰 | OpenAI | 国产云 |
| gpt-4o-mini | GPT-4o mini 低成本 | OpenAI | 国产云 |
| o3 | o3 推理 | OpenAI | 国产云 |
| o4-mini | o4-mini 推理轻量 | OpenAI | 国产云 |
| text-embedding-3-large | Embedding-3-large | OpenAI | 国产云 |
| qwen2.5-72b-instruct | Qwen2.5-72B(自建) | 内网 vLLM | 私有化 |
| deepseek-r1-distill-32b | DeepSeek-R1-Distill-32B(自建) | 内网 vLLM | 私有化 |
| llama-3.3-70b-instruct | Llama-3.3-70B(自建) | 内网 vLLM | 私有化 |
| chatglm3-6b | ChatGLM3-6B(自建) | 内网 vLLM | 私有化 |
| qwen2.5-32b-instruct | Qwen2.5-32B(Xinference) | 内网 Xinference | 私有化 |
| qwen2.5:14b | Qwen2.5-14B(边缘) | 内网 Ollama | 私有化 |
6. 流式输出
SSE 流式返回,降低首字延迟
在请求体中加入 "stream": true,网关即以 Server-Sent Events(SSE)形式逐段返回内容,OpenAI 与 Anthropic 两种协议端点均支持。
{
"model": "deepseek-chat",
"stream": true,
"messages": [
{ "role": "user", "content": "逐条解读这份工艺变更单" }
]
}7. 私有化部署
全栈可离网自建,数据不出厂
平台支持将厂内 GPU 集群部署的 vLLM 服务与产线边缘侧的 Ollama 服务统一纳管, 与云端国产模型共用同一套鉴权、路由与审计体系。所有上游凭据经 AES-256-GCM 加密后落库, 明文密钥不出服务端。整套网关可在内网完全离网自建运行,满足信创与数据不出厂的合规要求。 私有化部署方案请联系平台管理员评估。