一套 API 统一接入国产大模型与私有化模型,内置智能路由、故障转移、限流配额、成本核算与全链路审计,支撑制造业 AI 服务的规模化、可信化落地。
# 只需把 base_url 指向网关,用平台下发的密钥
export ANTHROPIC_BASE_URL="https://gateway.your-corp.cn"
export ANTHROPIC_AUTH_TOKEN="sk-safe-••••••••"
# OpenAI 兼容同理
curl https://gateway.your-corp.cn/v1/chat/completions \
-H "Authorization: Bearer sk-safe-••••••••" \
-d '{"model":"deepseek-chat","messages":[{"role":"user","content":"你好"}]}'把分散在各业务方的模型调用统一到一个可管、可控、可审计的网关之上。
一个 OpenAI / Anthropic 兼容端点纳管多家国产大模型与内网自建模型,业务侧零改造切换。
按优先级 + 权重的智能路由,秒级故障转移、探活自愈、429 冷却,保障高可用。
分组鉴权、限流配额、模型白名单、成本预算与全链路审计,AI 用量看得见、管得住。
全栈可离网自建,凭据 AES-256-GCM 加密存储,支持内网 vLLM / Ollama 纳管,数据不出厂。
多供应商统一编排,秒级智能切换;敏感场景可强制走内网自建模型,数据不出厂。
网关是底座,治理在中间层收口,模型层可自由替换与扩展。
POST /v1/messages stream=true
├─ auth HMAC-SHA256 校验 ✓ → 租户 quality-center · 消费组 quality
├─ guard 模型白名单 ✓ · 限流 41/300 rpm ✓ · 日限 ¥200.00 已用 ¥16.48 ✓
├─ route priority=100 组内权重随机 → deepseek-主线 (weight 3, conc 12/100)
├─ transform anthropic → openai · modelMap: deepseek-reasoner
├─ upstream 200 OK · first-token 412ms
│ └─ 若 429/5xx:冷却标记 → 次优先级组故障转移(≤4 跳,预算 90s)
└─ settle in 1,204 + out 638 tok → ¥0.021432 → usage_log 落库 · 审计留痕每个场景对应一组消费组 + 推荐模型 + 治理策略,价值直达产线与研发。
把工艺规程、设备手册、SOP、质量标准接入检索增强问答,一线工程师用自然语言即可定位工艺参数与处置措施。
对缺陷描述、检测报告做结构化归类与根因初判,辅助质检员快速定级、生成整改建议。
为研发与工艺仿真团队提供代码补全、脚本生成、PLC/上位机逻辑辅助,统一收口到网关便于成本与合规管控。
对排产计划、库存、供应商交付数据做辅助分析与异常解读,输出可解释的调度建议。
结合设备手册、维保记录与报警代码,辅助运维人员快速定位故障原因、给出检修步骤与备件建议,逐步沉淀设备健康档案。
把老师傅经验、异常处置记录、班组交接沉淀为可检索的企业知识资产,降低人员流动带来的能力流失。