4 层智能路由架构
不是简单的「自动选模型」,而是一套实时学习、对战校准、级联省钱的完整调度算法
Capability-aware 能力匹配
按 80 个 specialty 标签 + 难度等级匹配:代码题给 Claude / 数学给 o1 / 中文长文给 Qwen,精准到子能力维度
Bandit 在线学习
Thompson Sampling 实时学习「哪个 model 对哪类问题表现好」,带 cost penalty。每条用户反馈反喂权重,系统越跑越准
ELO 对战校准
周更黄金 prompt 集 K=24 ELO 评分,持续校准模型相对实力。新模型上线自动 swiss-pair 对战,数据驱动定档
Cascade 级联省钱
先试便宜档,信心 ≥ 0.7 直接返;不够再升级到下一档。比死命走 GPT-4 平均省 30-50% token,质量不降
3 档计费,各有定位
完全去订阅化,按用量付费,无月费 / 无最低消费
nexevo/fast
扁平价入门档,适合简单问答 / 摘要 / 大批量处理
- 等价 GPT-4o-mini / Claude Haiku 级别
- 智能路由全 4 层启用
- 适合 ~5000 次/$5
nexevo/balanced
扁平价旗舰档,智能路由全启,适合通用场景与多数用户
- 智能路由跨 GPT-4o / Claude Sonnet / DeepSeek-R1
- Cascade 自动省 30-50%
- RAG / Function calling / 长上下文均支持
- Cache 命中按 25% × (1+服务费) 计费
Passthrough
用具体 model_id 调,上游真实成本透明可对账,$5k/月+ 商务谈折扣
- 39+ 模型任意指定
- BYOK 模式仅 5% 固定服务费
- 财务对账方便,看得见上游成本
新用户注册立得 $5 体验金,无需信用卡
完整能力栈
100+ 上游模型 · 23+ 厂商
OpenAI / Anthropic / Google / DeepSeek / Qwen / Moonshot / Zhipu / MiniMax / Wan / Seedance 等 23 家厂商旗下 100+ 模型变体,一站接入
BYOK 自带 Key
用自己的 OpenAI / Anthropic key 走我们网关,只收 5% 固定服务费,主账户余额不消耗,享同款智能路由
多区域部署
HK 主网关 + 深圳 cn-shenzhen 代理(VPC 内网),国内访问国内 model 走深圳,境外调海外 model 走 HK,延迟 < 50ms
成本最优
Cascade 路由先试便宜档,Cache 命中按 25% × (1+fee) 计费,大陆模型走大陆端点价格更低,综合省 40-60% 成本
企业级合规
Stripe + 加密货币双支付通道,2FA + 多管理员 RBAC,全量审计链(hash chain),PII 自动脱敏 + 数据飞轮 opt-in
实时观测
每条请求的 trace + cost + cache hit + 路由决策 + 评分都进监控;Prometheus / Grafana 集成,SLA 99.9%
知识库 + RAG
用户级 Knowledge store(per-tenant 私有),客服级 KB(共享 + 客户对话晋升),智能路由 RAG 一体化
在线客服
全站浮动聊天气球,RAG 私有语料库实时回答 + 一键转人工 + 客服评分,数据飞轮自动累积成训练样本
灵活计费
无月费 / 无最低消费 / 按 token 付。充值送 10-25% bonus,自动充值,月度账单 PDF,API key 子额度限额一应俱全
一行代码迁移
100% OpenAI 兼容 — 现有 OpenAI SDK / LangChain / LlamaIndex 应用改 base_url 一行接入,无需重写
from openai import OpenAI
client = OpenAI(
api_key="nexevo-sk-xxx", # /dashboard/keys 创建
base_url="https://api.nexevo.ai/v1", # ← 改这一行
)
response = client.chat.completions.create(
model="nexevo/balanced", # 推荐档,扁平价 $5/$20 per 1M
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)TypeScript SDK (@nexevo/sdk) + Python SDK (nexevo-ai) 也提供;curl / 任意 OpenAI 兼容客户端均可
对比直调上游 API
你为什么应该用 Nexevo.ai 而不是直接调 OpenAI / Claude
| 维度 | 直调上游 | Nexevo.ai |
|---|---|---|
| API key 管理 | 每家厂商各自一个,挨家注册 / 充值 / 维护 | 1 个 key 通 39+ 家,一张账单 |
| 模型选择 | 手工挑,死命走 GPT-4 多花钱 | 智能路由自动按难度选,平均省 30-50% |
| 国内访问 | 国外 API 跨境慢/不稳 | 深圳 proxy_cn 路由,延迟 < 50ms |
| 团队管理 | API key 无子账户,失控难管控 | Per-key 子额度 / IP 白名单 / 月度上限 / 多管理员 RBAC |
| 财务对账 | N 家发票分别报销 | 月度账单 PDF + 审计链,一份对账 |
| 故障容错 | 上游挂了你应用就挂 | 自动 fallback 到等级相近模型 + Circuit Breaker |
5 秒注册,立得 $5 体验金
无需信用卡,适合 ~5000 次 GPT-4o-mini 简单问答或 ~50 张 DALL-E 3 图片
无月费 · 无最低消费 · 不用就不花钱