自动模型路由
一个订阅,多个模型。任务通过提示前缀选择其模型:推理走强模型,快速路径走快模型,视觉走视觉模型。
请求是如何被路由的
// src/openhuman/providers/router.rs
fn resolve(&self, model: &str) -> (usize, String) {
if let Some(hint) = model.strip_prefix("hint:") {
if let Some((idx, resolved_model)) = self.routes.get(hint) {
return (*idx, resolved_model.clone());
}
}
(self.default_index, model.to_string())
}常见提示
提示
典型目标
使用场景
单一订阅
覆盖路由
按代理固定模型
为什么这不只是“模型切换器”
另见
最后更新于