多 LLM 供应商接入
支持 DeepSeek、Qwen/Zhipu、Mock 等多个 LLM 供应商,代理级别配置供应商和模型参数。
不同代理可使用不同 LLM,根据任务特点选择最合适的模型,平衡效果和成本。
1) 代理级别供应商配置:每个代理独立配置 LLM 供应商、模型名称、温度参数等。
2) 灵活切换:随时切换代理的 LLM 供应商,无需重新部署,即时生效。
3) Mock 模式:开发和测试时可使用 Mock LLM,不消耗真实 Token,降低开发成本。
4) 供应商健康检查:自动检测 LLM 供应商可用性,故障时自动切换到备用供应商。