瑛菲AI网关 v0.3.0 正式发布:三级加权路由,让 AI 流量调度更精细
近日,瑛菲AI网关正式开源发布 v0.3.0 版本。
在 v0.3.0 中,我们聚焦企业级 AI 流量治理中"流量该往哪里走"这一核心命题,重磅推出 按 API-Key / 组织实体(Entity)/ 全局 的三级加权路由能力,并统一升级为全新的 Route Table(路由表) 管理体系。配合 BFE v1.8.4 新增的 mod_ai_route 模块,企业在多模型、多集群、多租户场景下的流量调度将更加灵活、可控。
详情见 https://taou.cn/a/ig2xBr
声明:本文内容由脉脉用户自发贡献,部分内容可能整编自互联网,版权归原作者所有,脉脉不拥有其著作权,亦不承担相应法律责任。如果您发现有涉嫌抄袭的内容,请发邮件至maimai@taou.com,一经查实,将立刻删除涉嫌侵权内容。