#Model-Routing

3 posts tagged "model-routing"

24

Part 24 — FDE 面試準備指南（二十四）：RKK 實戰——混合模型路由與語意路由器設計

以系統設計視角拆解 Hybrid Model Routing 架構：Semantic Router 的設計原理、小模型 vs 大模型的路由決策框架、如何用 Eval Pipeline 確保路由器不會犧牲整體品質，以及 Gemma 與 Gemini 的混合部署策略

·17 min aiengineering
38

Part 38 — AI 工程從零開始｜Phase 17 Part 3：AI 成本優化與規模化 — 把每美元壓榨到極限

深入解析 AI 生產成本工程：Token 成本分解、快取策略（Semantic Cache/Prompt Cache）、模型路由、批次推論、Spot GPU 與 FinOps for AI

·23 min aiengineering

多 Agent Token 優化系列 pt.4：模型分層實戰 — 智能路由打造高效低成本系統

多 Agent Token 優化系列 pt.4：深入探索模型分層策略，從任務分類、智能路由到動態選擇，提供完整實作範例，幫助你在保持品質的同時大幅降低 AI 應用成本。

·30 min aitools