https://yennj12.js.org/yennj12_blog_V4/tags/contextcaching/Recent content in ContextCaching on YennJ12 Engineering BlogHugo -- gohugo.ioen-usMon, 08 Jun 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part44-hybrid-context-rag-zh/Mon, 08 Jun 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part44-hybrid-context-rag-zh/大多數工程師看到 200 萬 Token 的 Context Window，第一反應是：「RAG 已死，直接塞文件就好。」 正確答案是：長文本是一把昂貴的瑞士刀，不是所有任務都值得用它。 優秀的 FDE 設計的不是「選長文本還是 RAG」， 而是一個能在 Runtime 動態決策的混合路由器，把 80% 的查詢成本降低 2500 倍。 面試情境 你的客戶是一家擁有 50,000 名財務分析師的大型投資銀行。他們剛取得了 Gemini 的 200 萬 Token Context Window 存取權，興奮地計劃把整年的財務報表（約 100 萬 Token/份）直接塞給 LLM。當系統上線第一週，並發查詢量衝到 50,000 QPS，P99 延遲爆到 35 秒，TPU Cluster 飽和，成本在 72 小時內燒掉了月度預算。你被緊急召入，如何設計一個「動態混合路由器（Dynamic Hybrid Router）」來同時解決成本、延遲和吞吐量三個問題？ 一、核心問題：為什麼 200 萬 Token 不是銀彈 1.1 長文本的物理限制 200 萬 Token 的 Context Window 是工程奇蹟，但它的成本結構決定了它無法成為通用方案。 關鍵成本不對稱性： 1M Token 長文本請求（Gemini Pro）： 輸入成本：$2.50 / 1M tokens 每次請求輸入：1,000,000 tokens 單次請求成本：$2.