#KV Cache
3 posts tagged "kv cache"
14
Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力
從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化
15
Part 15 — FDE 面試準備指南（十五）：RKK 實戰——AI Agent 規模化與 Cache 策略
以系統設計視角拆解 AI Agent 的規模化挑戰：為什麼 LLM 系統的擴展和傳統 Web 不同、三層 Cache 各解決什麼問題、Stateful Agent 怎麼做水平擴展——含完整架構圖與成本估算框架
51
Part 51 — FDE 面試指南 Part 51：百萬級多輪對話的 KV Cache 驅逐機制與記憶體架構優化
深度解析 B2B 長對話 SaaS 系統中 KV Cache 驅逐策略設計，涵蓋 L1 Redis、L2 Vertex AI Context Caching、L3 Firestore Snapshot 三層架構，以及 LRU 結合語義重要性評分的快取壓縮閘道，節省 80% 顯存開銷、帳單砍半的 Staff FDE 級解法。