https://yennj12.js.org/yennj12_blog_V4/tags/semantic-cache/Recent content in Semantic Cache on YennJ12 Engineering BlogHugo -- gohugo.ioen-usWed, 03 Jun 2026 14:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part15-scale-cache-zh/Wed, 03 Jun 2026 14:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part15-scale-cache-zh/把 Agent 從 1 個用戶擴展到 10 萬個用戶， 傳統 Web 的直覺在這裡會讓你踩坑。 LLM 系統的瓶頸不在 CPU，而在 token 計算成本 和 推理延遲。 一、核心問題：LLM 系統的規模化為什麼不一樣 傳統 Web 服務的規模化直覺： 流量增加 → 多加幾台 server → 問題解決 成本模型：主要是 infra 成本，基本線性 LLM 系統的規模化現實： 流量增加 → 每個請求都要花錢叫 LLM API 成本模型：token 按量計費，和傳統 infra 的成本結構完全不同 10K req/day × avg 3,000 tokens × $0.002/1K tokens = $60/day = $1,800/month 100K req/day = $18,000/month 1M req/day = $180,000/month ← 沒有 cache，就是這個數字 三個讓 LLM 系統難以規模化的特性：