https://yennj12.js.org/yennj12_blog_V4/tags/rollback/Recent content in Rollback on YennJ12 Engineering BlogHugo -- gohugo.ioen-usFri, 05 Jun 2026 16:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part38-prototype-to-production-zh/Fri, 05 Jun 2026 16:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part38-prototype-to-production-zh/同一個 Agent，Demo 時跑得很好。 上了生產後成本是預估的 8 倍、偶爾 15 秒、有時候對話記憶消失。 「能 Demo」和「可以讓 1,000 個用戶每天用」之間的距離， 就是生產化工程的價值。 面試情境 面試官：「你幫客戶做了一個 3 週的 RAG + Agent POC，Demo 很成功。客戶的 CTO 說：太好了，下個月上線。你說：先等一下，我們需要做幾件事。你會說什麼？」 一、POC 和 Production 的假設差距 POC 的隱性假設： 假設 1：只有你在用（實際：100 個並發） 假設 2：測試資料乾淨（實際：用戶會貼整份合約進來） 假設 3：成本不計較（實際：月底看帳單） 假設 4：出錯了就 debug（實際：1 小時內要給客戶答覆） 假設 5：你挑了最好的 Demo 例子（實際：Murphy's Law） 五個 POC 到 Production 的差距： 差距 1：Token Budget → 成本是預估的 8 倍 差距 2：延遲 SLA → Cold Start 讓 P95 超過 SLA 差距 3：Session State → 重啟後對話記憶消失 差距 4：錯誤處理 → 外部 API Timeout 讓 Agent crash 差距 5：Rollback → Prompt 改錯了沒辦法快速回頭 以下逐一拆解每個差距的成因和設計。 二、差距 1：Token Budget 失控 失控路徑： POC 測試：平均 2,000 input tokens，成本可接受。 ↓ Production 現實： 情況 A：用戶貼了整份合約 input_tokens = 20,000（是預估的 10 倍） 情況 B：Multi-turn 對話 history 累積 第 1 輪：2,000 tokens 第 5 輪：2,000 + (4輪 × 800) = 5,200 tokens 第 15 輪：2,000 + (14輪 × 800) = 13,200 tokens 情況 C：ReAct loop 多跑幾輪 正常：2 輪 Tool Call = 2,000 × 2 = 4,000 tokens 異常：6 輪 Tool Call（遇到困難問題）= 2,000 × 6 = 12,000 tokens Token Budget 設計： ┌─────────────────────────────────────────────────────────────┐ │ 總 Budget：8,000 tokens（可配置） │ │ │ │ ├── System Prompt（固定）：-1,200 tokens │ │ │ （如果 > 1,000 tokens，考慮 Context Caching） │ │ │ │ │ ├── User Query：-actual tokens（優先保留） │ │ │ │ │ ├── Conversation History（最多 30% 剩餘 budget） │ │ │ 超過部分：從最舊的輪次開始截斷 │ │ │ 如果整體 > 10 輪：先壓縮成 Summary │ │ │ │ │ └── Retrieved Context（剩餘 budget） │ │ 按相關性排序，直到 budget 用完 │ └─────────────────────────────────────────────────────────────┘ 成本效益： 無 Budget 管理：預估 $0.