https://yennj12.js.org/yennj12_blog_V4/tags/autonomous/Recent content in Autonomous on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 22:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase14-part1-loop-memory-zh/Sun, 21 Jun 2026 22:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase14-part1-loop-memory-zh/大多數人把 AI Agent 當成「會呼叫工具的 ChatBot」， 以為加幾個 function call 就完成了； 真正的 Agent 工程需要持久記憶、確定性狀態機、可觀測的思考迴圈， 差距不在 LLM，在你能不能讓它在第 20 步還知道自己在做什麼。 面試情境： 你是某電商平台的 AI 基礎設施 Lead。PM 要求將現有的「單次 GPT 呼叫客服」升級為「可自主完成退款、查單、更換地址」的 Agent，日均對話量 80K，P99 回應時間需在 8 秒以內。請問你如何設計 Agent 迴圈、記憶系統與上下文管理策略，並說明在 MVP 和 Scale 兩個階段的架構差異？ 一、核心問題：什麼是真正的 AI Agent 單次 LLM 呼叫（stateless call）與真正的 Agent之間有一道本質的鴻溝。 前者每次呼叫都是白紙一張，不知道剛才做了什麼，也不知道任務完成到哪裡；後者具備三個關鍵能力： 自主決策迴圈：在沒有人類介入的情況下，重複「感知→思考→行動→觀察」直到任務完成或確認無法完成。 跨步驟記憶：第 15 個步驟還能記得第 1 個步驟收集的用戶資料，不會重複詢問相同問題。 工具組合能力：可以依情境選擇不同工具，並根據工具回傳結果調整下一步計畫。 為什麼這很難？ LLM 本身是無狀態的（stateless）。每次 API 呼叫都是獨立的 HTTP 請求，沒有跨請求的記憶。Agent 框架必須在應用層解決： 上下文視窗有限：GPT-4o 128K tokens，換算約 96K 中文字。長任務無法全塞。 幻覺累積問題：步驟越多，錯誤累積越嚴重，必須設計檢查點。 成本爆炸：每步驟都傳完整歷史，128K token × $5/1M input = 每步 $0.