Engineering
214 posts in engineering
Part 42 — AI 工程從零開始｜Phase 19 Part 2：Capstone — 生產級 AI Agent 產品端對端實作
端對端構建生產級 AI Agent 產品：從架構設計到上線，涵蓋 ReAct 迴圈、工具整合、記憶系統、Guardrails、可觀測性與商業指標追蹤
Part 42 — FDE 面試準備指南（四十二）：RKK 實戰——顧問技能：從「要 AI」到 POC 範圍定義的 Discovery 框架
以顧問視角拆解 FDE 的核心軟技能：三個顧問參與階段（Discovery → Technical Assessment → POC Proposal）、利害關係人影響力地圖、需求挖掘五個核心問題、POC 場景評分矩陣、Value Story 框架、常見客戶異議處理，以及 Why X not Y 的顧問方法論選型決策
Part 43 — AI 工程從零開始｜Phase 19 Part 3：Capstone — 多模態 AI 應用端對端實作與系列總結
端對端構建多模態 AI 應用：圖文理解、語音介面、文件分析三合一系統的架構設計、模態融合策略、延遲優化與系列學習路線總結
Part 43 — FDE 面試指南 Part 43：跨國電商百萬級購物車 Agent 的分散式動態權限與狀態回復
深度剖析黑五大促銷期間 200 萬在線用戶購物車 Agent 的異步架構設計：GKE Autopilot + KEDA + Cloud Pub/Sub 彈性伸縮、Cloud Spanner 強一致性 Checkpointer、LangGraph StateGraph 精確一次冪等恢復，以及多租戶隔離與流量整形策略。
Part 44 — FDE 面試準備指南（四十四）：RKK 實戰——長文本 LLM 與 RAG 動態混合路由架構設計
深度拆解長文本 LLM（200 萬 Token 上下文）與傳統 RAG 的動態混合架構：為什麼超大 Context Window 仍需 RAG、如何設計智能上下文管理器（Dynamic Hybrid Router）、Vertex AI Context Caching Registry 快取策略、成本矩陣（$2.50 vs $0.001）、降級策略、RRF 融合機制，以及 Staff 級 FDE 面試的完整答題框架
Part 45 — FDE 面試指南 Part 45：Agent 工具鏈的間接提示詞注入防禦設計
深度解析間接提示詞注入（Indirect Prompt Injection）在 Agent 工具鏈的防禦架構，涵蓋雙模型特權分離、Cloud Run VPC 沙盒隔離、Pydantic Schema 強型別校驗，適合 Staff FDE 面試備考。
Part 46 — FDE 面試指南 Part 46：高規格金融業的數據無痕化與自主密鑰管理（BYOK / CMEK in GenAI）
深度剖析金融業在 Vertex AI 場景下導入 BYOK/CMEK 的完整架構：Cloud KMS + Cloud EKM 信封加密、DEK/KEK 職責分離、Dedicated Interconnect 專線優化、HSM 合規到 Memory Enclave 記憶體保護，兼顧主權資安與 <50ms 極限性能。
Part 47 — FDE 面試準備指南（四十七）：RKK 實戰——大模型與地端微型模型的智慧混合路由與冷啟動優化
深度拆解 Edge/On-Premise 小模型與雲端大模型的雙軌路由架構：基於 Token 概率熵值的早停路由（Early-Exit Confidence Routing）、vLLM logprobs API 整合、PII 強制本地路由、冷啟動優化策略，以及三個演進階段的完整系統設計
Part 48 — FDE 面試指南 Part 48：高可靠性 Agent Graph 的多重工具 Fallback 與自我修復機制
深入解析如何在 LangGraph 中設計 Compiler-Validator Pattern，透過 Pydantic 強型別校驗、Critic Agent 反思重寫、Circuit Breaker 與 Human-in-the-loop，打造能自我修復的高可靠性供應鏈 Agent 架構。
Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線
深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。
Part 50 — FDE 面試指南 Part 50：生產環境 GenAI 自動化評估管線與 LLM-as-a-Judge 漂移監控
深度解析如何在生產環境中建立多階抽樣的 LLM 自動化評估管線，涵蓋分層抽樣、RAG 三元組評估、位置偏見消除、Drift Alert 設計，以及 95% 成本控制策略。Staff FDE 級別實戰解答。
Part 51 — FDE 面試指南 Part 51：百萬級多輪對話的 KV Cache 驅逐機制與記憶體架構優化
深度解析 B2B 長對話 SaaS 系統中 KV Cache 驅逐策略設計，涵蓋 L1 Redis、L2 Vertex AI Context Caching、L3 Firestore Snapshot 三層架構，以及 LRU 結合語義重要性評分的快取壓縮閘道，節省 80% 顯存開銷、帳單砍半的 Staff FDE 級解法。
Part 52 — FDE 面試指南 Part 52：百萬級 Agent Tool-Calling 的全域非同步並行優化與扇出控制
深度剖析 LangGraph Agent 在高並發場景下的 Tool Fan-Out 架構設計：Speculative Execution、Circuit Breaker、Graceful Degradation 與 Partial Rendering 的工程實踐，含三個演進階段與完整 Staff 級解答。
Auto Agent System - Part 5 - 前端體驗與 Pipeline 編排:SSE 即時串流與多步驟任務鏈
系列最終篇,回到使用者直接感受到的那一層。拆解那條每 0.5 秒更新的 SSE 即時進度串流是怎麼用 asyncio + 原子 json_insert 撐起來的、為什麼前端刻意用 Vanilla JS、Waymo 電影感 UI 主題(PR #15)與 landing page(PR #6)的取捨,以及如何用 {{steps.N.result}} 模板把多個 AI 任務串成一條自動化工作流。
Auto Agent System - Part 4 - 生產化之路:Langfuse 可觀測性、Docker 瘦身與 AWS 部署
AI 系統能跑,離能上線還很遠。本篇拆解 agent_auto_system 把自己推向生產的四個關鍵決策:在 executor 這個漏斗掛上 Langfuse trace(PR #19)、用 WeasyPrint 換掉 Chromium 讓 Docker image 瘦身(PR #9)、規劃 AWS ECS Fargate 部署(PR #10),以及完整的登入與 RBAC 權限系統(PR #11)。
Anthropic Financial Services 入門 Part 3 — 實戰:用 GL Reconciler 跑一次對帳流程
從安裝到真的跑出一份待簽核的對帳報告——本篇挑 financial-services 套件裡的 GL Reconciler Agent,走一次完整流程:找斷點、追根因、標記待人工簽核,並比較 Cowork 互動模式和 Managed Agents headless 部署兩種跑法的差異。
Auto Agent System - Part 3 - 自動化任務實戰:Shopee 爬蟲、Google Maps 名單、Tasker 自動提案
把 Harness 打好地基後,真正的價值在任務本身。本篇順著 merged PR,拆解四個代表性自動化任務:Shopee 賣家爬蟲(以及它的兩次分頁修正)、Google Maps 潛在客戶名單漏斗、tasker.com.tw 自動投標,以及四代理協作的利潤健檢 PDF 報告。每一個都示範了一種不同的 agent × tool 設計模式。
Anthropic Financial Services 入門 Part 2 — Agent、Skill、Command、Connector 是怎麼組成一個系統的
同一個目錄結構要同時餵給 Cowork 和 Claude Managed Agents API,Anthropic 是怎麼設計的?本篇拆解 financial-services 套件裡 Agent、Skill、Command、Connector、Managed-agent wrapper 五層的分工與依賴關係,以及為什麼所有東西都是純 markdown/JSON、沒有 build step。
Auto Agent System - Part 2 - Harness 引擎:多模型容錯、自我修正與 LLM 評審
深入 agent_auto_system 的心臟——Harness 引擎。從第一個 PR「解析被 markdown 包住的 JSON」開始,一路講到跨模型 fallback 重試(PR #3)、驗證失敗後的自我修正、獨立 LLM 評審打分,以及每次執行的 token/成本追蹤。這是把 LLM 這匹野馬套上挽具的完整工程。
Anthropic Financial Services 入門 Part 1 — 怎麼安裝、怎麼用
Anthropic 官方開源的 financial-services 套件,把投資銀行、股票研究、私募股權、財富管理最常見的工作流程,包成 Claude 的 Agent 和 Skill。本篇講清楚怎麼在 Cowork 和 Claude Code 裡安裝它、怎麼選你需要的 Agent 或 Vertical Plugin,以及裝完之後第一次該怎麼用。
Auto Agent System - Part 1 - 系統總覽:一個 CrewAI 多代理自動化平台如何運作
從 0 認識 agent_auto_system:一個用 CrewAI 打造、能透過 API 與網頁介面定義並執行 AI 自動化任務的平台。本篇拆解它的整體架構、11 種任務類型、最核心的 Harness 引擎層,以及一個請求從按下按鈕到拿到結果的完整資料流。
Langfuse 入門 Part 4 — 監控與 Prompt 管理:把實驗成果變成生產循環
系列最終篇。把前三篇的追蹤與評估收進日常營運:用監控儀表板盯緊成本、延遲、品質的趨勢與異常;用 Prompt 管理把 prompt 從程式碼裡抽出來做版本控制,讓你改 prompt 不必改程式、不必重新部署——並把整個 LLM 工程循環完整串起來。
Langfuse 入門 Part 3 — LLM 評估:Score、LLM-as-a-Judge、Dataset 與 Experiment
LLM 應用最難的問題:你怎麼知道它『答得好不好』?本篇拆解 Langfuse 的評估體系——用 Score 量化品質、用 LLM-as-a-Judge 自動評分、用人工標註校準、再用 Dataset + Experiment 在上線前做回歸測試,把『我覺得改好了』變成『數據證明改好了』。
Langfuse 入門 Part 2 — 三行程式碼開始追蹤:SDK 整合與 Tracing 實戰
概念懂了,該動手了。本篇示範用 Langfuse Python SDK 把應用接上可觀測性:@observe 裝飾器、get_client 與 context manager、OpenAI 一行替換整合、LangChain callback handler,以及如何用 Session、User、Metadata 讓 trace 真正可查可比。
Langfuse 入門 Part 1 — 為什麼 LLM 應用需要可觀測性?核心概念與資料模型
LLM 應用最可怕的地方,是它「壞掉時看起來跟正常時一模一樣」。本篇用最白話的方式講清楚:為什麼傳統監控救不了 LLM、Langfuse 是什麼、以及它的核心資料模型——Trace、Observation、Span、Generation、Session、Score——彼此怎麼組合成一張可觀測的全貌。