AI & LLM

Building with language models — from prompt to production.

LLM applications, agent architectures, RAG pipelines, evaluation and model deployment.

234 posts · All topics

3

Part 3 — AI 工程從零開始｜Phase 2 Part 1：傳統機器學習 — 生產 AI 的骨幹

深入解析線性回歸、邏輯回歸、決策樹、SVM、特徵工程等傳統 ML 技術為何在 80% 生產 AI 系統中仍是首選，附完整決策框架與量化比較

·23 min aiengineering
2

Part 2 — AI 工程從零開始｜Phase 1 Part 2：機率與統計 — 不確定性的數學語言

從工程師視角掌握 AI 必備的機率論與統計直覺：貝葉斯定理、最大概似估計、資訊理論、分佈假設背後的設計決策

·23 min aiengineering
1

Part 1 — AI 工程從零開始｜Phase 1 Part 1：線性代數與微積分 — AI 演算法直覺

從工程師視角掌握 AI 必備的線性代數與微積分直覺：向量、矩陣、梯度下降、反向傳播背後的數學原理，附 ASCII 架構圖與工程決策表

·23 min aiengineering
42

Part 42 — FDE 面試準備指南（四十二）：RKK 實戰——顧問技能：從「要 AI」到 POC 範圍定義的 Discovery 框架

以顧問視角拆解 FDE 的核心軟技能：三個顧問參與階段（Discovery → Technical Assessment → POC Proposal）、利害關係人影響力地圖、需求挖掘五個核心問題、POC 場景評分矩陣、Value Story 框架、常見客戶異議處理，以及 Why X not Y 的顧問方法論選型決策

·21 min aiengineering
41

Part 41 — FDE 面試準備指南（四十一）：RKK 實戰——分散式 AI 系統的故障排查：結構化診斷框架與五種常見失效模式

以系統設計視角拆解分散式 AI 系統的故障排查：三個可觀測性成熟度階段、五步驟結構化診斷框架、症狀分類矩陣、完整決策樹圖、五種 AI 系統常見失效模式與特徵信號、SLO 與 Error Budget 設計，以及 Why X not Y 的關鍵可觀測性技術選型

·23 min aiengineering
40

Part 40 — FDE 面試準備指南（四十）：RKK 實戰——AI 系統的 PII 保護：假名化設計、最小存取原則與合規稽核

以系統設計視角拆解 AI 系統的 PII 保護：三個安全強化階段（POC → MVP → Enterprise）、PII 敏感度分類矩陣、假名化架構、RBAC 最小存取、Why X not Y 技術選型決策（假名化 vs 匿名化、CMEK vs 預設加密、NER+Regex vs 純規則），以及 AI 系統 PII 保護的代價與回報量化

·23 min aiengineering
44

Part 44 — FDE 面試準備指南（四十四）：RKK 實戰——長文本 LLM 與 RAG 動態混合路由架構設計

深度拆解長文本 LLM（200 萬 Token 上下文）與傳統 RAG 的動態混合架構：為什麼超大 Context Window 仍需 RAG、如何設計智能上下文管理器（Dynamic Hybrid Router）、Vertex AI Context Caching Registry 快取策略、成本矩陣（$2.50 vs $0.001）、降級策略、RRF 融合機制，以及 Staff 級 FDE 面試的完整答題框架

·26 min aiengineering
39

Part 39 — FDE 面試準備指南（三十九）：RKK 實戰——從 10,000 到百萬用戶：AI 系統的橫向擴展架構設計

以系統設計視角拆解 AI 系統從內部試點到百萬外部用戶的擴展挑戰：三個演進階段的完整架構圖、無狀態服務設計、非同步佇列、語意快取、三層速率限制、Auto-scaling 策略，以及每個關鍵技術選型的 Why X not Y 決策邏輯

·25 min aiengineering
38

Part 38 — FDE 面試準備指南（三十八）：RKK 實戰——從 POC 到 Production：AI 系統的五個生產化差距與 Rollback 設計

以系統設計視角拆解 AI 系統從 POC 到生產最容易失敗的五個差距：Token Budget 失控、延遲 SLA 差距、Session State 消失、錯誤處理不完整、Rollback 機制缺席；包含生產化 Go-Live 清單、Prompt 版本控制、模型版本釘選、Canary 部署設計，以及每個差距對系統效能和穩定性的量化影響

·18 min aiengineering
37

Part 37 — FDE 面試準備指南（三十七）：RKK 實戰——企業 AI 的「連接組織」：Legacy 系統整合、API 橋接與安全邊界設計

以系統設計視角拆解 FDE 最常遇到的現場問題：如何把 ADK Agent 接上 SAP、Oracle DB、Mainframe CSV 等 Legacy 資料孤島；API 橋接層的選型邏輯；安全邊界連接工程（Private Service Connect、VPC-SC、CMEK）；以及每種整合模式對系統效能、穩定性、成本和風險的影響

·19 min aiengineering
36

Part 36 — FDE 面試準備指南（三十六）：RKK 實戰——生產級 AI Evaluation Pipeline：從黃金資料集到 CI/CD 品質閘門

以系統設計視角拆解生產級 AI 評估管線：黃金資料集的建立原則、離線評估架構（RAGAS vs Vertex AI Evaluation Service）、CI/CD 品質閘門設計、Safety 作為獨立評估維度，以及線上評估的抽樣策略與 Trade-off

·20 min aiengineering
35

Part 35 — FDE 面試準備指南（三十五）：RKK 實戰——生產級可觀測性設計：Granular Tracing、Span 樹與 Cloud Trace 整合

以系統設計視角拆解 Agentic AI 系統的可觀測性：為什麼 Log 不夠、Span 樹的結構設計、OpenTelemetry 與 Cloud Trace 的整合模式、Sampling 策略的 Trade-off，以及一條 Trace 應該回答哪五個診斷問題

·18 min aiengineering
34

Part 34 — FDE 面試準備指南（三十四）：RKK 實戰演練——六個端對端 Mock 情境題與模範答案

六個完整的 FDE RKK 面試 Mock 情境，每題包含客戶場景與限制條件、面試官的追問鏈、模範答案架構，以及最常見的失分點——涵蓋金融合規、保險多 Agent、醫療 VPC、零售推薦、政府法規、教育 SaaS 六個垂直場景

·25 min aiengineering
33

Part 33 — FDE 面試準備指南（三十三）：RKK 面試解剖——面試官怎麼看你、怎麼評分、什麼叫做強力雇用

以 Google RKK 面試官的第一人稱視角，完整拆解 FDE RKK 面試的時間結構、五個評分維度、四個面試階段、「雇用」和「強力雇用」的實際差距，以及最常見的七個失敗模式

·16 min aiengineering
32

Part 32 — FDE 面試準備指南（三十二）：RKK 實戰——Vertex AI 產品棧全解析：Agent Builder、Vertex AI Search、Gemini API 與部署架構

以 Google FDE 視角完整拆解 Vertex AI AI 產品棧：何時選 Agent Builder vs 自建、Vertex AI Search 和 DIY RAG 的根本差異、Gemini API 四個關鍵特性（system instruction、tool use、grounding、context caching），以及企業 AI 系統的 GCP 部署架構

·19 min aiengineering
31

Part 31 — FDE 面試準備指南（三十一）：RKK 實戰——Google ADK 深度設計：Agent 類型、Tool 宣告與 Multi-Agent 協調

以系統設計視角深度拆解 Google Agent Development Kit（ADK）：四種 Agent 類型的選擇邏輯、Tool 宣告系統的設計原理、Multi-Agent 的狀態共享機制，以及 ADK 在 Vertex AI 上的部署模式與 LangGraph 的根本差異

·18 min aiengineering
30

Part 30 — FDE 面試準備指南（三十）：顧問實戰——Constraint-First 架構設計：VPC 限制下的 GCP AI 系統

以 Google FDE 顧問視角拆解限制驅動的 AI 架構設計：當客戶說「所有資料不能離開我們的 VPC」，你的 Vertex AI 架構要怎麼調整、VPC Service Controls 的設計原理、Private Service Connect 的部署模式，以及金融與政府客戶常見的合規限制應對

·17 min aiengineering
29

Part 29 — FDE 面試準備指南（二十九）：顧問實戰——AI 系統 TCO 估算與 ROI 說服框架

以 Google FDE 顧問視角拆解 AI 系統的總持有成本（TCO）估算方法：Token 成本、Infra 成本、人力成本的計算框架、如何用 ROI 語言說服財務決策者，以及 Vertex AI 定價模型的實際試算

·15 min aiengineering
28

Part 28 — FDE 面試準備指南（二十八）：顧問實戰——生產事故診斷與客戶溝通語言

以 Google FDE 顧問視角拆解 AI 系統生產事故的處理全流程：P95 延遲異常的診斷思路、不停機排查策略、如何在技術細節與客戶語言之間切換，以及事故後的信任重建框架

·16 min aiengineering
27

Part 27 — FDE 面試準備指南（二十七）：顧問實戰——如何在 45 分鐘內把模糊需求變成 POC 計畫

以 Google FDE 顧問視角拆解 POC Scoping 技藝：如何在客戶會議中從模糊需求提取可執行計畫、Discovery 問題的設計、Success Criteria 怎麼訂、以及如何防止 POC 變成無止境的免費諮詢

·14 min aiengineering
26

Part 26 — FDE 面試準備指南（二十六）：顧問實戰——「我們現在用 OpenAI，為什麼要換 Vertex AI？」

以 Google FDE 顧問視角拆解競品定位對話：如何回應客戶的 OpenAI / AWS 比較、用場景驅動而非規格比較的說服框架、Vertex AI 的差異化優勢在哪裡，以及如何避免常見的定位陷阱

·15 min aiengineering
25

Part 25 — FDE 面試準備指南（二十五）：RKK 實戰——Self-Reflection 與幻覺校正迴圈設計

以系統設計視角拆解 Generator-Evaluator 雙節點架構：為什麼 LLM 需要自我檢查機制、Reflexion Pattern 的設計原理、如何防止反思迴圈變成無限循環，以及收斂保證的工程實踐

·17 min aiengineering
24

Part 24 — FDE 面試準備指南（二十四）：RKK 實戰——混合模型路由與語意路由器設計

以系統設計視角拆解 Hybrid Model Routing 架構：Semantic Router 的設計原理、小模型 vs 大模型的路由決策框架、如何用 Eval Pipeline 確保路由器不會犧牲整體品質，以及 Gemma 與 Gemini 的混合部署策略

·17 min aiengineering
23

Part 23 — FDE 面試準備指南（二十三）：RKK 實戰——多租戶 Agent 的限流、Fair-Share 與 Token 預算控制

以系統設計視角拆解多租戶 AI Agent 系統的資源隔離問題：為什麼傳統 RPM 限流不夠、Token-Aware Rate Limiting 的設計原理、分散式令牌桶架構，以及如何防止 Noisy Neighbor Effect 影響其他租戶

·16 min aiengineering
22

Part 22 — FDE 面試準備指南（二十二）：RKK 實戰——動態並行 Tool-Calling 與依賴解析引擎

以系統設計視角拆解 Multi-Tool 並行執行架構：為什麼順序執行是延遲瓶頸、DAG 依賴解析引擎的設計原理、動態並行 vs 靜態並行的 trade-off，以及 Google ADK Tool Registry 的落地方案

·16 min aiengineering