All

334 posts in all

37

Part 37 — FDE 面試準備指南（三十七）：RKK 實戰——企業 AI 的「連接組織」：Legacy 系統整合、API 橋接與安全邊界設計

以系統設計視角拆解 FDE 最常遇到的現場問題：如何把 ADK Agent 接上 SAP、Oracle DB、Mainframe CSV 等 Legacy 資料孤島；API 橋接層的選型邏輯；安全邊界連接工程（Private Service Connect、VPC-SC、CMEK）；以及每種整合模式對系統效能、穩定性、成本和風險的影響

·19 min
38

Part 38 — AI 工程從零開始｜Phase 17 Part 3：AI 成本優化與規模化 — 把每美元壓榨到極限

深入解析 AI 生產成本工程：Token 成本分解、快取策略（Semantic Cache/Prompt Cache）、模型路由、批次推論、Spot GPU 與 FinOps for AI

·23 min
38

Part 38 — FDE 面試準備指南（三十八）：RKK 實戰——從 POC 到 Production：AI 系統的五個生產化差距與 Rollback 設計

以系統設計視角拆解 AI 系統從 POC 到生產最容易失敗的五個差距：Token Budget 失控、延遲 SLA 差距、Session State 消失、錯誤處理不完整、Rollback 機制缺席；包含生產化 Go-Live 清單、Prompt 版本控制、模型版本釘選、Canary 部署設計，以及每個差距對系統效能和穩定性的量化影響

·18 min
39

Part 39 — AI 工程從零開始｜Phase 18 Part 1：AI 技術安全 — 讓模型行為符合人類意圖

深入解析 AI 技術安全工程：對齊問題的技術根源、紅隊測試方法論、越獄攻擊分類、毒化攻擊防禦、模型可解釋性與安全評估框架

·23 min
39

Part 39 — FDE 面試準備指南（三十九）：RKK 實戰——從 10,000 到百萬用戶：AI 系統的橫向擴展架構設計

以系統設計視角拆解 AI 系統從內部試點到百萬外部用戶的擴展挑戰：三個演進階段的完整架構圖、無狀態服務設計、非同步佇列、語意快取、三層速率限制、Auto-scaling 策略，以及每個關鍵技術選型的 Why X not Y 決策邏輯

·25 min
40

Part 40 — AI 工程從零開始｜Phase 18 Part 2：AI 治理與倫理 — 工程師的責任邊界

深入解析 AI 治理工程：EU AI Act/NIST AI RMF 合規架構、偏見偵測與緩解技術、資料隱私工程（差分隱私/聯邦學習）與 AI 稽核框架

·23 min
40

Part 40 — FDE 面試準備指南（四十）：RKK 實戰——AI 系統的 PII 保護：假名化設計、最小存取原則與合規稽核

以系統設計視角拆解 AI 系統的 PII 保護：三個安全強化階段（POC → MVP → Enterprise）、PII 敏感度分類矩陣、假名化架構、RBAC 最小存取、Why X not Y 技術選型決策（假名化 vs 匿名化、CMEK vs 預設加密、NER+Regex vs 純規則），以及 AI 系統 PII 保護的代價與回報量化

·23 min
41

Part 41 — AI 工程從零開始｜Phase 19 Part 1：Capstone — 企業級 RAG 知識庫系統端對端實作

端對端構建企業級 RAG 系統：從需求分析到生產部署，涵蓋文件解析管線、Hybrid Search、Re-ranking、LLM 評估框架與 30 天迭代路線圖

·28 min
41

Part 41 — FDE 面試準備指南（四十一）：RKK 實戰——分散式 AI 系統的故障排查：結構化診斷框架與五種常見失效模式

以系統設計視角拆解分散式 AI 系統的故障排查：三個可觀測性成熟度階段、五步驟結構化診斷框架、症狀分類矩陣、完整決策樹圖、五種 AI 系統常見失效模式與特徵信號、SLO 與 Error Budget 設計，以及 Why X not Y 的關鍵可觀測性技術選型

·23 min
42

Part 42 — AI 工程從零開始｜Phase 19 Part 2：Capstone — 生產級 AI Agent 產品端對端實作

端對端構建生產級 AI Agent 產品：從架構設計到上線，涵蓋 ReAct 迴圈、工具整合、記憶系統、Guardrails、可觀測性與商業指標追蹤

·28 min
42

Part 42 — FDE 面試準備指南（四十二）：RKK 實戰——顧問技能：從「要 AI」到 POC 範圍定義的 Discovery 框架

以顧問視角拆解 FDE 的核心軟技能：三個顧問參與階段（Discovery → Technical Assessment → POC Proposal）、利害關係人影響力地圖、需求挖掘五個核心問題、POC 場景評分矩陣、Value Story 框架、常見客戶異議處理，以及 Why X not Y 的顧問方法論選型決策

·21 min
43

Part 43 — AI 工程從零開始｜Phase 19 Part 3：Capstone — 多模態 AI 應用端對端實作與系列總結

端對端構建多模態 AI 應用：圖文理解、語音介面、文件分析三合一系統的架構設計、模態融合策略、延遲優化與系列學習路線總結

·28 min
43

Part 43 — FDE 面試指南 Part 43：跨國電商百萬級購物車 Agent 的分散式動態權限與狀態回復

深度剖析黑五大促銷期間 200 萬在線用戶購物車 Agent 的異步架構設計：GKE Autopilot + KEDA + Cloud Pub/Sub 彈性伸縮、Cloud Spanner 強一致性 Checkpointer、LangGraph StateGraph 精確一次冪等恢復，以及多租戶隔離與流量整形策略。

·28 min
44

Part 44 — FDE 面試準備指南（四十四）：RKK 實戰——長文本 LLM 與 RAG 動態混合路由架構設計

深度拆解長文本 LLM（200 萬 Token 上下文）與傳統 RAG 的動態混合架構：為什麼超大 Context Window 仍需 RAG、如何設計智能上下文管理器（Dynamic Hybrid Router）、Vertex AI Context Caching Registry 快取策略、成本矩陣（$2.50 vs $0.001）、降級策略、RRF 融合機制，以及 Staff 級 FDE 面試的完整答題框架

·26 min
45

Part 45 — FDE 面試指南 Part 45：Agent 工具鏈的間接提示詞注入防禦設計

深度解析間接提示詞注入（Indirect Prompt Injection）在 Agent 工具鏈的防禦架構，涵蓋雙模型特權分離、Cloud Run VPC 沙盒隔離、Pydantic Schema 強型別校驗，適合 Staff FDE 面試備考。

·27 min
46

Part 46 — FDE 面試指南 Part 46：高規格金融業的數據無痕化與自主密鑰管理（BYOK / CMEK in GenAI）

深度剖析金融業在 Vertex AI 場景下導入 BYOK/CMEK 的完整架構：Cloud KMS + Cloud EKM 信封加密、DEK/KEK 職責分離、Dedicated Interconnect 專線優化、HSM 合規到 Memory Enclave 記憶體保護，兼顧主權資安與 <50ms 極限性能。

·27 min
47

Part 47 — FDE 面試準備指南（四十七）：RKK 實戰——大模型與地端微型模型的智慧混合路由與冷啟動優化

深度拆解 Edge/On-Premise 小模型與雲端大模型的雙軌路由架構：基於 Token 概率熵值的早停路由（Early-Exit Confidence Routing）、vLLM logprobs API 整合、PII 強制本地路由、冷啟動優化策略，以及三個演進階段的完整系統設計

·26 min
48

Part 48 — FDE 面試指南 Part 48：高可靠性 Agent Graph 的多重工具 Fallback 與自我修復機制

深入解析如何在 LangGraph 中設計 Compiler-Validator Pattern，透過 Pydantic 強型別校驗、Critic Agent 反思重寫、Circuit Breaker 與 Human-in-the-loop，打造能自我修復的高可靠性供應鏈 Agent 架構。

·26 min
49

Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線

深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。

·26 min
50

Part 50 — FDE 面試指南 Part 50：生產環境 GenAI 自動化評估管線與 LLM-as-a-Judge 漂移監控

深度解析如何在生產環境中建立多階抽樣的 LLM 自動化評估管線，涵蓋分層抽樣、RAG 三元組評估、位置偏見消除、Drift Alert 設計，以及 95% 成本控制策略。Staff FDE 級別實戰解答。

·26 min
51

Part 51 — FDE 面試指南 Part 51：百萬級多輪對話的 KV Cache 驅逐機制與記憶體架構優化

深度解析 B2B 長對話 SaaS 系統中 KV Cache 驅逐策略設計，涵蓋 L1 Redis、L2 Vertex AI Context Caching、L3 Firestore Snapshot 三層架構，以及 LRU 結合語義重要性評分的快取壓縮閘道，節省 80% 顯存開銷、帳單砍半的 Staff FDE 級解法。

·26 min
52

Part 52 — FDE 面試指南 Part 52：百萬級 Agent Tool-Calling 的全域非同步並行優化與扇出控制

深度剖析 LangGraph Agent 在高並發場景下的 Tool Fan-Out 架構設計：Speculative Execution、Circuit Breaker、Graceful Degradation 與 Partial Rendering 的工程實踐，含三個演進階段與完整 Staff 級解答。

·26 min

AI System on Native AWS - Part 10 - 企業 AI 平台工程

系列終章。當一個企業有幾十個團隊、上百個 AI 專案時,讓每個團隊各自接 Bedrock、各自寫 CDK、各自處理合規,是災難。平台團隊要把前九篇的能力打包成『內部產品』:多帳號落地區(Control Tower)、統一的 LLM Gateway(集中路由/限流/快取/日誌/分帳)、Service Catalog 與可重用 CDK Construct 黃金路徑、FinOps 分帳、平台級可觀測性。全部用 CDK(CloudFormation)描述,並以一張橫跨 Part 1–10 的總表收束整個系列。

·28 min

AI System on Native AWS - Part 9 - 企業 AI 安全、合規與資料治理

當 AI 系統處理的是病歷、金流、個資,而且要通過稽核時,資安與合規不是加分項而是上線的門票。本篇把這個橫跨所有系統的維度單獨講透:用 PrivateLink/VPC endpoint 讓資料永不觸網、KMS 客戶金鑰全程加密、Macie + Comprehend 做 PII 偵測與去識別化、Lake Formation 做資料湖細粒度授權、Organizations SCP 從組織層鎖死可用模型與區域、CloudTrail + Guardrails 做全鏈稽核,全部用 CDK(CloudFormation)描述,對應 HIPAA/GDPR 的實際控制點。

·27 min

AI System on Native AWS - Part 8 - 即時串流 ML 與詐欺偵測

詐欺偵測是即時 ML 的極限測試:要在幾十毫秒內對每筆交易做出放行或攔截的決定,特徵要用『此刻及過去幾秒』的行為即時算出,對手還會主動規避你的規則。本篇用純 AWS 原生服務打造即時串流風控:Kinesis 收交易流、Managed Service for Apache Flink 做串流特徵、SageMaker/Fraud Detector 毫秒級評分、Neptune 圖資料庫抓詐欺團夥、DynamoDB 當線上特徵與決策存放,全部用 CDK(CloudFormation)描述,深入談串流特徵一致性、時間窗、圖偵測與規則+ML 混合決策。

·27 min