Engineering

The craft: writing, shipping and fixing real systems.

Backend, frontend and full-stack engineering — languages, frameworks, data pipelines, debugging and performance.

262 posts · All topics

4

Part 4 — AI 工程從零開始｜Phase 2 Part 2：集成學習與最佳化 — 超越單一模型的上限

深入解析 Random Forest、Gradient Boosting、XGBoost、超參數調優與 AutoML，理解集成方法為何在表格資料競賽與生產系統持續稱霸

·23 min aiengineering
3

Part 3 — AI 工程從零開始｜Phase 2 Part 1：傳統機器學習 — 生產 AI 的骨幹

深入解析線性回歸、邏輯回歸、決策樹、SVM、特徵工程等傳統 ML 技術為何在 80% 生產 AI 系統中仍是首選，附完整決策框架與量化比較

·23 min aiengineering
2

Part 2 — AI 工程從零開始｜Phase 1 Part 2：機率與統計 — 不確定性的數學語言

從工程師視角掌握 AI 必備的機率論與統計直覺：貝葉斯定理、最大概似估計、資訊理論、分佈假設背後的設計決策

·23 min aiengineering
1

Part 1 — AI 工程從零開始｜Phase 1 Part 1：線性代數與微積分 — AI 演算法直覺

從工程師視角掌握 AI 必備的線性代數與微積分直覺：向量、矩陣、梯度下降、反向傳播背後的數學原理，附 ASCII 架構圖與工程決策表

·23 min aiengineering
42

Part 42 — FDE 面試準備指南（四十二）：RKK 實戰——顧問技能：從「要 AI」到 POC 範圍定義的 Discovery 框架

以顧問視角拆解 FDE 的核心軟技能：三個顧問參與階段（Discovery → Technical Assessment → POC Proposal）、利害關係人影響力地圖、需求挖掘五個核心問題、POC 場景評分矩陣、Value Story 框架、常見客戶異議處理，以及 Why X not Y 的顧問方法論選型決策

·21 min aiengineering
41

Part 41 — FDE 面試準備指南（四十一）：RKK 實戰——分散式 AI 系統的故障排查：結構化診斷框架與五種常見失效模式

以系統設計視角拆解分散式 AI 系統的故障排查：三個可觀測性成熟度階段、五步驟結構化診斷框架、症狀分類矩陣、完整決策樹圖、五種 AI 系統常見失效模式與特徵信號、SLO 與 Error Budget 設計，以及 Why X not Y 的關鍵可觀測性技術選型

·23 min aiengineering
40

Part 40 — FDE 面試準備指南（四十）：RKK 實戰——AI 系統的 PII 保護：假名化設計、最小存取原則與合規稽核

以系統設計視角拆解 AI 系統的 PII 保護：三個安全強化階段（POC → MVP → Enterprise）、PII 敏感度分類矩陣、假名化架構、RBAC 最小存取、Why X not Y 技術選型決策（假名化 vs 匿名化、CMEK vs 預設加密、NER+Regex vs 純規則），以及 AI 系統 PII 保護的代價與回報量化

·23 min aiengineering
25

Part 25 — FDE core topic - Value Story & Objection Handling：價值敘事架構與常見異議破解

將技術能力轉譯為業務成果的完整框架：SCRI 敘事結構、五大企業 AI 異議破解策略，以及如何用客戶數據做出讓決策者無法拒絕的 Value Story Demo。

·15 min engineering
24

Part 24 — FDE core topic - POC Scoring & ROI：概念驗證評分矩陣與投資回報框架設計

深入解析如何在 AI 專案 POC 階段設計假設驅動的成功指標矩陣、ROI 計算框架，以及 Go/No-Go 決策閘，讓概念驗證成為客觀商業決策而非主觀技術辯論。

·18 min engineering
23

Part 23 — FDE core topic - Stakeholder Mapping：利害關係人圖譜與決策影響力分析

深入解析企業 AI 專案中的利害關係人分類、影響力圖譜建構與針對性溝通策略，避免技術上完美的提案在最後一刻被隱形阻擋者否決。

·18 min engineering
22

Part 22 — FDE core topic - Structured Troubleshooting：自上而下分層排錯與 AI 系統觀測方法論

系統化分層排錯方法論：從用戶症狀出發，逐層消除 AI Agent 系統故障根因，涵蓋 API Gateway、Orchestration、Tool APIs、Model Quota 四層診斷策略與 OpenTelemetry 實作。

·18 min engineering
21

Part 21 — FDE core topic - Discovery to Technical Constraints：顧問工程師的高階探索問法

掌握將模糊客戶需求轉化為精確技術規格的 SCALE 探索框架，透過 5 個關鍵問題節省 5 週無效開發，以約束矩陣驅動架構決策，是 FDE 面試中判斷顧問成熟度的核心指標。

·18 min engineering
20

Part 20 — FDE core topic - RAG Triad Metrics：上下文相關度、忠實度與答案相關度的可觀測性追蹤

深入解析 RAG 系統三大評估指標——Context Relevance、Groundedness、Answer Relevance——以及如何透過 OpenTelemetry 與 Grafana 建立生產級可觀測性追蹤管道。

·18 min engineering
19

Part 19 — FDE core topic - LLM-as-Judge & Bias Mitigation：大規模自動評估與裁判偏見消除

深入解析如何用大型語言模型作為自動化品質裁判，並透過隨機排序、CoT 推理、分層抽樣等技術系統性消除裁判偏見，以 1% 的成本達到 80% 人工評估品質。

·18 min engineering
18

Part 18 — FDE core topic - Semantic Model Routing：置信度熵值驅動的智能模型分流

深入解析如何以 Shannon 熵值即時偵測模型不確定性，動態將查詢路由至最便宜的可行模型，實現隱私保護與 74% 成本節省的生產架構。

·18 min engineering
17

Part 17 — FDE core topic - Context Cache Eviction：硬體級上下文快取驅逐策略與計費陷阱

深入解析 Vertex AI Context Caching 的 KV 快取原理、三層驅逐架構設計，以及如何避免每小時 $4.50 的隱性計費陷阱。

·18 min engineering
16

Part 16 — FDE core topic - TTFT & Throughput Optimization：首字延遲與推理吞吐量的硬體級優化

深入解析 LLM 推理服務的兩大核心指標——首字時間（TTFT）與每秒 Token 吞吐量——以及 Quantization、Continuous Batching、PagedAttention、Speculative Decoding、Flash Attention 五大硬體級優化技術的原理與取捨。

·18 min engineering
15

Part 15 — FDE core topic - Vector Drift & Blue-Green Indexing：向量圖結構健康度與零停機切換

深入解析 HNSW 向量圖在持續增量更新下的 recall 衰退機制，以及 Lambda 架構 + Blue-Green 切換如何在不停機的前提下將 recall@10 恢復至 94% 以上。

·18 min engineering
14

Part 14 — FDE core topic - Speculative Tool Execution：大扇出控制與投機雙發防禦

深入剖析 Agent 並行 15 個工具呼叫時如何以投機雙發（Hedged Request）壓制 P99 尾部延遲、用硬截止時間搭配優雅降級回傳部分結果，將整體等待從 30 秒壓到 1.5 秒（20 倍改善）。

·18 min engineering
13

Part 13 — FDE core topic - Idempotency & State Recovery：分佈式 Agent 的精確一次斷點續傳

深入剖析如何透過 Checkpoint + Compare-And-Swap 保證分佈式 Agent 在 Pod OOM、搶佔或網路分割後，重啟時精確跳過已完成步驟，實現零重複副作用的斷點續傳。

·18 min engineering
12

Part 12 — FDE core topic - Backpressure & Fair-Share：多租戶流量削峰與公平資源排程

深入解析 Token Bucket 反壓機制與加權公平排隊，說明多租戶 AI 平台如何在突發流量下保障每個租戶的最低吞吐量，並以 Redis Lua 腳本實現亞毫秒級限速。

·18 min engineering
11

Part 11 — FDE core topic - Async Event-Driven Pipeline：解耦同步 HTTP 與保護後端連線池

深入剖析如何以非同步訊息傳遞取代同步 HTTP 請求，防止 LLM 推論延遲（2–30 秒）耗盡 Web Server 連線池，支撐 50,000+ 並發用戶，改善幅度達 250 倍。

·18 min engineering
10

Part 10 — FDE core topic - CMEK / BYOK 信封加密：自主密鑰管理與零信任加密架構

深入解析信封加密的 DEK/KEK 機制、Cloud KMS 與外部密鑰管理器（EKM）的取捨、Confidential Computing 封存與 Vertex AI CMEK 整合，掌握企業級零信任加密的三個實作層次。

·18 min engineering
9

Part 9 — FDE core topic - Data Residence & Sovereign AI：金融醫療場景的地緣合規架構

深入解析資料主權架構的技術控制堆疊，涵蓋 VPC Service Controls、Organization Policy、Vertex AI 區域端點及審計證據，幫助工程師在面試中精準回答金融與醫療合規場景。

·18 min engineering
8

Part 8 — FDE core topic - PII 去識別化與格式保留加密：資料進入 AI 管線前的隱私護欄

深入解析 PII 去識別化光譜、格式保留加密（FPE）原理、Cloud Sensitive Data Protection 整合，以及 AI 管線中隱私護欄的三個實作層次。

·18 min engineering