Engineering

189 posts in engineering

13

Part 13 — FDE core topic - Idempotency & State Recovery：分佈式 Agent 的精確一次斷點續傳

深入剖析如何透過 Checkpoint + Compare-And-Swap 保證分佈式 Agent 在 Pod OOM、搶佔或網路分割後，重啟時精確跳過已完成步驟，實現零重複副作用的斷點續傳。

·18 min
13

Part 13 — FDE 面試準備指南（十三）：RKK 實戰——Prompt Injection 攻防與 Agent 安全

以系統設計視角拆解 AI Agent 的安全架構：Prompt Injection 的兩類攻擊、為什麼 Agent 比純 LLM 危險 10 倍、五層防禦架構怎麼設計、OAuth 授權怎麼落地——含完整攻防架構圖

·15 min
14

Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力

從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化

·23 min
14

Part 14 — FDE core topic - Speculative Tool Execution：大扇出控制與投機雙發防禦

深入剖析 Agent 並行 15 個工具呼叫時如何以投機雙發（Hedged Request）壓制 P99 尾部延遲、用硬截止時間搭配優雅降級回傳部分結果，將整體等待從 30 秒壓到 1.5 秒（20 倍改善）。

·18 min
14

Part 14 — FDE 面試準備指南（十四）：RKK 實戰——AI Agent Memory 架構設計

以系統設計視角拆解 AI Agent 的 Memory 架構：為什麼需要四種記憶、每種記憶解決什麼問題、怎麼組合、以及記憶帶來的工程挑戰——含完整架構圖與選型決策框架

·15 min
15

Part 15 — AI 工程從零開始｜Phase 7 Part 2：Transformer 訓練策略與架構變體

深入解析 Transformer 訓練：學習率 Warmup/Schedule、梯度裁剪、混合精度訓練、Encoder-only/Decoder-only/Encoder-Decoder 架構選型，以及 MoE 混合專家系統

·23 min
15

Part 15 — FDE core topic - Vector Drift & Blue-Green Indexing：向量圖結構健康度與零停機切換

深入解析 HNSW 向量圖在持續增量更新下的 recall 衰退機制，以及 Lambda 架構 + Blue-Green 切換如何在不停機的前提下將 recall@10 恢復至 94% 以上。

·18 min
15

Part 15 — FDE 面試準備指南（十五）：RKK 實戰——AI Agent 規模化與 Cache 策略

以系統設計視角拆解 AI Agent 的規模化挑戰：為什麼 LLM 系統的擴展和傳統 Web 不同、三層 Cache 各解決什麼問題、Stateful Agent 怎麼做水平擴展——含完整架構圖與成本估算框架

·16 min
16

Part 16 — AI 工程從零開始｜Phase 8 Part 1：擴散模型 — 從雜訊到藝術的數學

深入解析擴散模型工程原理：DDPM/DDIM 前向與反向過程、Stable Diffusion 潛在空間架構、ControlNet/LoRA 微調、生產推論優化

·23 min
16

Part 16 — FDE core topic - TTFT & Throughput Optimization：首字延遲與推理吞吐量的硬體級優化

深入解析 LLM 推理服務的兩大核心指標——首字時間（TTFT）與每秒 Token 吞吐量——以及 Quantization、Continuous Batching、PagedAttention、Speculative Decoding、Flash Attention 五大硬體級優化技術的原理與取捨。

·18 min
16

Part 16 — FDE 面試準備指南（十六）：RKK 實戰——Multi-Agent 狀態管理與死鎖排除

以系統設計視角拆解 Multi-Agent 的狀態管理與死鎖問題：為什麼階層式授權架構會產生死循環、State Reducer 的設計原理、分散式 Checkpoint 策略，以及如何在 LangGraph 中設計收斂的 Agent 圖

·18 min
17

Part 17 — AI 工程從零開始｜Phase 8 Part 2：GAN 與影片生成 — 對抗的藝術

深入解析 GAN 訓練動態、StyleGAN/CycleGAN 架構、影片生成系統設計，以及 GAN vs 擴散模型的工程選型決策

·20 min
17

Part 17 — FDE core topic - Context Cache Eviction：硬體級上下文快取驅逐策略與計費陷阱

深入解析 Vertex AI Context Caching 的 KV 快取原理、三層驅逐架構設計，以及如何避免每小時 $4.50 的隱性計費陷阱。

·18 min
17

Part 17 — FDE 面試準備指南（十七）：RKK 實戰——MCP 伺服器、Tool-Calling 安全與 OAuth 授權

以系統設計視角拆解 MCP（Model Context Protocol）的安全邊界：Agent 的工具授權架構、Human-in-the-loop OAuth 流程、Tool Input Validation 防禦層，以及如何防止 Tool Injection 攻擊

·17 min
18

Part 18 — AI 工程從零開始｜Phase 9：強化學習基礎 — RLHF 與遊戲 AI 的根基

深入解析強化學習工程原理：MDP/Q-Learning/Policy Gradient/PPO/RLHF，理解 ChatGPT 背後的對齊訓練機制

·23 min
18

Part 18 — FDE core topic - Semantic Model Routing：置信度熵值驅動的智能模型分流

深入解析如何以 Shannon 熵值即時偵測模型不確定性，動態將查詢路由至最便宜的可行模型，實現隱私保護與 74% 成本節省的生產架構。

·18 min
18

Part 18 — FDE 面試準備指南（十八）：RKK 實戰——三層記憶體架構與 LLM 成本調優

以系統設計視角拆解企業級 Agent 的三層記憶體設計：Working Memory 成本控制、Semantic Long-term Memory 的異步壓縮流程、Profile Memory 的結構化提取——以及每個設計決策背後的成本與延遲 trade-off

·16 min
19

Part 19 — AI 工程從零開始｜Phase 10 Part 1：從頭構建 LLM — Tokenization 的工程藝術

深入解析 LLM Tokenization：BPE/WordPiece/SentencePiece 演算法、詞彙表大小的工程取捨、多語言 Token 效率與 Tiktoken 生產實作

·20 min
19

Part 19 — FDE core topic - LLM-as-Judge & Bias Mitigation：大規模自動評估與裁判偏見消除

深入解析如何用大型語言模型作為自動化品質裁判，並透過隨機排序、CoT 推理、分層抽樣等技術系統性消除裁判偏見，以 1% 的成本達到 80% 人工評估品質。

·18 min
19

Part 19 — FDE 面試準備指南（十九）：RKK 實戰——Multi-Agent 系統的統計評估與細粒度追蹤

以系統設計視角拆解 Multi-Agent 系統的 Observability 架構：為什麼多 Agent 的評估比 RAG 複雜一個量級、Granular Tracing 的設計原理、Trajectory Evaluation 方法，以及如何找出是哪個 Agent 拖累了整體表現

·16 min
20

Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰

深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配

·23 min
20

Part 20 — FDE core topic - RAG Triad Metrics：上下文相關度、忠實度與答案相關度的可觀測性追蹤

深入解析 RAG 系統三大評估指標——Context Relevance、Groundedness、Answer Relevance——以及如何透過 OpenTelemetry 與 Grafana 建立生產級可觀測性追蹤管道。

·18 min
20

Part 20 — FDE 面試準備指南（二十）：RKK 實戰——間接 Prompt Injection 與 Dual-LLM 防禦架構

以系統設計視角拆解間接 Prompt Injection（Indirect Prompt Injection）的攻擊原理與 Dual-LLM 防禦模式：為什麼權限隔離比 Pattern Matching 更根本、Trust Level 分層設計、以及零信任 AI 架構的工程實踐

·15 min
21

Part 21 — AI 工程從零開始｜Phase 10 Part 3：LLM 微調 — LoRA、QLoRA 與指令對齊

深入解析 LLM 微調策略：LoRA/QLoRA 低秩分解原理、SFT 指令資料品質、PEFT 家族比較、微調陷阱與生產部署的工程決策

·23 min
21

Part 21 — FDE core topic - Discovery to Technical Constraints：顧問工程師的高階探索問法

掌握將模糊客戶需求轉化為精確技術規格的 SCALE 探索框架，透過 5 個關鍵問題節省 5 週無效開發，以約束矩陣驅動架構決策，是 FDE 面試中判斷顧問成熟度的核心指標。

·18 min