AI & LLM

Building with language models — from prompt to production.

LLM applications, agent architectures, RAG pipelines, evaluation and model deployment.

219 posts · All topics

38

Part 38 — AI 工程從零開始｜Phase 17 Part 3：AI 成本優化與規模化 — 把每美元壓榨到極限

深入解析 AI 生產成本工程：Token 成本分解、快取策略（Semantic Cache/Prompt Cache）、模型路由、批次推論、Spot GPU 與 FinOps for AI

·23 min aiengineering
37

Part 37 — AI 工程從零開始｜Phase 17 Part 2：AI 系統可觀測性 — 當模型行為成為監控對象

深入解析 AI 系統可觀測性工程：LLM 追蹤（Traces/Spans）、提示版本管理、模型效能漂移偵測、成本歸因分析與 AI 告警策略

·23 min aiengineering
36

Part 36 — AI 工程從零開始｜Phase 17 Part 1：AI 推論服務架構 — 從單機到全球部署

深入解析 AI 推論服務工程：模型服務器選型（Triton/TorchServe/vLLM）、負載均衡、自動擴縮容、GPU 共享與多租戶隔離架構

·23 min aiengineering
35

Part 35 — AI 工程從零開始｜Phase 16 Part 2：湧現與集體智慧 — 群體行為的工程設計

深入解析多 Agent 系統的湧現行為：群智優化、集體推理、辯論機制、Mixture of Agents 架構與集體智慧的工程可控性

·23 min aiengineering
34

Part 34 — AI 工程從零開始｜Phase 16 Part 1：多 Agent 協調 — 分工、通訊與共識

深入解析多 Agent 系統協調工程：Supervisor/Peer-to-Peer/Market 協調模式、Agent 間通訊協議、衝突解決、任務分配與共識機制

·23 min aiengineering
33

Part 33 — AI 工程從零開始｜Phase 15 Part 2：自我改進與 2026 安全技術棧

深入解析 AI 自我改進機制：Constitutional AI/Self-Refinement/RLVR，以及 2026 年生產安全技術棧：越獄防禦/提示注入防護/行動沙箱

·23 min aiengineering
32

Part 32 — AI 工程從零開始｜Phase 15 Part 1：長時程自主系統 — 跨天任務的 Agent 工程

深入解析長時程 Agent 工程挑戰：跨會話記憶持久化、多步驟任務分解、進度恢復、人機協作設計與長時程 Agent 的可靠性保障

·23 min aiengineering
31

Part 31 — AI 工程從零開始｜Phase 14 Part 4：Agent 生產化 — 可靠性、可觀測性與成本控制

深入解析 Agent 生產部署工程：執行追蹤、成本預算控制、並發限流、Guardrails 安全防護、A/B 測試框架與 Agent 監控告警設計

·23 min aiengineering
30

Part 30 — AI 工程從零開始｜Phase 14 Part 3：Agent 框架全景 — AutoGen、CrewAI 與自建的取捨

深入比較主流 Agent 框架：AutoGen/CrewAI/LangGraph/Semantic Kernel 的架構差異、適用場景與生產成熟度，以及何時應該自建框架

·23 min aiengineering
29

Part 29 — AI 工程從零開始｜Phase 14 Part 2：Agent 規劃系統 — 從目標到行動計畫

深入解析 AI Agent 規劃架構：Tree-of-Thought/Plan-and-Execute/MCTS、任務分解策略、規劃失敗診斷與動態重規劃機制

·23 min aiengineering
28

Part 28 — AI 工程從零開始｜Phase 14 Part 1：Agent 迴圈與記憶系統 — 從單次呼叫到自主行動

深入解析 AI Agent 工程基礎：ReAct/Reflexion 思考迴圈、記憶系統四層架構（感官/工作/情節/語意）、上下文管理與 Agent 狀態機設計

·23 min aiengineering
27

Part 27 — AI 工程從零開始｜Phase 13 Part 2：AI 工作流程編排 — LangChain、LlamaIndex 與生產管線

深入解析 AI 工作流程編排：LangChain/LlamaIndex/Haystack 框架比較、DAG 管線設計、有狀態工作流程、錯誤重試與生產監控

·23 min aiengineering
26

Part 26 — AI 工程從零開始｜Phase 13 Part 1：MCP 與 API 整合 — AI 與真實世界的介面

深入解析 Model Context Protocol（MCP）架構、Function Calling 設計模式、工具整合生產化、API 安全與速率控制，以及 AI 系統的外部工具編排

·23 min aiengineering
25

Part 25 — AI 工程從零開始｜Phase 12 Part 2：多模態 Agent 與電腦操作 — 跨模態推理與行動

深入解析多模態 Agent 架構：OCR+VLM 文件理解、電腦視覺 UI 自動化、SeeAct/Computer Use 系統設計與安全邊界

·23 min aiengineering
24

Part 24 — AI 工程從零開始｜Phase 12 Part 1：Vision Transformer 與多模態融合架構

深入解析 ViT 的 Patch Embedding 機制、多模態融合策略（Early/Late/Cross-Modal Fusion）、CLIP/ALIGN 對比學習與多模態生產系統設計

·23 min aiengineering
23

Part 23 — AI 工程從零開始｜Phase 11 Part 2：RAG 系統與 LLM 評估 — 生產落地的最後一哩

深入解析 RAG 架構設計：向量資料庫選型、Hybrid Search、Re-ranking、Chunking 策略，以及 LLM 評估框架：RAGAS/G-Eval/LLM-as-Judge

·23 min aiengineering
22

Part 22 — AI 工程從零開始｜Phase 11 Part 1：LLM 推論工程 — 從實驗到每秒千次請求

深入解析 LLM 生產推論：vLLM PagedAttention、連續批次、投機解碼、量化（GPTQ/AWQ/INT4）、推論成本優化與 SLA 設計

·23 min aiengineering
21

Part 21 — AI 工程從零開始｜Phase 10 Part 3：LLM 微調 — LoRA、QLoRA 與指令對齊

深入解析 LLM 微調策略：LoRA/QLoRA 低秩分解原理、SFT 指令資料品質、PEFT 家族比較、微調陷阱與生產部署的工程決策

·23 min aiengineering
20

Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰

深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配

·23 min aiengineering
19

Part 19 — AI 工程從零開始｜Phase 10 Part 1：從頭構建 LLM — Tokenization 的工程藝術

深入解析 LLM Tokenization：BPE/WordPiece/SentencePiece 演算法、詞彙表大小的工程取捨、多語言 Token 效率與 Tiktoken 生產實作

·20 min aiengineering
18

Part 18 — AI 工程從零開始｜Phase 9：強化學習基礎 — RLHF 與遊戲 AI 的根基

深入解析強化學習工程原理：MDP/Q-Learning/Policy Gradient/PPO/RLHF，理解 ChatGPT 背後的對齊訓練機制

·23 min aiengineering
17

Part 17 — AI 工程從零開始｜Phase 8 Part 2：GAN 與影片生成 — 對抗的藝術

深入解析 GAN 訓練動態、StyleGAN/CycleGAN 架構、影片生成系統設計，以及 GAN vs 擴散模型的工程選型決策

·20 min aiengineering
16

Part 16 — AI 工程從零開始｜Phase 8 Part 1：擴散模型 — 從雜訊到藝術的數學

深入解析擴散模型工程原理：DDPM/DDIM 前向與反向過程、Stable Diffusion 潛在空間架構、ControlNet/LoRA 微調、生產推論優化

·23 min aiengineering
15

Part 15 — AI 工程從零開始｜Phase 7 Part 2：Transformer 訓練策略與架構變體

深入解析 Transformer 訓練：學習率 Warmup/Schedule、梯度裁剪、混合精度訓練、Encoder-only/Decoder-only/Encoder-Decoder 架構選型，以及 MoE 混合專家系統

·23 min aiengineering
14

Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力

從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化

·23 min aiengineering