All Posts

The complete archive.

Every post on the blog, newest first.

349 posts · All topics

24

Part 24 — AI 工程從零開始｜Phase 12 Part 1：Vision Transformer 與多模態融合架構

深入解析 ViT 的 Patch Embedding 機制、多模態融合策略（Early/Late/Cross-Modal Fusion）、CLIP/ALIGN 對比學習與多模態生產系統設計

·23 min aiengineering
23

Part 23 — AI 工程從零開始｜Phase 11 Part 2：RAG 系統與 LLM 評估 — 生產落地的最後一哩

深入解析 RAG 架構設計：向量資料庫選型、Hybrid Search、Re-ranking、Chunking 策略，以及 LLM 評估框架：RAGAS/G-Eval/LLM-as-Judge

·23 min aiengineering
22

Part 22 — AI 工程從零開始｜Phase 11 Part 1：LLM 推論工程 — 從實驗到每秒千次請求

深入解析 LLM 生產推論：vLLM PagedAttention、連續批次、投機解碼、量化（GPTQ/AWQ/INT4）、推論成本優化與 SLA 設計

·23 min aiengineering
21

Part 21 — AI 工程從零開始｜Phase 10 Part 3：LLM 微調 — LoRA、QLoRA 與指令對齊

深入解析 LLM 微調策略：LoRA/QLoRA 低秩分解原理、SFT 指令資料品質、PEFT 家族比較、微調陷阱與生產部署的工程決策

·23 min aiengineering
20

Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰

深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配

·23 min aiengineering
19

Part 19 — AI 工程從零開始｜Phase 10 Part 1：從頭構建 LLM — Tokenization 的工程藝術

深入解析 LLM Tokenization：BPE/WordPiece/SentencePiece 演算法、詞彙表大小的工程取捨、多語言 Token 效率與 Tiktoken 生產實作

·20 min aiengineering
18

Part 18 — AI 工程從零開始｜Phase 9：強化學習基礎 — RLHF 與遊戲 AI 的根基

深入解析強化學習工程原理：MDP/Q-Learning/Policy Gradient/PPO/RLHF，理解 ChatGPT 背後的對齊訓練機制

·23 min aiengineering
17

Part 17 — AI 工程從零開始｜Phase 8 Part 2：GAN 與影片生成 — 對抗的藝術

深入解析 GAN 訓練動態、StyleGAN/CycleGAN 架構、影片生成系統設計，以及 GAN vs 擴散模型的工程選型決策

·20 min aiengineering
16

Part 16 — AI 工程從零開始｜Phase 8 Part 1：擴散模型 — 從雜訊到藝術的數學

深入解析擴散模型工程原理：DDPM/DDIM 前向與反向過程、Stable Diffusion 潛在空間架構、ControlNet/LoRA 微調、生產推論優化

·23 min aiengineering
15

Part 15 — AI 工程從零開始｜Phase 7 Part 2：Transformer 訓練策略與架構變體

深入解析 Transformer 訓練：學習率 Warmup/Schedule、梯度裁剪、混合精度訓練、Encoder-only/Decoder-only/Encoder-Decoder 架構選型，以及 MoE 混合專家系統

·23 min aiengineering
14

Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力

從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化

·23 min aiengineering
13

Part 13 — AI 工程從零開始｜Phase 6 Part 2：語音合成與音訊模型 — 讓機器開口說話

深入解析 TTS 工程架構：Tacotron/FastSpeech/VITS 聲學模型、聲碼器設計、情感語音合成、音樂生成與即時語音克隆系統

·20 min aiengineering
12

Part 12 — AI 工程從零開始｜Phase 6 Part 1：自動語音辨識 — 讓機器聽懂人類

深入解析 ASR 工程架構：聲學特徵提取（MFCC/Mel Spectrogram）、CTC/Attention 解碼、Whisper 架構與生產級語音辨識系統設計

·20 min aiengineering
11

Part 11 — AI 工程從零開始｜Phase 5 Part 3：進階 NLP — BERT、問答系統與語言理解

深入解析 BERT/RoBERTa/DeBERTa 預訓練策略、問答系統架構、文字摘要、機器翻譯評估與 NLP 生產系統的工程挑戰

·23 min aiengineering
10

Part 10 — AI 工程從零開始｜Phase 5 Part 2：Seq2Seq 與注意力機制 — Transformer 前夜

深入解析 RNN/LSTM/GRU 序列建模、Encoder-Decoder 架構、Bahdanau 注意力機制，理解 Transformer 取代 RNN 的工程動機

·23 min aiengineering
9

Part 9 — AI 工程從零開始｜Phase 5 Part 1：NLP 基礎 — 文字是智慧的介面

從詞袋到詞嵌入，掌握 NLP 工程師必備的文字前處理、TF-IDF、Word2Vec/GloVe/FastText 嵌入技術與文字分類生產架構

·23 min aiengineering
8

Part 8 — AI 工程從零開始｜Phase 4 Part 3：視覺語言模型、3D 視覺與世界模型

深入解析 CLIP/BLIP/LLaVA 視覺語言模型架構、NeRF/3D Gaussian Splatting 三維重建、以及 Sora 等影片生成世界模型的工程原理

·23 min aiengineering
7

Part 7 — AI 工程從零開始｜Phase 4 Part 2：目標偵測與語義分割 — 讓機器看懂空間

深入解析 YOLO/Faster-RCNN 目標偵測架構、Mask R-CNN 語義分割、IoU/mAP 評估框架與工業部署的延遲優化策略

·23 min aiengineering
6

Part 6 — AI 工程從零開始｜Phase 4 Part 1：電腦視覺基礎 — 從像素到 CNN 特徵

深入解析卷積神經網路的工程直覺：卷積運算、池化、ResNet/EfficientNet 架構演進、影像資料增強與遷移學習策略

·23 min aiengineering
5

Part 5 — AI 工程從零開始｜Phase 3：深度學習核心 — 從第一原理構建神經網路

從感知機到多層神經網路，理解反向傳播、激活函數、正則化與批次正規化的工程本質，不依賴框架手刻神經網路

·23 min aiengineering
4

Part 4 — AI 工程從零開始｜Phase 2 Part 2：集成學習與最佳化 — 超越單一模型的上限

深入解析 Random Forest、Gradient Boosting、XGBoost、超參數調優與 AutoML，理解集成方法為何在表格資料競賽與生產系統持續稱霸

·23 min aiengineering
3

Part 3 — AI 工程從零開始｜Phase 2 Part 1：傳統機器學習 — 生產 AI 的骨幹

深入解析線性回歸、邏輯回歸、決策樹、SVM、特徵工程等傳統 ML 技術為何在 80% 生產 AI 系統中仍是首選，附完整決策框架與量化比較

·23 min aiengineering
2

Part 2 — AI 工程從零開始｜Phase 1 Part 2：機率與統計 — 不確定性的數學語言

從工程師視角掌握 AI 必備的機率論與統計直覺：貝葉斯定理、最大概似估計、資訊理論、分佈假設背後的設計決策

·23 min aiengineering
1

Part 1 — AI 工程從零開始｜Phase 1 Part 1：線性代數與微積分 — AI 演算法直覺

從工程師視角掌握 AI 必備的線性代數與微積分直覺：向量、矩陣、梯度下降、反向傳播背後的數學原理，附 ASCII 架構圖與工程決策表

·23 min aiengineering
42

Part 42 — FDE 面試準備指南（四十二）：RKK 實戰——顧問技能：從「要 AI」到 POC 範圍定義的 Discovery 框架

以顧問視角拆解 FDE 的核心軟技能：三個顧問參與階段（Discovery → Technical Assessment → POC Proposal）、利害關係人影響力地圖、需求挖掘五個核心問題、POC 場景評分矩陣、Value Story 框架、常見客戶異議處理，以及 Why X not Y 的顧問方法論選型決策

·21 min aiengineering