https://yennj12.js.org/yennj12_blog_V4/tags/stable-diffusion/Recent content in Stable Diffusion on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 16:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase8-part1-diffusion-models-zh/Sun, 21 Jun 2026 16:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase8-part1-diffusion-models-zh/大多數人認為擴散模型「就是反覆去雜訊」。 面試官想聽到的是：你能說明前向過程的閉合解、DDIM 的隱式馬可夫假設、以及為什麼潛在空間能讓 1024×1024 生成在消費級 GPU 上跑起來。 差距不在知道有 Stable Diffusion，而在能精確量化每個設計決策的成本與效益。 本文帶你從數學推導到生產部署，一次打通。 面試情境：你負責為一個電商平台設計商品圖片自動生成系統，需要在 3 秒內生成 512×512 的商品展示圖，每日峰值 10 萬張，成本預算每張 $0.002。請描述你選擇的模型架構、推論優化策略，以及如何處理風格一致性問題。 一、核心問題：生成模型的本質——學習資料分佈 生成模型的核心目標是學習一個隱含的資料分佈 $p_{data}(x)$，然後從中採樣出新的樣本。這個問題有三條路： GAN（對抗生成）：訓練一個生成器欺騙判別器。快、生成品質高，但訓練不穩定（模式崩潰），很難控制生成內容。 VAE（變分自編碼器）：學習潛在空間分佈，生成多樣但往往模糊，因為優化的是像素級 L2 loss。 擴散模型（Diffusion Model）：將資料生成過程建模為逐步去雜訊的馬可夫鏈。訓練穩定、生成品質極高、天然支援條件控制——但推論慢。 關鍵張力：生成品質 vs. 推論速度 vs. 條件可控性。三者難以同時最優。擴散模型在品質和可控性上勝出，工程挑戰集中在速度。 二、三個演進階段（POC → MVP → Scale） ╔══ Phase 1：POC（< 1K 日生成量）══╗ 目標：驗證生成品質，選型，跑通 pipeline。 ┌─────────────────────────────────────────────────────┐ │ Phase 1 架構 │ │ │ │ 使用者 Prompt ──▶ HuggingFace Diffusers API │ │ │ │ │ ▼ │ │ Stable Diffusion v1.