https://yennj12.js.org/yennj12_blog_V4/tags/rlhf/Recent content in RLHF on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 17:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase9-part1-rl-fundamentals-zh/Sun, 21 Jun 2026 17:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase9-part1-rl-fundamentals-zh/大多數人以為強化學習只是遊戲 AI 的黑魔法； 實際上，RLHF 是讓 LLM 從「會說話」進化到「說對話」的核心技術。 大多數人以為 PPO 太複雜所以跳過； 實際上，理解 clip ratio ε=0.2 背後的直覺，才能真正設計對齊系統。 面試情境： 你是某家 AI 新創的首席工程師。產品已用 SFT 微調出一個能回答問題的 LLM，但用戶反映模型有時給出危險建議、有時過度冗長、有時迴避有用資訊。CTO 要求你在六週內讓模型「更符合人類期望」。你會設計怎樣的對齊訓練流程？請從框架選擇、資料收集、訓練穩定性、評估指標四個維度說明。 一、核心問題：為什麼 LLM 需要強化學習 1.1 Supervised Fine-Tuning 的天花板 SFT（Supervised Fine-Tuning）本質是「模仿學習」——模型學習複製人類示範的文字。這個方法有三個根本限制： 限制一：示範資料的稀缺性 高品質的完整對話示範成本極高（每條 $5–50 美元標注成本） 1M 條示範資料 ≈ $5M–50M，難以覆蓋所有場景 限制二：偏好無法直接最大化 人類知道「哪個回答更好」，但無法輕易寫出「最好的回答」 SFT 學的是「做什麼」，而非「為什麼這樣做最好」 限制三：分佈外泛化失敗 SFT 模型在訓練分佈外的 prompt 上容易退化 模型無法自主探索比示範更優的解答 強化學習解決的核心問題是：讓模型在與環境（或人類偏好模型）互動的過程中，學習最大化長期獎勵。 1.2 RL 在 AI 對齊中的角色 傳統訓練流程（純 SFT）： 人類寫示範 ──▶ MLE 損失 ──▶ 模型複製行為 問題：模型學的是「平均人類行為」，非「最優人類行為」 RLHF 訓練流程： 人類比較偏好 ──▶ 獎勵模型 ──▶ PPO 最大化獎勵 優勢：模型學的是「人類偏好的方向」，能超越示範品質 InstructGPT（ChatGPT 前身）論文的核心數字：https://yennj12.js.org/yennj12_blog_V4/posts/llm-post-training-approaches-open-source-zh/Fri, 13 Mar 2026 10:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/llm-post-training-approaches-open-source-zh/全面介紹開源 LLM 的 Post-Training 方法，包含 SFT、RLHF、DPO、ORPO、持續預訓練等技術，以 Qwen 為範例，深入分析各方法的優缺點、所需資源與適用場景，幫助你選擇最合適的訓練策略。