#ORPO

Part 4 — Hugging Face 實戰（四）：後訓練 — 從 SFT 到 DPO、ORPO 與 GRPO

後訓練不只是再微調一次。完整解析 DPO / ORPO / KTO / SimPO / GRPO 與 PPO 的差異、偏好資料怎麼準備、TRL 的完整訓練程式碼，以及如何評估對齊效果與偵測 reward hacking。