https://yennj12.js.org/yennj12_blog_V4/tags/xgboost/Recent content in XGBoost on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 10:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase2-part2-ensemble-optimization-zh/Sun, 21 Jun 2026 10:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase2-part2-ensemble-optimization-zh/大多數工程師遇到瓶頸時，會去換一個更複雜的模型。 真正的做法是：把多個「夠好的模型」組合起來。 單棵決策樹 Accuracy 70%，一千棵樹投票後達到 91%。 集成不是魔法，而是偏差–變異數分解的數學必然。 面試情境 面試官： 你們公司的信用風險模型已上線，目前用單一 XGBoost，AUC 0.84。產品希望 AUC 提升到 0.88 以上，但訓練資料不能增加、特徵工程已飽和。請說明你會採取哪些策略，並解釋為什麼選擇這些方法而非其他替代方案？推論延遲需維持在 50ms 以內，每日預測量約 500 萬次。 一、核心問題：單一模型的天花板與集成的突破 1.1 偏差–變異數困境 機器學習的核心矛盾可以用一個公式描述： 期望錯誤 = Bias² + Variance + 不可減少的噪音 高偏差（High Bias）：模型太簡單，欠擬合。線性回歸在非線性問題上的典型症狀。 高變異數（High Variance）：模型太複雜，過擬合。深度決策樹在小資料集的典型症狀。 單一模型在這條光譜上只能找到一個平衡點。你無法同時大幅降低偏差和變異數——除非你使用集成方法。 1.2 為什麼集成能突破天花板 Bagging（自助聚合） 降低變異數： 對同一資料集做多次 bootstrap 取樣 每個子模型看到不同的資料子集，學到不同的模式 N 個獨立模型的平均值，變異數是單模型的 1/N（若模型間相關性為 0） Boosting（提升法） 降低偏差： 序列訓練，每個新模型專注修正前一個模型的錯誤 把 N 個「弱學習器（Weak Learner）」串聯，逼近任意複雜的函數 Stacking（堆疊） 同時降低偏差與變異數： 不同類型的模型抓到不同的資料模式 Meta-learner 學習如何最佳組合這些互補的預測 1.3 實際數字 方法 典型 AUC 提升幅度 訓練時間倍增 推論時間倍增 單一決策樹 → Random Forest +0.https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part8-ml-fundamentals-zh/Sun, 31 May 2026 10:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-interview-guide-part8-ml-fundamentals-zh/FDE 不是 ML 研究員，你不需要推導反向傳播的數學。 但你必須在面試官提到 XGBoost、Attention、Regularization 這些詞時， 能夠自然地接話，而不是露出「我需要查一下」的表情。 這篇整理的是「必須熟悉到反應是直覺的」那個程度。 一、傳統機器學習基礎 Supervised Learning（監督式學習） 監督式學習的本質：從有標籤的資料中學習一個 mapping function。 f(X) → Y X = 特徵（features） Y = 標籤（labels） 兩大任務類型： Regression（回歸）：Y 是連續值（房價預測、銷售量預測） Classification（分類）：Y 是離散類別（垃圾郵件判斷、圖片分類） Linear Regression（線性回歸） 最簡單的回歸模型： ŷ = w₁x₁ + w₂x₂ + ... + wₙxₙ + b 訓練目標：最小化 MSE（Mean Squared Error）： MSE = (1/n) × Σ(yᵢ - ŷᵢ)² 面試要能說的重點： 假設特徵和目標之間是線性關係 對 outlier 敏感（因為誤差平方放大了異常值的影響） 多重共線性（features 之間高度相關）會讓模型不穩定 Logistic Regression（邏輯回歸） 名字有 Regression，但其實是分類模型。 把線性組合通過 sigmoid 函數轉成機率： p = sigmoid(w·x + b) = 1 / (1 + e^(-z)) 輸出的是 P(Y=1|X)，閾值（通常 0.