https://yennj12.js.org/yennj12_blog_V4/tags/calculus/Recent content in Calculus on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase1-part1-linear-algebra-zh/Sun, 21 Jun 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase1-part1-linear-algebra-zh/大多數工程師：「我會呼叫 model.fit()，數學交給論文作者就好。」 資深 AI 工程師：「我需要知道梯度為什麼爆炸、Loss 為什麼不收斂、為什麼換個 optimizer 差了 3 倍速度。」 前者能跑範例，後者能解問題。 數學不是門檻，是你除錯和優化的第一把鑰匙。 面試情境 你正在為一個推薦系統訓練 Embedding 模型。訓練第 5 個 epoch 後 loss 突然從 0.8 跳到 NaN，GPU 使用率正常、資料沒問題。請問你會從哪些數學角度切入診斷？你會如何用線性代數和微積分的知識判斷根本原因並修復？ 一、核心問題：為什麼 AI 工程師必須懂數學 很多人進入 AI 領域的第一印象是：「PyTorch / TensorFlow 已經幫你做好了，直接呼叫 API 就好。」這個觀點在 demo 階段是對的，但在 production 階段會讓你的除錯能力幾乎為零。 現實場景中會遇到的問題： Loss 收斂到一個局部最小值，但業務指標沒有改善 → 你需要理解 Loss landscape 的幾何形狀 Gradient Explosion：第 N epoch 後 loss 變成 NaN → 你需要理解梯度的數值行為 模型推論速度比預期慢 10 倍 → 你需要理解矩陣運算的複雜度與硬體加速原理 換了一個 optimizer 後訓練曲線震盪變大 → 你需要理解各 optimizer 的動量機制 加了 L2 regularization 後模型卻更 overfit → 你需要理解正則化的數學含義 這些問題沒有辦法靠 Stack Overflow 直接解決，因為症狀背後的原因需要數學直覺才能定位。