https://yennj12.js.org/yennj12_blog_V4/tags/pretraining/Recent content in Pretraining on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 18:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase10-part2-pretraining-zh/Sun, 21 Jun 2026 18:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase10-part2-pretraining-zh/大多數人以為預訓練只是「把資料丟進去跑就好」。 現實是：70% 的工時花在資料清洗，20% 花在除錯 Loss Spike， 只有 10% 是真正的訓練時間。 預訓練是 LLM 工程中最貴、最脆弱、也最決定性的一步。 面試情境： 假設你是某 AI 新創的基礎架構工程師，團隊計畫訓練一個 7B 參數的 LLM，預算 $500K，目標是在 3 個月內完成預訓練。請說明你會如何規劃資料管線、選擇分散式訓練策略，以及如何監控並從 Loss Spike 中恢復？ 一、核心問題：預訓練為什麼是 LLM 最貴的一步 預訓練（Pretraining）是 LLM 生命週期中的「原始碼編譯」——一旦做錯，後續的 Fine-tuning、RLHF、RAG 全都是在一個有缺陷的基礎上打補丁。 成本規模感： 模型 參數量 訓練 Token GPU 小時 估計成本 GPT-3 175B 300B ~3.5M A100 小時 ~$4.6M LLaMA-2 7B 7B 2T ~180K A100 小時 ~$240K LLaMA-2 70B 70B 2T ~1.7M A100 小時 ~$2.3M Mistral 7B 7B 1T ~120K A100 小時 ~$160K 一次「失敗的」預訓練跑到 80% 才發現資料有問題，等於直接燒掉 $100K–$3.