https://yennj12.js.org/yennj12_blog_V4/tags/attention/Recent content in Attention on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 15:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase5-part2-seq2seq-attention-zh/Sun, 21 Jun 2026 13:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase5-part2-seq2seq-attention-zh/大多數人把 RNN 當作「處理序列的工具」，把 LSTM 當作「改良版 RNN」，就停在這裡了。 真正的工程師會問：為什麼固定長度的 context vector 是瓶頸？注意力機制解決了什麼具體問題？ Transformer 不是憑空出現的魔法，它是對 RNN 家族每一個痛點的系統性回應。 理解這段歷史，你才能真正讀懂「Attention is All You Need」。 面試情境：「你正在設計一個英中機器翻譯系統，句子長度最長 200 個 token。請說明你會選擇哪種架構，為什麼不直接用純 RNN，LSTM 與 GRU 在這個場景下如何選擇，以及如果引入注意力機制，架構上需要做哪些改變？」 一、核心問題：序列資料的特殊挑戰 一般的前饋神經網路（Feedforward NN）假設輸入之間互相獨立，但語言、時間序列、語音等資料天生帶有順序依賴： 「我昨天沒有吃飯」與「我昨天沒有喝飯」—— 語義完全不同，差異在第五個字 翻譯「The animal didn’t cross the street because it was too tired」—— “it” 指的是 animal 還是 street？需要回顧前文 股票預測：今天的價格取決於過去 N 天的走勢 序列建模的三大工程挑戰： 挑戰 具體現象 工程代價 可變長度輸入 句子從 5 到 500 token 不等 固定大小向量無法直接處理 長程依賴 200 token 前的主語影響動詞 梯度消失導致無法學習 順序計算瓶頸 t 步必須等 t-1 步完成 無法並行，GPU 利用率低 這三個問題，RNN → LSTM/GRU → Seq2Seq+Attention → Transformer，每一步都是針對前一步遺留問題的工程解法。https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase7-part1-transformer-architecture-zh/Sun, 21 Jun 2026 15:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase7-part1-transformer-architecture-zh/大多數人覺得 Transformer 就是「注意力機制加上前饋網路」，說完就結束了。 真正的工程師知道：矩陣分塊如何影響 GPU 記憶體帶寬，KV Cache 如何讓首 token 延遲從 8s 降到 400ms， 為什麼 GQA 能在保持 95% 品質的前提下省掉 75% 的快取記憶體。 架構不是魔法——它是一系列在硬體限制下做出的工程取捨。 面試情境：「你負責將一個 7B 參數的 LLM 部署到生產環境，P99 首 token 延遲必須 < 500ms，批次吞吐量 > 200 req/s，GPU 記憶體預算 40GB。請說明你會在 Transformer 架構層面做哪些優化決策，以及你如何取捨精度與速度。」 一、核心問題：為什麼 Transformer 取代了一切 1.1 RNN/LSTM 的根本瓶頸 在 Transformer 出現之前，序列模型靠 RNN 與 LSTM。它們有一個無法繞開的硬傷：序列依賴（sequential dependency）。 時間步 t=1 → t=2 → t=3 → ... → t=n 每步必須等上一步完成，無法並行 後果： 訓練速度隨序列長度線性增長 梯度消失導致長距依賴難以學習 GPU 大量計算資源閒置（利用率 < 30%） 1.