#Attention

2 posts tagged "attention"

10

Part 10 — AI 工程從零開始｜Phase 5 Part 2：Seq2Seq 與注意力機制 — Transformer 前夜

深入解析 RNN/LSTM/GRU 序列建模、Encoder-Decoder 架構、Bahdanau 注意力機制，理解 Transformer 取代 RNN 的工程動機

·23 min
14

Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力

從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化

·23 min