#Transformer

4 posts tagged "transformer"

3

Part 3 — FDE 面試準備指南（三）：你不能忽略的 ML 基礎

以 Google AI 工程師兼面試官的視角，整理 FDE 面試中仍然高頻的傳統 ML / AI 基礎知識，包含 Transformer、Embedding、評估指標與 Fine-tuning 的工程視角

·13 min
8

Part 8 — FDE 面試準備指南（八）：ML 基礎必備——從傳統機器學習到 Deep Learning

以 Google AI 工程師兼面試官的視角，系統整理 FDE 面試不能缺的 ML 基礎：Supervised Learning、評估指標、Overfitting 處理，以及從 MLP 到 Transformer 的 Deep Learning 核心概念

·18 min
14

Part 14 — AI 工程從零開始｜Phase 7 Part 1：Transformer 架構深度解析 — 改變一切的注意力

從工程師視角完整解析 Transformer：Multi-Head Attention 矩陣計算、位置編碼、KV Cache、Flash Attention 與 MQA/GQA 生產優化

·23 min
15

Part 15 — AI 工程從零開始｜Phase 7 Part 2：Transformer 訓練策略與架構變體

深入解析 Transformer 訓練：學習率 Warmup/Schedule、梯度裁剪、混合精度訓練、Encoder-only/Decoder-only/Encoder-Decoder 架構選型，以及 MoE 混合專家系統

·23 min