#BERT

2 posts tagged "bert"

11

Part 11 — AI 工程從零開始｜Phase 5 Part 3：進階 NLP — BERT、問答系統與語言理解

深入解析 BERT/RoBERTa/DeBERTa 預訓練策略、問答系統架構、文字摘要、機器翻譯評估與 NLP 生產系統的工程挑戰

·23 min
15

Part 15 — AI 工程從零開始｜Phase 7 Part 2：Transformer 訓練策略與架構變體

深入解析 Transformer 訓練：學習率 Warmup/Schedule、梯度裁剪、混合精度訓練、Encoder-only/Decoder-only/Encoder-Decoder 架構選型，以及 MoE 混合專家系統

·23 min