#LLM
55 posts tagged "llm"
Part 1 — Hugging Face 實戰（一）：它到底是什麼，以及如何開始
從零認識 Hugging Face：Hub、Transformers、Datasets、Spaces 五大支柱的關係，帳號與 Token 設定、CLI 安裝、快取機制，以及三行程式碼跑起第一個模型。含完整可執行範例。
Part 1 — AIO / GEO - Part 1 - 概念篇：當搜尋結果不再是十條藍色連結
AIO（AI Overview）與 GEO（Generative Engine Optimization）到底在優化什麼？本篇釐清 SEO / AEO / GEO / LLMO 的定義邊界，拆解生成式引擎產生答案的內部流程，並提出一套從 Ranking 思維轉向 Citation Share 思維的可見度指標與成熟度模型。
Part 1 — FDE core topic - Context Management：Token 預算管理與上下文修剪策略
深入解析 LLM 有限上下文視窗的管理策略，涵蓋 Token 預算分配、滑動視窗截斷、階層式摘要壓縮與工具輸出修剪，幫助你在面試中展現生產級 AI 系統設計能力。
Part 1 — FDE 面試準備指南（一）：RAG 完全解析
以 Google AI 工程師兼面試官的視角，解析 FDE 面試中 RAG 最高頻考題，包含核心架構、Chunk 策略、幻覺改善、Hybrid Search 與實戰建議
Part 1 — AI Forward Deployed Engineer 必備技能指南（一）：基礎核心概念與技術棧
深入解析 AI FDE 角色所需的核心技術基礎，包含 Python 生態系統、深度學習框架、大語言模型基礎與提示工程技術
Part 1 — CrewAI 完全指南（一）：入門與核心概念——用多 Agent 協作解決複雜問題
從零開始學 CrewAI：什麼是多 Agent 協作框架、為什麼需要它、核心四大元件（Agent、Task、Crew、Tool）的詳細說明，以及你的第一個 CrewAI 應用程式。
Part 1 — RAG 完全指南（一）：基礎概念與你的第一個 RAG 系統
從零開始理解 RAG（Retrieval-Augmented Generation）：為什麼 LLM 需要外部知識、RAG 的核心架構是什麼，以及如何用 Python 實作一個最基本的 RAG pipeline。
Part 2 — Hugging Face 實戰（二）：用模型、跑 App、推送自己的模型
如何從兩百萬個 repo 中挑對模型、用四個抽象層載入它、用 Gradio 與 FastAPI + vLLM 把它變成服務，並把自己的模型完整推上 Hub。含量化、Spaces 部署與 Model Card 撰寫範例。
Part 2 — 如何衡量 AI 的準確度（二）：大型語言模型（LLM）的評估方法
LLM 的輸出沒有唯一標準答案，該怎麼客觀評估？本文介紹 BLEU、ROUGE、Perplexity、BERTScore 及 LLM-as-a-Judge 等方法，幫助你從多個維度評估語言模型的真實能力。
Part 3 — Hugging Face 實戰（三）：微調實戰 — Datasets、Trainer 與 LoRA/QLoRA
什麼時候才該微調？從資料準備、LoRA/QLoRA 原理、TRL SFTTrainer 完整訓練程式碼，到評估、合併、量化與部署的全流程。含超參數決策表與六種失敗模式診斷。
Part 3 — 如何衡量 AI 的準確度（三）：RAG 系統的可靠性評估框架
RAG 系統的評估遠不只是看回答品質，還要驗證檢索忠誠度與事實接地性。本文介紹 Faithfulness、Relevance、Context Precision 等 RAG 專屬指標，以及如何使用 RAGAS 框架自動化評估流程。
Part 4 — Hugging Face 實戰（四）：後訓練 — 從 SFT 到 DPO、ORPO 與 GRPO
後訓練不只是再微調一次。完整解析 DPO / ORPO / KTO / SimPO / GRPO 與 PPO 的差異、偏好資料怎麼準備、TRL 的完整訓練程式碼，以及如何評估對齊效果與偵測 reward hacking。
Part 4 — Knowledge Graph 知識圖譜（四）：結合 LLM — GraphRAG 與多跳推理
為什麼純向量 RAG 在多跳問題上失敗？GraphRAG 如何用知識圖譜補足、降低 LLM 幻覺。含 LangChain + Neo4j 的可跑程式碼與 Text2Cypher 實作。
Part 5 — Hugging Face 實戰（五）：端到端實戰 — 打造一個完整的 RAG 客服系統
把前四篇串起來：用 bge-m3 + FAISS + reranker + 微調模型，從文件切分、混合檢索、引用生成、FastAPI 服務化到 Gradio 部署與線上評估，一套可直接執行的完整專案程式碼。
Part 5 — Knowledge Graph 知識圖譜（五）：實戰 — 用 LLM 自動建構知識圖譜並做問答
端到端實戰：用 LLM 把純文字文件自動抽成三元組、寫入 Neo4j、再接 GraphRAG 做問答。完整可跑的 Python 程式碼與架構演進建議。
Part 9 — FDE 面試準備指南（九）：LLM 核心知識——Token、Prompt Engineering 與 Embedding
以 Google AI 工程師兼面試官的視角，整理 FDE 面試中最關鍵的 LLM 實用知識：Token 與 Context Window 的工程意涵、Prompt Engineering 五大技法，以及 Embedding 在語意搜尋中的原理與選型
Part 10 — FDE 面試準備指南（十）：RKK 實戰——AI Agent 的 Context Management
以系統設計視角拆解 AI Agent 的 Context Management：核心問題是什麼、有哪些策略、為什麼選這個、trade-off 怎麼算——含完整架構圖與面試答題框架
Part 12 — FDE 面試準備指南（十二）：RKK 實戰——AI Agent 統計評估與品質量化
以系統設計視角拆解 AI Agent 的 Evaluation Pipeline：核心問題是什麼、RAG 評估三角怎麼設計、LLM-as-Judge 的取捨、以及怎麼讓 eval 成為持續整合的一環——含完整架構圖
Part 13 — FDE 面試準備指南（十三）：RKK 實戰——Prompt Injection 攻防與 Agent 安全
以系統設計視角拆解 AI Agent 的安全架構：Prompt Injection 的兩類攻擊、為什麼 Agent 比純 LLM 危險 10 倍、五層防禦架構怎麼設計、OAuth 授權怎麼落地——含完整攻防架構圖
Part 18 — FDE 面試準備指南（十八）：RKK 實戰——三層記憶體架構與 LLM 成本調優
以系統設計視角拆解企業級 Agent 的三層記憶體設計：Working Memory 成本控制、Semantic Long-term Memory 的異步壓縮流程、Profile Memory 的結構化提取——以及每個設計決策背後的成本與延遲 trade-off
Part 19 — AI 工程從零開始｜Phase 10 Part 1：從頭構建 LLM — Tokenization 的工程藝術
深入解析 LLM Tokenization：BPE/WordPiece/SentencePiece 演算法、詞彙表大小的工程取捨、多語言 Token 效率與 Tiktoken 生產實作
Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰
深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配
Part 21 — AI 工程從零開始｜Phase 10 Part 3：LLM 微調 — LoRA、QLoRA 與指令對齊
深入解析 LLM 微調策略：LoRA/QLoRA 低秩分解原理、SFT 指令資料品質、PEFT 家族比較、微調陷阱與生產部署的工程決策
Part 22 — AI 工程從零開始｜Phase 11 Part 1：LLM 推論工程 — 從實驗到每秒千次請求
深入解析 LLM 生產推論：vLLM PagedAttention、連續批次、投機解碼、量化（GPTQ/AWQ/INT4）、推論成本優化與 SLA 設計
Part 23 — AI 工程從零開始｜Phase 11 Part 2：RAG 系統與 LLM 評估 — 生產落地的最後一哩
深入解析 RAG 架構設計：向量資料庫選型、Hybrid Search、Re-ranking、Chunking 策略，以及 LLM 評估框架：RAGAS/G-Eval/LLM-as-Judge