#LLM
42 posts tagged "llm"
Part 1 — FDE core topic - Context Management：Token 預算管理與上下文修剪策略
深入解析 LLM 有限上下文視窗的管理策略，涵蓋 Token 預算分配、滑動視窗截斷、階層式摘要壓縮與工具輸出修剪，幫助你在面試中展現生產級 AI 系統設計能力。
Part 1 — FDE 面試準備指南（一）：RAG 完全解析
以 Google AI 工程師兼面試官的視角，解析 FDE 面試中 RAG 最高頻考題，包含核心架構、Chunk 策略、幻覺改善、Hybrid Search 與實戰建議
Part 1 — AI Forward Deployed Engineer 必備技能指南（一）：基礎核心概念與技術棧
深入解析 AI FDE 角色所需的核心技術基礎，包含 Python 生態系統、深度學習框架、大語言模型基礎與提示工程技術
Part 1 — CrewAI 完全指南（一）：入門與核心概念——用多 Agent 協作解決複雜問題
從零開始學 CrewAI：什麼是多 Agent 協作框架、為什麼需要它、核心四大元件（Agent、Task、Crew、Tool）的詳細說明，以及你的第一個 CrewAI 應用程式。
Part 1 — RAG 完全指南（一）：基礎概念與你的第一個 RAG 系統
從零開始理解 RAG（Retrieval-Augmented Generation）：為什麼 LLM 需要外部知識、RAG 的核心架構是什麼，以及如何用 Python 實作一個最基本的 RAG pipeline。
Part 2 — 如何衡量 AI 的準確度（二）：大型語言模型（LLM）的評估方法
LLM 的輸出沒有唯一標準答案，該怎麼客觀評估？本文介紹 BLEU、ROUGE、Perplexity、BERTScore 及 LLM-as-a-Judge 等方法，幫助你從多個維度評估語言模型的真實能力。
Part 3 — 如何衡量 AI 的準確度（三）：RAG 系統的可靠性評估框架
RAG 系統的評估遠不只是看回答品質，還要驗證檢索忠誠度與事實接地性。本文介紹 Faithfulness、Relevance、Context Precision 等 RAG 專屬指標，以及如何使用 RAGAS 框架自動化評估流程。
Part 4 — Knowledge Graph 知識圖譜（四）：結合 LLM — GraphRAG 與多跳推理
為什麼純向量 RAG 在多跳問題上失敗？GraphRAG 如何用知識圖譜補足、降低 LLM 幻覺。含 LangChain + Neo4j 的可跑程式碼與 Text2Cypher 實作。
Part 5 — Knowledge Graph 知識圖譜（五）：實戰 — 用 LLM 自動建構知識圖譜並做問答
端到端實戰：用 LLM 把純文字文件自動抽成三元組、寫入 Neo4j、再接 GraphRAG 做問答。完整可跑的 Python 程式碼與架構演進建議。
Part 9 — FDE 面試準備指南（九）：LLM 核心知識——Token、Prompt Engineering 與 Embedding
以 Google AI 工程師兼面試官的視角，整理 FDE 面試中最關鍵的 LLM 實用知識：Token 與 Context Window 的工程意涵、Prompt Engineering 五大技法，以及 Embedding 在語意搜尋中的原理與選型
Part 10 — FDE 面試準備指南（十）：RKK 實戰——AI Agent 的 Context Management
以系統設計視角拆解 AI Agent 的 Context Management：核心問題是什麼、有哪些策略、為什麼選這個、trade-off 怎麼算——含完整架構圖與面試答題框架
Part 12 — FDE 面試準備指南（十二）：RKK 實戰——AI Agent 統計評估與品質量化
以系統設計視角拆解 AI Agent 的 Evaluation Pipeline：核心問題是什麼、RAG 評估三角怎麼設計、LLM-as-Judge 的取捨、以及怎麼讓 eval 成為持續整合的一環——含完整架構圖
Part 13 — FDE 面試準備指南（十三）：RKK 實戰——Prompt Injection 攻防與 Agent 安全
以系統設計視角拆解 AI Agent 的安全架構：Prompt Injection 的兩類攻擊、為什麼 Agent 比純 LLM 危險 10 倍、五層防禦架構怎麼設計、OAuth 授權怎麼落地——含完整攻防架構圖
Part 18 — FDE 面試準備指南（十八）：RKK 實戰——三層記憶體架構與 LLM 成本調優
以系統設計視角拆解企業級 Agent 的三層記憶體設計：Working Memory 成本控制、Semantic Long-term Memory 的異步壓縮流程、Profile Memory 的結構化提取——以及每個設計決策背後的成本與延遲 trade-off
Part 19 — AI 工程從零開始｜Phase 10 Part 1：從頭構建 LLM — Tokenization 的工程藝術
深入解析 LLM Tokenization：BPE/WordPiece/SentencePiece 演算法、詞彙表大小的工程取捨、多語言 Token 效率與 Tiktoken 生產實作
Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰
深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配
Part 21 — AI 工程從零開始｜Phase 10 Part 3：LLM 微調 — LoRA、QLoRA 與指令對齊
深入解析 LLM 微調策略：LoRA/QLoRA 低秩分解原理、SFT 指令資料品質、PEFT 家族比較、微調陷阱與生產部署的工程決策
Part 22 — AI 工程從零開始｜Phase 11 Part 1：LLM 推論工程 — 從實驗到每秒千次請求
深入解析 LLM 生產推論：vLLM PagedAttention、連續批次、投機解碼、量化（GPTQ/AWQ/INT4）、推論成本優化與 SLA 設計
Part 23 — AI 工程從零開始｜Phase 11 Part 2：RAG 系統與 LLM 評估 — 生產落地的最後一哩
深入解析 RAG 架構設計：向量資料庫選型、Hybrid Search、Re-ranking、Chunking 策略，以及 LLM 評估框架：RAGAS/G-Eval/LLM-as-Judge
Part 28 — AI 工程從零開始｜Phase 14 Part 1：Agent 迴圈與記憶系統 — 從單次呼叫到自主行動
深入解析 AI Agent 工程基礎：ReAct/Reflexion 思考迴圈、記憶系統四層架構（感官/工作/情節/語意）、上下文管理與 Agent 狀態機設計
Part 37 — AI 工程從零開始｜Phase 17 Part 2：AI 系統可觀測性 — 當模型行為成為監控對象
深入解析 AI 系統可觀測性工程：LLM 追蹤（Traces/Spans）、提示版本管理、模型效能漂移偵測、成本歸因分析與 AI 告警策略
Part 44 — FDE 面試準備指南（四十四）：RKK 實戰——長文本 LLM 與 RAG 動態混合路由架構設計
深度拆解長文本 LLM（200 萬 Token 上下文）與傳統 RAG 的動態混合架構：為什麼超大 Context Window 仍需 RAG、如何設計智能上下文管理器（Dynamic Hybrid Router）、Vertex AI Context Caching Registry 快取策略、成本矩陣（$2.50 vs $0.001）、降級策略、RRF 融合機制，以及 Staff 級 FDE 面試的完整答題框架
Part 45 — FDE 面試指南 Part 45：Agent 工具鏈的間接提示詞注入防禦設計
深度解析間接提示詞注入（Indirect Prompt Injection）在 Agent 工具鏈的防禦架構，涵蓋雙模型特權分離、Cloud Run VPC 沙盒隔離、Pydantic Schema 強型別校驗，適合 Staff FDE 面試備考。
Part 47 — FDE 面試準備指南（四十七）：RKK 實戰——大模型與地端微型模型的智慧混合路由與冷啟動優化
深度拆解 Edge/On-Premise 小模型與雲端大模型的雙軌路由架構：基於 Token 概率熵值的早停路由（Early-Exit Confidence Routing）、vLLM logprobs API 整合、PII 強制本地路由、冷啟動優化策略，以及三個演進階段的完整系統設計
Part 48 — FDE 面試指南 Part 48：高可靠性 Agent Graph 的多重工具 Fallback 與自我修復機制
深入解析如何在 LangGraph 中設計 Compiler-Validator Pattern，透過 Pydantic 強型別校驗、Critic Agent 反思重寫、Circuit Breaker 與 Human-in-the-loop，打造能自我修復的高可靠性供應鏈 Agent 架構。