#RAG
43 posts tagged "rag"
Part 1 — Mem0 Intro Part 1 — 全景架構 — 為什麼 Agent 需要一個記憶層而不是更長的上下文
Mem0 原始碼導讀系列第一篇：用一張全景圖說清楚這個 6.5 萬星的 AI Agent 記憶層由哪些子系統組成、寫入與讀取兩條路徑各自經過哪些階段、記憶的作用域模型怎麼設計，以及為什麼「把歷史全部塞進 context」在生產環境會失效。
Part 1 — RAGFlow Intro Part 1 — 全景架構 — 從一份 PDF 到一句帶引用的答案
RAGFlow 原始碼導讀系列第一篇：用一張全景圖與兩條資料路徑，說清楚這個 9 萬星的開源 RAG 引擎由哪些子系統組成、一份 PDF 進來之後經過哪些階段、以及它在架構上做了哪些與眾不同的取捨。
Part 1 — AIO / GEO - Part 1 - 概念篇：當搜尋結果不再是十條藍色連結
AIO（AI Overview）與 GEO（Generative Engine Optimization）到底在優化什麼？本篇釐清 SEO / AEO / GEO / LLMO 的定義邊界，拆解生成式引擎產生答案的內部流程，並提出一套從 Ranking 思維轉向 Citation Share 思維的可見度指標與成熟度模型。
Part 1 — FDE core topic - Context Management：Token 預算管理與上下文修剪策略
深入解析 LLM 有限上下文視窗的管理策略，涵蓋 Token 預算分配、滑動視窗截斷、階層式摘要壓縮與工具輸出修剪，幫助你在面試中展現生產級 AI 系統設計能力。
Part 1 — FDE 面試準備指南（一）：RAG 完全解析
以 Google AI 工程師兼面試官的視角，解析 FDE 面試中 RAG 最高頻考題，包含核心架構、Chunk 策略、幻覺改善、Hybrid Search 與實戰建議
Part 1 — RAG 完全指南（一）：基礎概念與你的第一個 RAG 系統
從零開始理解 RAG（Retrieval-Augmented Generation）：為什麼 LLM 需要外部知識、RAG 的核心架構是什麼，以及如何用 Python 實作一個最基本的 RAG pipeline。
Part 2 — RAGFlow Intro Part 2 — 資料進場 — DeepDoc 解析、Chunking 策略與 14 種模板
RAGFlow 原始碼導讀系列第二篇：拆解 DeepDoc 的 OCR／版面辨識／表格結構辨識三層視覺管線、五條解析後端路線、14 種 chunk 模板各自的結構假設，以及 naive_merge 的切分契約與 chunk 加值管線的真實成本。
Part 2 — AIO / GEO - Part 2 - 原理篇：AI 引擎如何檢索、選擇與引用你的內容
拆解生成式引擎的檢索管線：AI crawler 名單與行為差異、內容如何被切成 chunk、rerank 階段淘汰了什麼、grounding 如何決定引用誰。附 8 個讓頁面永遠不被引用的技術死因與逐項診斷方法。
Part 2 — RAG 完全指南（二）：Chunking 策略與向量資料庫選型
深入探討 RAG 系統的兩個核心基礎：如何切塊才能保留語意完整性，以及如何選擇適合的向量資料庫。包含五種 Chunking 策略比較與主流向量 DB 的實測比較。
Part 3 — RAGFlow Intro Part 3 — Encode 與 Save — 向量化、索引 Schema 與雙引擎抽象
RAGFlow 原始碼導讀系列第三篇：拆解混合向量（0.1 檔名 + 0.9 內容）的設計理由、批次與截斷策略、以後綴驅動的動態 ES mapping、把 TF 壓成 min(freq,1) 的自訂相似度，以及支撐六種 doc engine 的儲存抽象層。
Part 3 — AI Forward Deployed Engineer 必備技能指南（三）：企業級 AI 整合與部署策略
深入探討企業級 AI 系統整合策略，包含雲端平台部署、安全性管理、RAG 架構設計與企業數據管道建構
Part 3 — 如何衡量 AI 的準確度（三）：RAG 系統的可靠性評估框架
RAG 系統的評估遠不只是看回答品質，還要驗證檢索忠誠度與事實接地性。本文介紹 Faithfulness、Relevance、Context Precision 等 RAG 專屬指標，以及如何使用 RAGAS 框架自動化評估流程。
Part 3 — RAG 完全指南（三）：進階檢索技術——混合搜尋、HyDE、Multi-Query、Reranker
Naive RAG 的搜尋精準度不夠？本篇深入四大進階檢索技術：BM25 混合搜尋、假設性文件嵌入（HyDE）、多查詢檢索（Multi-Query）、以及 Cross-Encoder Reranker，每個都有核心原理、程式碼與最佳使用場景。
Part 4 — RAGFlow Intro Part 4 — Decode 與檢索 — 混合搜尋、Rerank、GraphRAG/RAPTOR 與引用
RAGFlow 原始碼導讀系列第四篇：逐行拆解查詢編譯器如何把一句人話變成加權布林查詢、ES 與 Infinity 兩條融合路徑的差異、三層重排的權重公式、GraphRAG 與 RAPTOR 的成本與時機，以及不依賴 LLM 服從度的引用對齊演算法。
Part 4 — Knowledge Graph 知識圖譜（四）：結合 LLM — GraphRAG 與多跳推理
為什麼純向量 RAG 在多跳問題上失敗？GraphRAG 如何用知識圖譜補足、降低 LLM 幻覺。含 LangChain + Neo4j 的可跑程式碼與 Text2Cypher 實作。
Part 4 — FDE core topic - Hybrid Search & RRF：混合檢索與倒數排名融合演算法
深入解析混合檢索（Dense + Sparse）與 Reciprocal Rank Fusion 的核心原理、實作層次及面試答題策略，涵蓋 BM25、HNSW、SPLADE、Vertex AI Search 等關鍵技術與具體效能數字。
Part 4 — FDE 面試準備指南（四）：System Design 實戰
以 Google AI 工程師兼面試官的視角，完整拆解兩道 FDE 高頻系統設計題：企業知識庫 Chatbot 與 Internal AI Copilot，含 Auth、RBAC、Cache、NL2SQL 的設計決策與 trade-off
Part 4 — RAG 完全指南（四）：查詢轉換、Self-RAG 與 Context 壓縮
當問題本身就是問題：深入三大 RAG 優化技術——Step-Back Prompting、Self-RAG 自我反思、以及 Context Compression。了解它們的核心原理、實作方式、優缺點與最佳使用場景。
Part 5 — RAGFlow Intro Part 5 — 系統與程式碼結構 — 服務分層、Task Executor 與 Go 遷移
RAGFlow 原始碼導讀系列最終篇：拆解進程拓撲與水平擴充參數、四層服務分層、Redis Stream 任務系統的 13 種任務型別、Agent Canvas 與 ingestion Pipeline 兩套 DAG 引擎，以及正在進行中的 Python → Go 遷移。
Part 5 — Hugging Face 實戰（五）：端到端實戰 — 打造一個完整的 RAG 客服系統
把前四篇串起來：用 bge-m3 + FAISS + reranker + 微調模型，從文件切分、混合檢索、引用生成、FastAPI 服務化到 Gradio 部署與線上評估，一套可直接執行的完整專案程式碼。
Part 5 — FDE core topic - Re-ranking & Cross-Encoder：向量粗召回後的精準重排序機制
深入拆解兩階段檢索架構——ANN 快速粗召回搭配 Cross-Encoder 精準重排，如何將 RAG 系統的 MRR@5 從 0.61 提升至 0.79、幻覺率降低 40%。
Part 5 — FDE 面試準備指南（五）：RAG 深度技術——Chunking、Embedding、向量資料庫與混合搜尋
以 Google AI 工程師兼面試官的視角，深度拆解 RAG 的技術細節：Chunking 策略選擇、Embedding 模型挑選、向量資料庫設計、混合搜尋與 Reranking，以及 Context Window 爆炸的處理方式
Part 5 — RAG 完全指南（五）：生產級評估、GraphRAG 與 Agentic RAG
RAG 系列終章：如何用 RAGAS 框架量化評估 RAG 品質、GraphRAG 如何用知識圖譜突破向量搜尋的限制，以及 Agentic RAG 如何讓 AI Agent 主動決策何時搜尋、搜尋什麼。
Part 6 — FDE 面試準備指南（六）：RAG 進階——檢索失敗、Grounding、評估指標與成本控制
以 Google AI 工程師兼面試官的視角，深度拆解 RAG 系統的四大進階主題：檢索失敗的原因與修復、Grounding 策略、RAG 評估指標設計，以及生產環境中的成本控制
Part 9 — FDE 面試準備指南（九）：LLM 核心知識——Token、Prompt Engineering 與 Embedding
以 Google AI 工程師兼面試官的視角，整理 FDE 面試中最關鍵的 LLM 實用知識：Token 與 Context Window 的工程意涵、Prompt Engineering 五大技法，以及 Embedding 在語意搜尋中的原理與選型