#RAG
30 posts tagged "rag"
Part 1 — FDE core topic - Context Management：Token 預算管理與上下文修剪策略
深入解析 LLM 有限上下文視窗的管理策略，涵蓋 Token 預算分配、滑動視窗截斷、階層式摘要壓縮與工具輸出修剪，幫助你在面試中展現生產級 AI 系統設計能力。
Part 1 — FDE 面試準備指南（一）：RAG 完全解析
以 Google AI 工程師兼面試官的視角，解析 FDE 面試中 RAG 最高頻考題，包含核心架構、Chunk 策略、幻覺改善、Hybrid Search 與實戰建議
Part 1 — RAG 完全指南（一）：基礎概念與你的第一個 RAG 系統
從零開始理解 RAG（Retrieval-Augmented Generation）：為什麼 LLM 需要外部知識、RAG 的核心架構是什麼，以及如何用 Python 實作一個最基本的 RAG pipeline。
Part 2 — RAG 完全指南（二）：Chunking 策略與向量資料庫選型
深入探討 RAG 系統的兩個核心基礎：如何切塊才能保留語意完整性，以及如何選擇適合的向量資料庫。包含五種 Chunking 策略比較與主流向量 DB 的實測比較。
Part 3 — AI Forward Deployed Engineer 必備技能指南（三）：企業級 AI 整合與部署策略
深入探討企業級 AI 系統整合策略，包含雲端平台部署、安全性管理、RAG 架構設計與企業數據管道建構
Part 3 — 如何衡量 AI 的準確度（三）：RAG 系統的可靠性評估框架
RAG 系統的評估遠不只是看回答品質，還要驗證檢索忠誠度與事實接地性。本文介紹 Faithfulness、Relevance、Context Precision 等 RAG 專屬指標，以及如何使用 RAGAS 框架自動化評估流程。
Part 3 — RAG 完全指南（三）：進階檢索技術——混合搜尋、HyDE、Multi-Query、Reranker
Naive RAG 的搜尋精準度不夠？本篇深入四大進階檢索技術：BM25 混合搜尋、假設性文件嵌入（HyDE）、多查詢檢索（Multi-Query）、以及 Cross-Encoder Reranker，每個都有核心原理、程式碼與最佳使用場景。
Part 4 — Knowledge Graph 知識圖譜（四）：結合 LLM — GraphRAG 與多跳推理
為什麼純向量 RAG 在多跳問題上失敗？GraphRAG 如何用知識圖譜補足、降低 LLM 幻覺。含 LangChain + Neo4j 的可跑程式碼與 Text2Cypher 實作。
Part 4 — FDE core topic - Hybrid Search & RRF：混合檢索與倒數排名融合演算法
深入解析混合檢索（Dense + Sparse）與 Reciprocal Rank Fusion 的核心原理、實作層次及面試答題策略，涵蓋 BM25、HNSW、SPLADE、Vertex AI Search 等關鍵技術與具體效能數字。
Part 4 — FDE 面試準備指南（四）：System Design 實戰
以 Google AI 工程師兼面試官的視角，完整拆解兩道 FDE 高頻系統設計題：企業知識庫 Chatbot 與 Internal AI Copilot，含 Auth、RBAC、Cache、NL2SQL 的設計決策與 trade-off
Part 4 — RAG 完全指南（四）：查詢轉換、Self-RAG 與 Context 壓縮
當問題本身就是問題：深入三大 RAG 優化技術——Step-Back Prompting、Self-RAG 自我反思、以及 Context Compression。了解它們的核心原理、實作方式、優缺點與最佳使用場景。
Part 5 — FDE core topic - Re-ranking & Cross-Encoder：向量粗召回後的精準重排序機制
深入拆解兩階段檢索架構——ANN 快速粗召回搭配 Cross-Encoder 精準重排，如何將 RAG 系統的 MRR@5 從 0.61 提升至 0.79、幻覺率降低 40%。
Part 5 — FDE 面試準備指南（五）：RAG 深度技術——Chunking、Embedding、向量資料庫與混合搜尋
以 Google AI 工程師兼面試官的視角，深度拆解 RAG 的技術細節：Chunking 策略選擇、Embedding 模型挑選、向量資料庫設計、混合搜尋與 Reranking，以及 Context Window 爆炸的處理方式
Part 5 — RAG 完全指南（五）：生產級評估、GraphRAG 與 Agentic RAG
RAG 系列終章：如何用 RAGAS 框架量化評估 RAG 品質、GraphRAG 如何用知識圖譜突破向量搜尋的限制，以及 Agentic RAG 如何讓 AI Agent 主動決策何時搜尋、搜尋什麼。
Part 6 — FDE 面試準備指南（六）：RAG 進階——檢索失敗、Grounding、評估指標與成本控制
以 Google AI 工程師兼面試官的視角，深度拆解 RAG 系統的四大進階主題：檢索失敗的原因與修復、Grounding 策略、RAG 評估指標設計，以及生產環境中的成本控制
Part 9 — FDE 面試準備指南（九）：LLM 核心知識——Token、Prompt Engineering 與 Embedding
以 Google AI 工程師兼面試官的視角，整理 FDE 面試中最關鍵的 LLM 實用知識：Token 與 Context Window 的工程意涵、Prompt Engineering 五大技法，以及 Embedding 在語意搜尋中的原理與選型
Part 12 — FDE 面試準備指南（十二）：RKK 實戰——AI Agent 統計評估與品質量化
以系統設計視角拆解 AI Agent 的 Evaluation Pipeline：核心問題是什麼、RAG 評估三角怎麼設計、LLM-as-Judge 的取捨、以及怎麼讓 eval 成為持續整合的一環——含完整架構圖
Part 14 — FDE 面試準備指南（十四）：RKK 實戰——AI Agent Memory 架構設計
以系統設計視角拆解 AI Agent 的 Memory 架構：為什麼需要四種記憶、每種記憶解決什麼問題、怎麼組合、以及記憶帶來的工程挑戰——含完整架構圖與選型決策框架
Part 15 — FDE core topic - Vector Drift & Blue-Green Indexing：向量圖結構健康度與零停機切換
深入解析 HNSW 向量圖在持續增量更新下的 recall 衰退機制，以及 Lambda 架構 + Blue-Green 切換如何在不停機的前提下將 recall@10 恢復至 94% 以上。
Part 20 — FDE core topic - RAG Triad Metrics：上下文相關度、忠實度與答案相關度的可觀測性追蹤
深入解析 RAG 系統三大評估指標——Context Relevance、Groundedness、Answer Relevance——以及如何透過 OpenTelemetry 與 Grafana 建立生產級可觀測性追蹤管道。
Part 23 — AI 工程從零開始｜Phase 11 Part 2：RAG 系統與 LLM 評估 — 生產落地的最後一哩
深入解析 RAG 架構設計：向量資料庫選型、Hybrid Search、Re-ranking、Chunking 策略，以及 LLM 評估框架：RAGAS/G-Eval/LLM-as-Judge
Part 41 — AI 工程從零開始｜Phase 19 Part 1：Capstone — 企業級 RAG 知識庫系統端對端實作
端對端構建企業級 RAG 系統：從需求分析到生產部署，涵蓋文件解析管線、Hybrid Search、Re-ranking、LLM 評估框架與 30 天迭代路線圖
Part 44 — FDE 面試準備指南（四十四）：RKK 實戰——長文本 LLM 與 RAG 動態混合路由架構設計
深度拆解長文本 LLM（200 萬 Token 上下文）與傳統 RAG 的動態混合架構：為什麼超大 Context Window 仍需 RAG、如何設計智能上下文管理器（Dynamic Hybrid Router）、Vertex AI Context Caching Registry 快取策略、成本矩陣（$2.50 vs $0.001）、降級策略、RRF 融合機制，以及 Staff 級 FDE 面試的完整答題框架
Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線
深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。
finance_data 是怎麼運作的:用 Cron + LLM 全自動生成股票研究報告
finance_data 是一個全自動的 AI 投資研究平台:每天靠 GitHub Actions cron 定時觸發,用 yfinance 抓市場數據、爬 Finviz/StockAnalysis/Roic.ai 補齊基本面,再餵給 Claude / OpenAI / Gemini 生成繁體中文研究報告,最後由 MkDocs 建置部署。本篇完整拆解這條 pipeline 的每一個環節。