https://yennj12.js.org/yennj12_blog_V4/tags/pinecone/Recent content in Pinecone on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 17 May 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/rag-series-part2-chunking-vectordb-zh/Sun, 17 May 2026 09:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/rag-series-part2-chunking-vectordb-zh/前言 上一篇我們建立了一個最基本的 RAG pipeline。 但實際上，Chunking 策略和向量資料庫的選型會直接決定你的 RAG 系統品質。 這篇深入討論這兩個核心基礎建設。 Part 1：Chunking 策略 Chunking 是把長文件切成小片段的過程。切法不對，後面的搜尋再精準也救不了。 為什麼 Chunking 很重要？ 想像你有一篇 10,000 字的技術文章，如果直接整篇丟進去，問「Python 的優點是什麼」，向量搜尋要在 10,000 字的「語意海洋」裡找到準確答案，難度極高。 好的 Chunking 原則： 每個 chunk 應該是語意完整的單元（不要切斷句子、段落中間） 大小適中：太小 → 資訊不夠完整；太大 → 搜尋精準度下降 有適度重疊（overlap）：避免邊界上的資訊遺漏 策略 1：固定大小切塊（Fixed-Size Chunking） 最簡單的方法，按字元數或 token 數切割。 1from langchain_text_splitters import CharacterTextSplitter 2 3splitter = CharacterTextSplitter( 4 chunk_size=500, 5 chunk_overlap=50, 6 separator="\n", # 優先在換行處切割 7) 8 9text = "你的長文字..." 10chunks = splitter.split_text(text) 優點：簡單、可預測、實作快速 缺點：可能把語意相關的句子切開 適合：快速原型、結構單純的文件 策略 2：遞迴字元切塊（Recursive Character Chunking） 這是最常用的預設策略。它會依照優先順序嘗試不同分隔符： \n\n → \n → .