Engineering

The craft: writing, shipping and fixing real systems.

Backend, frontend and full-stack engineering — languages, frameworks, data pipelines, debugging and performance.

262 posts · All topics

ChatPDF RAG 優化（二）：後端強化與進階 RAG —— 安全、資源邊界、多查詢擴展

RAG demo 能跑,不代表能上線。本篇拆解 chatPDF 如何補上 production 該有的防線:上傳的 PDF magic bytes 驗證與 OOM 防護、BM25 的 LRU 快取、多查詢擴展、檢索評分過濾、頁碼級引用、LLM gateway 重試退避——把 RAG pipeline 從「能跑」變成「能扛」。

·17 min aiengineering

ChatPDF RAG 優化（一）：語意切塊與混合檢索 Semantic Chunking + Hybrid Retrieval

RAG 的成敗，八成決定在「切塊」與「檢索」這兩步。本篇拆解 chatPDF 如何從寫死的固定切塊，升級成 embedding 偵測語意轉折的 Semantic Chunking，以及如何把 dense 向量檢索與 BM25 關鍵字檢索融合成 Hybrid Retrieval——附完整 Python 實作與設計取捨。

·16 min aiengineering

把站台從 3.1GB 砍到 503MB：finance_data 部署效能調校全紀錄

finance_data 是一個由 ~42 個每日分析任務自動產生報告的 MkDocs 站台，膨脹到搜尋索引 195MB、首頁 1MB、單次部署 752MB、CI 跑 15 分鐘。這篇拆解我們用六個改動把它降到搜尋索引 0.86MB、首頁 53KB、部署 387MB、CI 6.5 分鐘的完整過程與設計取捨。

·16 min engineering
5

Part 5 — Knowledge Graph 知識圖譜（五）：實戰 — 用 LLM 自動建構知識圖譜並做問答

端到端實戰：用 LLM 把純文字文件自動抽成三元組、寫入 Neo4j、再接 GraphRAG 做問答。完整可跑的 Python 程式碼與架構演進建議。

·26 min aiengineering
4

Part 4 — Knowledge Graph 知識圖譜（四）：結合 LLM — GraphRAG 與多跳推理

為什麼純向量 RAG 在多跳問題上失敗？GraphRAG 如何用知識圖譜補足、降低 LLM 幻覺。含 LangChain + Neo4j 的可跑程式碼與 Text2Cypher 實作。

·25 min aiengineering

Cloudflare AI 安全稽核系統（三）：LLM Agent 的安全反模式——十個讓報告失去公信力的做法

從 Cloudflare security-audit-skill 的設計原則出發，系統化整理 LLM agent 做安全稽核時最常見的十個反模式，以及如何在 agent pipeline 設計中從根源消除這些問題

·22 min aiengineering
3

Part 3 — Knowledge Graph 知識圖譜（三）：與關聯式 / 向量 / 文件資料庫的比較

知識圖譜 vs 關聯式資料庫 vs 向量資料庫 vs 文件資料庫：資料模型、查詢能力、效能與適用場景的深度比較，附決策表與混合架構建議。

·22 min aiengineering

Cloudflare AI 安全稽核系統（二）：Agent 設計深潛——Hunt 策略、Sub-Agent Spawning、Adversarial Validation

深入拆解 security-audit-skill 的 Agent 設計：Hunt phase 怎麼派 agent、sub-agent 什麼時候 spawn、adversarial validation 為什麼是 multi-agent 系統的核心防線

·20 min aiengineering
2

Part 2 — Knowledge Graph 知識圖譜（二）：從零建構 — NER、關係抽取與 Neo4j 實作

動手建知識圖譜：命名實體辨識（NER）、實體消歧、關係抽取的完整管線，並用 Python + spaCy + Neo4j + Cypher 把純文字變成可查詢的圖。

·23 min aiengineering

Cloudflare AI 安全稽核系統（一）：六階段 Multi-Agent Pipeline 全解析

Cloudflare 開源了內部 AI 安全稽核系統 security-audit-skill——一個教科書級的六階段 Multi-Agent Pipeline：Recon→Hunt→Validate→Report→Structured Output→Verify，本篇拆解整個架構設計與核心設計決策

·18 min aiengineering
1

Part 1 — Knowledge Graph 知識圖譜（一）：核心概念、三元組與語意網路

從零理解知識圖譜：實體、關係、三元組、本體（Ontology），以及 RDF/OWL/SPARQL 語意網路標準。用具體範例與程式碼建立直覺。

·20 min aiengineering
43

Part 43 — AI 工程從零開始｜Phase 19 Part 3：Capstone — 多模態 AI 應用端對端實作與系列總結

端對端構建多模態 AI 應用：圖文理解、語音介面、文件分析三合一系統的架構設計、模態融合策略、延遲優化與系列學習路線總結

·28 min aiengineering
42

Part 42 — AI 工程從零開始｜Phase 19 Part 2：Capstone — 生產級 AI Agent 產品端對端實作

端對端構建生產級 AI Agent 產品：從架構設計到上線，涵蓋 ReAct 迴圈、工具整合、記憶系統、Guardrails、可觀測性與商業指標追蹤

·28 min aiengineering
41

Part 41 — AI 工程從零開始｜Phase 19 Part 1：Capstone — 企業級 RAG 知識庫系統端對端實作

端對端構建企業級 RAG 系統：從需求分析到生產部署，涵蓋文件解析管線、Hybrid Search、Re-ranking、LLM 評估框架與 30 天迭代路線圖

·28 min aiengineering
40

Part 40 — AI 工程從零開始｜Phase 18 Part 2：AI 治理與倫理 — 工程師的責任邊界

深入解析 AI 治理工程：EU AI Act/NIST AI RMF 合規架構、偏見偵測與緩解技術、資料隱私工程（差分隱私/聯邦學習）與 AI 稽核框架

·23 min aiengineering
39

Part 39 — AI 工程從零開始｜Phase 18 Part 1：AI 技術安全 — 讓模型行為符合人類意圖

深入解析 AI 技術安全工程：對齊問題的技術根源、紅隊測試方法論、越獄攻擊分類、毒化攻擊防禦、模型可解釋性與安全評估框架

·23 min aiengineering
38

Part 38 — AI 工程從零開始｜Phase 17 Part 3：AI 成本優化與規模化 — 把每美元壓榨到極限

深入解析 AI 生產成本工程：Token 成本分解、快取策略（Semantic Cache/Prompt Cache）、模型路由、批次推論、Spot GPU 與 FinOps for AI

·23 min aiengineering
37

Part 37 — AI 工程從零開始｜Phase 17 Part 2：AI 系統可觀測性 — 當模型行為成為監控對象

深入解析 AI 系統可觀測性工程：LLM 追蹤（Traces/Spans）、提示版本管理、模型效能漂移偵測、成本歸因分析與 AI 告警策略

·23 min aiengineering
36

Part 36 — AI 工程從零開始｜Phase 17 Part 1：AI 推論服務架構 — 從單機到全球部署

深入解析 AI 推論服務工程：模型服務器選型（Triton/TorchServe/vLLM）、負載均衡、自動擴縮容、GPU 共享與多租戶隔離架構

·23 min aiengineering
35

Part 35 — AI 工程從零開始｜Phase 16 Part 2：湧現與集體智慧 — 群體行為的工程設計

深入解析多 Agent 系統的湧現行為：群智優化、集體推理、辯論機制、Mixture of Agents 架構與集體智慧的工程可控性

·23 min aiengineering
34

Part 34 — AI 工程從零開始｜Phase 16 Part 1：多 Agent 協調 — 分工、通訊與共識

深入解析多 Agent 系統協調工程：Supervisor/Peer-to-Peer/Market 協調模式、Agent 間通訊協議、衝突解決、任務分配與共識機制

·23 min aiengineering
33

Part 33 — AI 工程從零開始｜Phase 15 Part 2：自我改進與 2026 安全技術棧

深入解析 AI 自我改進機制：Constitutional AI/Self-Refinement/RLVR，以及 2026 年生產安全技術棧：越獄防禦/提示注入防護/行動沙箱

·23 min aiengineering
32

Part 32 — AI 工程從零開始｜Phase 15 Part 1：長時程自主系統 — 跨天任務的 Agent 工程

深入解析長時程 Agent 工程挑戰：跨會話記憶持久化、多步驟任務分解、進度恢復、人機協作設計與長時程 Agent 的可靠性保障

·23 min aiengineering
31

Part 31 — AI 工程從零開始｜Phase 14 Part 4：Agent 生產化 — 可靠性、可觀測性與成本控制

深入解析 Agent 生產部署工程：執行追蹤、成本預算控制、並發限流、Guardrails 安全防護、A/B 測試框架與 Agent 監控告警設計

·23 min aiengineering
30

Part 30 — AI 工程從零開始｜Phase 14 Part 3：Agent 框架全景 — AutoGen、CrewAI 與自建的取捨

深入比較主流 Agent 框架：AutoGen/CrewAI/LangGraph/Semantic Kernel 的架構差異、適用場景與生產成熟度，以及何時應該自建框架

·23 min aiengineering