#Data Pipeline
5 posts tagged "data pipeline"
3
Part 3 — AI Forward Deployed Engineer 必備技能指南（三）：企業級 AI 整合與部署策略
深入探討企業級 AI 系統整合策略，包含雲端平台部署、安全性管理、RAG 架構設計與企業數據管道建構
15
Part 15 — FDE core topic - Vector Drift & Blue-Green Indexing：向量圖結構健康度與零停機切換
深入解析 HNSW 向量圖在持續增量更新下的 recall 衰退機制，以及 Lambda 架構 + Blue-Green 切換如何在不停機的前提下將 recall@10 恢復至 94% 以上。
20
Part 20 — AI 工程從零開始｜Phase 10 Part 2：LLM 預訓練 — 萬億 Token 的工程挑戰
深入解析 LLM 預訓練工程：資料清洗管線、Scaling Laws、分散式訓練（DP/TP/PP）、梯度累積與 Chinchilla 最優計算分配
49
Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線
深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。
finance_data 是怎麼運作的:用 Cron + LLM 全自動生成股票研究報告
finance_data 是一個全自動的 AI 投資研究平台:每天靠 GitHub Actions cron 定時觸發,用 yfinance 抓市場數據、爬 Finviz/StockAnalysis/Roic.ai 補齊基本面,再餵給 Claude / OpenAI / Gemini 生成繁體中文研究報告,最後由 MkDocs 建置部署。本篇完整拆解這條 pipeline 的每一個環節。