https://yennj12.js.org/yennj12_blog_V4/tags/data-pipeline/Recent content in Data Pipeline on YennJ12 Engineering BlogHugo -- gohugo.ioen-usTue, 30 Jun 2026 12:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-fde-essential-guide-part3-zh/Tue, 26 May 2026 17:01:52 +0900https://yennj12.js.org/yennj12_blog_V4/posts/ai-fde-essential-guide-part3-zh/前言 企業級 AI 整合與部署是 AI FDE 最具挑戰性的工作之一。需要處理複雜的企業架構、安全合規要求、數據整合與系統可靠性問題。本文將深入探討雲端平台部署策略、企業安全框架、RAG 架構設計與數據管道建構等核心技術。 1. 雲端平台部署策略 Google Cloud Platform (GCP) 深度整合 Vertex AI 生產部署： 1from google.cloud import aiplatform 2from google.cloud.aiplatform import gapic 3import yaml 4 5class GCPAIDeploymentManager: 6 def __init__(self, project_id: str, region: str = "us-central1"): 7 self.project_id = project_id 8 self.region = region 9 10 # 初始化 Vertex AI 11 aiplatform.init( 12 project=project_id, 13 location=region, 14 staging_bucket=f"gs://{project_id}-ml-staging" 15 ) 16 17 def deploy_custom_model(self, model_config: dict): 18 """部署客製化模型到 Vertex AI""" 19 20 # 創建容器映像 21 container_spec = { 22 "image_uri": model_config["container_image"], 23 "env": [ 24 {"name": "MODEL_NAME", "value": model_config["model_name"]}, 25 {"name": "MODEL_VERSION", "value": model_config["version"]}, 26 {"name": "BATCH_SIZE", "value": str(model_config.https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase10-part2-pretraining-zh/Sun, 21 Jun 2026 18:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase10-part2-pretraining-zh/大多數人以為預訓練只是「把資料丟進去跑就好」。 現實是：70% 的工時花在資料清洗，20% 花在除錯 Loss Spike， 只有 10% 是真正的訓練時間。 預訓練是 LLM 工程中最貴、最脆弱、也最決定性的一步。 面試情境： 假設你是某 AI 新創的基礎架構工程師，團隊計畫訓練一個 7B 參數的 LLM，預算 $500K，目標是在 3 個月內完成預訓練。請說明你會如何規劃資料管線、選擇分散式訓練策略，以及如何監控並從 Loss Spike 中恢復？ 一、核心問題：預訓練為什麼是 LLM 最貴的一步 預訓練（Pretraining）是 LLM 生命週期中的「原始碼編譯」——一旦做錯，後續的 Fine-tuning、RLHF、RAG 全都是在一個有缺陷的基礎上打補丁。 成本規模感： 模型 參數量 訓練 Token GPU 小時 估計成本 GPT-3 175B 300B ~3.5M A100 小時 ~$4.6M LLaMA-2 7B 7B 2T ~180K A100 小時 ~$240K LLaMA-2 70B 70B 2T ~1.7M A100 小時 ~$2.3M Mistral 7B 7B 1T ~120K A100 小時 ~$160K 一次「失敗的」預訓練跑到 80% 才發現資料有問題，等於直接燒掉 $100K–$3.https://yennj12.js.org/yennj12_blog_V4/posts/finance-data-ai-pipeline-how-it-works-zh/Tue, 30 Jun 2026 12:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/finance-data-ai-pipeline-how-it-works-zh/多數人做股票分析:打開券商 App,看 K 線、查財報、Google 新聞,然後自己下判斷。 finance_data 的做法:讓 42 個機器人每天定時自己抓數據、自己讀財報、自己寫成繁中研究報告、自己發佈上線——全程沒有人手介入。 這篇就拆解這條「零人工」pipeline 的每一個齒輪是怎麼咬合的。 一、它到底是什麼 finance_data 是一個全自動的 AI 投資研究平台。它覆蓋 30+ 家公司(AAPL、MSFT、NVDA、TSLA、PLTR、台股 0050、2330.tw……),每天自動產生: 個股基本面分析(fundamental analysis) 個股技術面分析(technical analysis) 每日市場新聞摘要(market news) 配合 SEC 申報文件(10-K / 10-Q / 13-F / 6-K)、investor day 簡報、研究 notebook 關鍵字是「全自動」:從定時觸發、抓數據、餵 LLM、生成報告、到建置部署上線,整條鏈沒有任何一步需要人手操作。 整體 pipeline 長這樣: ┌──────────────┐ 每天定時觸發 │ GitHub Actions│ ◀────── cron schedule │ Cron │ └──────┬───────┘ │ 1. 排程把「某支股票 + 某種分析」丟給腳本 ▼ ┌──────────────────────┐ │ 資料蒐集層 │ yfinance + Finviz + StockAnalysis + Roic.