#AI Engineering
25 posts tagged "ai engineering"
AI System on Native AWS - Part 10 - 企業 AI 平台工程
系列終章。當一個企業有幾十個團隊、上百個 AI 專案時,讓每個團隊各自接 Bedrock、各自寫 CDK、各自處理合規,是災難。平台團隊要把前九篇的能力打包成『內部產品』:多帳號落地區(Control Tower)、統一的 LLM Gateway(集中路由/限流/快取/日誌/分帳)、Service Catalog 與可重用 CDK Construct 黃金路徑、FinOps 分帳、平台級可觀測性。全部用 CDK(CloudFormation)描述,並以一張橫跨 Part 1–10 的總表收束整個系列。
AI System on Native AWS - Part 8 - 即時串流 ML 與詐欺偵測
詐欺偵測是即時 ML 的極限測試:要在幾十毫秒內對每筆交易做出放行或攔截的決定,特徵要用『此刻及過去幾秒』的行為即時算出,對手還會主動規避你的規則。本篇用純 AWS 原生服務打造即時串流風控:Kinesis 收交易流、Managed Service for Apache Flink 做串流特徵、SageMaker/Fraud Detector 毫秒級評分、Neptune 圖資料庫抓詐欺團夥、DynamoDB 當線上特徵與決策存放,全部用 CDK(CloudFormation)描述,深入談串流特徵一致性、時間窗、圖偵測與規則+ML 混合決策。
AI System on Native AWS - Part 7 - 基礎模型客製化與模型治理
當通用模型不夠好、或你有大量專有資料想讓模型內化時,就得客製基礎模型。但企業真正的難題不是『怎麼 fine-tune』,而是『如何治理』——訓練資料哪來的、評估過了沒、誰核准上線、出問題能不能回溯。本篇用純 AWS 原生服務打造一條可治理的模型客製管線:RAG/Prompt/Fine-tune/蒸餾的決策框架、資料準備、Bedrock 客製模型與 SageMaker 微調、Model Registry、自動評估關卡、Model Cards 與審批工作流,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 6 - 企業級多租戶 RAG 平台
系列進入企業篇。Part 1 的單租戶 RAG 一上到企業就崩:租戶之間的資料絕不能互看、每個使用者只能看到有權限的文件、成本要能拆到每個租戶頭上、還要能撐住幾百個租戶。本篇用純 AWS 原生服務打造多租戶 RAG 平台:租戶隔離的三種模型(silo/pool/bridge)、以 Verified Permissions(Cedar)做文件級授權、metadata filtering、hybrid search + reranking、語意快取降本、以及每租戶成本歸因,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 5 - 生產化 MLOps 與可觀測性
前四篇蓋好了四個 AI 系統,但『能跑』跟『敢上線』之間隔著一整套 MLOps。本篇收束整個系列,講清楚 AWS 原生 AI 系統的生產化:SageMaker 的三種部署策略與藍綠/金絲雀更新、Bedrock 模型呼叫日誌與 CloudWatch/X-Ray 可觀測性、模型漂移偵測、成本治理與 tag 分帳、以及用 CDK Pipelines 做基礎設施 CI/CD。全部用 CDK(CloudFormation)描述,並附一張跨五篇的系統對照總表。
AI System on Native AWS - Part 4 - 自主 AI Agent 工具呼叫系統
當 AI 不只是回答,而要主動規劃、呼叫工具、串起多步驟任務時,你需要的是 Agent。本篇用純 AWS 原生服務打造一套自主 AI Agent:Bedrock Agents 做規劃與工具編排、Lambda Action Groups 當可呼叫的工具、Knowledge Base 提供知識、Guardrails 做安全護欄,全部用 CDK(CloudFormation)描述,深入談 ReAct 迴圈、工具設計、權限邊界、幻覺與惡意輸入防護、以及人工確認關卡。
AI System on Native AWS - Part 3 - 即時個人化推薦系統
推薦系統是最經典、商業價值最直接的 AI 系統。本篇用純 AWS 原生服務打造一套即時個人化推薦:Kinesis 收即時行為、SageMaker Feature Store 管線上/離線特徵、SageMaker Endpoint 做低延遲推論、DynamoDB 當候選集與快取,並用 API Gateway + Lambda 對外服務。全部用 CDK(CloudFormation)描述,深入談 online/offline 特徵一致性、召回+排序兩階段、冷啟動與 A/B 測試。
AI System on Native AWS - Part 2 - 智慧文件處理 IDP 管線
當你的『知識』不是乾淨的 Markdown,而是幾百萬張掃描的 PDF、發票、合約時,RAG 那套餵不進去。本篇用純 AWS 原生服務打造一條智慧文件處理(IDP)管線:S3 觸發、Step Functions 編排、Textract 抽文字與表格、Comprehend 做實體與分類、Bedrock 做結構化萃取與摘要,全部用 CDK(CloudFormation)描述,並談事件驅動、冪等、非同步大檔與人工複核。
ollama on mac - part 5 - 工具呼叫、多模型服務與進階實踐
從會跑模型到蓋 agent、上生產：Ollama 工具呼叫與 function calling、多模態 vision、reasoning 推理模型、Apple Silicon 效能調校、多模型並行服務、遠端存取安全與生產實務全攻略。
AI System on Native AWS - Part 1 - Serverless RAG 智慧客服知識庫
用純 AWS 原生服務打造一套 Serverless RAG 問答系統:Bedrock Knowledge Bases 負責切塊與嵌入、OpenSearch Serverless 當向量庫、Lambda + API Gateway 提供問答 API,全部用 CDK(CloudFormation)一鍵部署。本篇是系列開場,先講清楚 RAG 這個最常見的 AI 系統怎麼在 AWS 上長出來,包含情境、系統設計、架構、CDK 實作、技術選型與成本。
ollama on mac - part 4 - 與應用整合(Python、OpenAI SDK、LangChain、Open WebUI、RAG)
把本機 Ollama 模型接進真實應用的完整實戰:官方 Python/JS SDK、OpenAI 相容層、LangChain、Open WebUI,以及手把手打造一個離線可跑的本地 RAG。
ollama on mac - part 3 - REST API 與自訂 Modelfile
深入 Ollama 的 REST API 與 Modelfile:把 Mac 變成本機 LLM 伺服器,掌握 /api/generate、/api/chat、options 調校、結構化輸出,並用 Modelfile 打造專屬模型。
ollama on mac - part 2 - 公開模型全覽與選型指南
從硬體、任務到量化,一套可落地的 Ollama 開源模型選型心智模型:看懂 Llama / Qwen / Gemma / Mistral / Phi / DeepSeek 家族,選對尺寸與量化,讓你的 Mac 跑出最佳性價比。
ollama on mac - part 1 - 安裝與第一個本地模型
從零開始在 macOS 上安裝 Ollama,認識硬體需求與記憶體對照,並跑起你的第一個本地 LLM,完整掌握 CLI 指令與背後運作原理。
Auto Agent System - Part 5 - 前端體驗與 Pipeline 編排:SSE 即時串流與多步驟任務鏈
系列最終篇,回到使用者直接感受到的那一層。拆解那條每 0.5 秒更新的 SSE 即時進度串流是怎麼用 asyncio + 原子 json_insert 撐起來的、為什麼前端刻意用 Vanilla JS、Waymo 電影感 UI 主題(PR #15)與 landing page(PR #6)的取捨,以及如何用 {{steps.N.result}} 模板把多個 AI 任務串成一條自動化工作流。
Auto Agent System - Part 4 - 生產化之路:Langfuse 可觀測性、Docker 瘦身與 AWS 部署
AI 系統能跑,離能上線還很遠。本篇拆解 agent_auto_system 把自己推向生產的四個關鍵決策:在 executor 這個漏斗掛上 Langfuse trace(PR #19)、用 WeasyPrint 換掉 Chromium 讓 Docker image 瘦身(PR #9)、規劃 AWS ECS Fargate 部署(PR #10),以及完整的登入與 RBAC 權限系統(PR #11)。
Anthropic Financial Services 入門 Part 3 — 實戰:用 GL Reconciler 跑一次對帳流程
從安裝到真的跑出一份待簽核的對帳報告——本篇挑 financial-services 套件裡的 GL Reconciler Agent,走一次完整流程:找斷點、追根因、標記待人工簽核,並比較 Cowork 互動模式和 Managed Agents headless 部署兩種跑法的差異。
Auto Agent System - Part 3 - 自動化任務實戰:Shopee 爬蟲、Google Maps 名單、Tasker 自動提案
把 Harness 打好地基後,真正的價值在任務本身。本篇順著 merged PR,拆解四個代表性自動化任務:Shopee 賣家爬蟲(以及它的兩次分頁修正)、Google Maps 潛在客戶名單漏斗、tasker.com.tw 自動投標,以及四代理協作的利潤健檢 PDF 報告。每一個都示範了一種不同的 agent × tool 設計模式。
Anthropic Financial Services 入門 Part 2 — Agent、Skill、Command、Connector 是怎麼組成一個系統的
同一個目錄結構要同時餵給 Cowork 和 Claude Managed Agents API,Anthropic 是怎麼設計的?本篇拆解 financial-services 套件裡 Agent、Skill、Command、Connector、Managed-agent wrapper 五層的分工與依賴關係,以及為什麼所有東西都是純 markdown/JSON、沒有 build step。
Auto Agent System - Part 2 - Harness 引擎:多模型容錯、自我修正與 LLM 評審
深入 agent_auto_system 的心臟——Harness 引擎。從第一個 PR「解析被 markdown 包住的 JSON」開始,一路講到跨模型 fallback 重試(PR #3)、驗證失敗後的自我修正、獨立 LLM 評審打分,以及每次執行的 token/成本追蹤。這是把 LLM 這匹野馬套上挽具的完整工程。
Anthropic Financial Services 入門 Part 1 — 怎麼安裝、怎麼用
Anthropic 官方開源的 financial-services 套件,把投資銀行、股票研究、私募股權、財富管理最常見的工作流程,包成 Claude 的 Agent 和 Skill。本篇講清楚怎麼在 Cowork 和 Claude Code 裡安裝它、怎麼選你需要的 Agent 或 Vertical Plugin,以及裝完之後第一次該怎麼用。
Auto Agent System - Part 1 - 系統總覽:一個 CrewAI 多代理自動化平台如何運作
從 0 認識 agent_auto_system:一個用 CrewAI 打造、能透過 API 與網頁介面定義並執行 AI 自動化任務的平台。本篇拆解它的整體架構、11 種任務類型、最核心的 Harness 引擎層,以及一個請求從按下按鈕到拿到結果的完整資料流。
Langfuse 入門 Part 4 — 監控與 Prompt 管理:把實驗成果變成生產循環
系列最終篇。把前三篇的追蹤與評估收進日常營運:用監控儀表板盯緊成本、延遲、品質的趨勢與異常;用 Prompt 管理把 prompt 從程式碼裡抽出來做版本控制,讓你改 prompt 不必改程式、不必重新部署——並把整個 LLM 工程循環完整串起來。
Langfuse 入門 Part 3 — LLM 評估:Score、LLM-as-a-Judge、Dataset 與 Experiment
LLM 應用最難的問題:你怎麼知道它『答得好不好』?本篇拆解 Langfuse 的評估體系——用 Score 量化品質、用 LLM-as-a-Judge 自動評分、用人工標註校準、再用 Dataset + Experiment 在上線前做回歸測試,把『我覺得改好了』變成『數據證明改好了』。
Langfuse 入門 Part 1 — 為什麼 LLM 應用需要可觀測性?核心概念與資料模型
LLM 應用最可怕的地方,是它「壞掉時看起來跟正常時一模一樣」。本篇用最白話的方式講清楚:為什麼傳統監控救不了 LLM、Langfuse 是什麼、以及它的核心資料模型——Trace、Observation、Span、Generation、Session、Score——彼此怎麼組合成一張可觀測的全貌。