AI & LLM
Building with language models — from prompt to production.
LLM applications, agent architectures, RAG pipelines, evaluation and model deployment.
Part 6 — AIO / GEO - Part 6 - 實戰案例：大型企業官網（多語系 + AWS + 法遵）
一家 3,000 人製造業集團的六語系官網，跑在 AWS CloudFront + WAF 上。看 GEO 在大企業環境的真正瓶頸：不是技術，是治理。附 WAF 規則、hreflang 與實體一致性的實作。
Part 5 — AIO / GEO - Part 5 - 量測與案例篇：建立監測系統與六個月實戰復盤
GEO 的最後一哩：設計 prompt set、用 Python 建置多引擎引用監測系統、計算 AI Visibility Score、從伺服器日誌與 GA4 辨識 AI 流量，最後以一個 B2B SaaS 站的六個月完整復盤（含失敗的部分）與 ROI 試算收尾。
Part 4 — AIO / GEO - Part 4 - 實作篇：把一個網站改造成 AI 可引用
八個步驟的完整實作：AI crawler 存取層與 CDN 白名單、llms.txt 產生器、JSON-LD 自動注入、chunk 邊界工程、Markdown 雙軌輸出、SSR 決策樹，附 Hugo / Next.js 可直接複製的程式碼與可放進 CI 的自動化驗收腳本。
Part 3 — AIO / GEO - Part 3 - 方法篇：內容、結構、技術三層優化策略
把 GEO 拆成內容層、結構層、技術層與實體層四個可執行的工作面：可引用性寫作的九條規則、Schema.org / JSON-LD 完整配方、Entity SEO 與站外一致性，最後給出影響 × 成本優先矩陣與 90 天執行路線圖。
Part 2 — AIO / GEO - Part 2 - 原理篇：AI 引擎如何檢索、選擇與引用你的內容
拆解生成式引擎的檢索管線：AI crawler 名單與行為差異、內容如何被切成 chunk、rerank 階段淘汰了什麼、grounding 如何決定引用誰。附 8 個讓頁面永遠不被引用的技術死因與逐項診斷方法。
Part 1 — AIO / GEO - Part 1 - 概念篇：當搜尋結果不再是十條藍色連結
AIO（AI Overview）與 GEO（Generative Engine Optimization）到底在優化什麼？本篇釐清 SEO / AEO / GEO / LLMO 的定義邊界，拆解生成式引擎產生答案的內部流程，並提出一套從 Ranking 思維轉向 Citation Share 思維的可見度指標與成熟度模型。
AI System on Native AWS - Part 10 - 企業 AI 平台工程
系列終章。當一個企業有幾十個團隊、上百個 AI 專案時,讓每個團隊各自接 Bedrock、各自寫 CDK、各自處理合規,是災難。平台團隊要把前九篇的能力打包成『內部產品』:多帳號落地區(Control Tower)、統一的 LLM Gateway(集中路由/限流/快取/日誌/分帳)、Service Catalog 與可重用 CDK Construct 黃金路徑、FinOps 分帳、平台級可觀測性。全部用 CDK(CloudFormation)描述,並以一張橫跨 Part 1–10 的總表收束整個系列。
AI System on Native AWS - Part 9 - 企業 AI 安全、合規與資料治理
當 AI 系統處理的是病歷、金流、個資,而且要通過稽核時,資安與合規不是加分項而是上線的門票。本篇把這個橫跨所有系統的維度單獨講透:用 PrivateLink/VPC endpoint 讓資料永不觸網、KMS 客戶金鑰全程加密、Macie + Comprehend 做 PII 偵測與去識別化、Lake Formation 做資料湖細粒度授權、Organizations SCP 從組織層鎖死可用模型與區域、CloudTrail + Guardrails 做全鏈稽核,全部用 CDK(CloudFormation)描述,對應 HIPAA/GDPR 的實際控制點。
AI System on Native AWS - Part 8 - 即時串流 ML 與詐欺偵測
詐欺偵測是即時 ML 的極限測試:要在幾十毫秒內對每筆交易做出放行或攔截的決定,特徵要用『此刻及過去幾秒』的行為即時算出,對手還會主動規避你的規則。本篇用純 AWS 原生服務打造即時串流風控:Kinesis 收交易流、Managed Service for Apache Flink 做串流特徵、SageMaker/Fraud Detector 毫秒級評分、Neptune 圖資料庫抓詐欺團夥、DynamoDB 當線上特徵與決策存放,全部用 CDK(CloudFormation)描述,深入談串流特徵一致性、時間窗、圖偵測與規則+ML 混合決策。
AI System on Native AWS - Part 7 - 基礎模型客製化與模型治理
當通用模型不夠好、或你有大量專有資料想讓模型內化時,就得客製基礎模型。但企業真正的難題不是『怎麼 fine-tune』,而是『如何治理』——訓練資料哪來的、評估過了沒、誰核准上線、出問題能不能回溯。本篇用純 AWS 原生服務打造一條可治理的模型客製管線:RAG/Prompt/Fine-tune/蒸餾的決策框架、資料準備、Bedrock 客製模型與 SageMaker 微調、Model Registry、自動評估關卡、Model Cards 與審批工作流,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 6 - 企業級多租戶 RAG 平台
系列進入企業篇。Part 1 的單租戶 RAG 一上到企業就崩:租戶之間的資料絕不能互看、每個使用者只能看到有權限的文件、成本要能拆到每個租戶頭上、還要能撐住幾百個租戶。本篇用純 AWS 原生服務打造多租戶 RAG 平台:租戶隔離的三種模型(silo/pool/bridge)、以 Verified Permissions(Cedar)做文件級授權、metadata filtering、hybrid search + reranking、語意快取降本、以及每租戶成本歸因,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 5 - 生產化 MLOps 與可觀測性
前四篇蓋好了四個 AI 系統,但『能跑』跟『敢上線』之間隔著一整套 MLOps。本篇收束整個系列,講清楚 AWS 原生 AI 系統的生產化:SageMaker 的三種部署策略與藍綠/金絲雀更新、Bedrock 模型呼叫日誌與 CloudWatch/X-Ray 可觀測性、模型漂移偵測、成本治理與 tag 分帳、以及用 CDK Pipelines 做基礎設施 CI/CD。全部用 CDK(CloudFormation)描述,並附一張跨五篇的系統對照總表。
AI System on Native AWS - Part 4 - 自主 AI Agent 工具呼叫系統
當 AI 不只是回答,而要主動規劃、呼叫工具、串起多步驟任務時,你需要的是 Agent。本篇用純 AWS 原生服務打造一套自主 AI Agent:Bedrock Agents 做規劃與工具編排、Lambda Action Groups 當可呼叫的工具、Knowledge Base 提供知識、Guardrails 做安全護欄,全部用 CDK(CloudFormation)描述,深入談 ReAct 迴圈、工具設計、權限邊界、幻覺與惡意輸入防護、以及人工確認關卡。
AI System on Native AWS - Part 3 - 即時個人化推薦系統
推薦系統是最經典、商業價值最直接的 AI 系統。本篇用純 AWS 原生服務打造一套即時個人化推薦:Kinesis 收即時行為、SageMaker Feature Store 管線上/離線特徵、SageMaker Endpoint 做低延遲推論、DynamoDB 當候選集與快取,並用 API Gateway + Lambda 對外服務。全部用 CDK(CloudFormation)描述,深入談 online/offline 特徵一致性、召回+排序兩階段、冷啟動與 A/B 測試。
ollama on mac - part 5 - 工具呼叫、多模型服務與進階實踐
從會跑模型到蓋 agent、上生產：Ollama 工具呼叫與 function calling、多模態 vision、reasoning 推理模型、Apple Silicon 效能調校、多模型並行服務、遠端存取安全與生產實務全攻略。
AI System on Native AWS - Part 2 - 智慧文件處理 IDP 管線
當你的『知識』不是乾淨的 Markdown,而是幾百萬張掃描的 PDF、發票、合約時,RAG 那套餵不進去。本篇用純 AWS 原生服務打造一條智慧文件處理(IDP)管線:S3 觸發、Step Functions 編排、Textract 抽文字與表格、Comprehend 做實體與分類、Bedrock 做結構化萃取與摘要,全部用 CDK(CloudFormation)描述,並談事件驅動、冪等、非同步大檔與人工複核。
ollama on mac - part 4 - 與應用整合(Python、OpenAI SDK、LangChain、Open WebUI、RAG)
把本機 Ollama 模型接進真實應用的完整實戰:官方 Python/JS SDK、OpenAI 相容層、LangChain、Open WebUI,以及手把手打造一個離線可跑的本地 RAG。
AI System on Native AWS - Part 1 - Serverless RAG 智慧客服知識庫
用純 AWS 原生服務打造一套 Serverless RAG 問答系統:Bedrock Knowledge Bases 負責切塊與嵌入、OpenSearch Serverless 當向量庫、Lambda + API Gateway 提供問答 API,全部用 CDK(CloudFormation)一鍵部署。本篇是系列開場,先講清楚 RAG 這個最常見的 AI 系統怎麼在 AWS 上長出來,包含情境、系統設計、架構、CDK 實作、技術選型與成本。
ollama on mac - part 3 - REST API 與自訂 Modelfile
深入 Ollama 的 REST API 與 Modelfile:把 Mac 變成本機 LLM 伺服器,掌握 /api/generate、/api/chat、options 調校、結構化輸出,並用 Modelfile 打造專屬模型。
ollama on mac - part 2 - 公開模型全覽與選型指南
從硬體、任務到量化,一套可落地的 Ollama 開源模型選型心智模型:看懂 Llama / Qwen / Gemma / Mistral / Phi / DeepSeek 家族,選對尺寸與量化,讓你的 Mac 跑出最佳性價比。
ollama on mac - part 1 - 安裝與第一個本地模型
從零開始在 macOS 上安裝 Ollama,認識硬體需求與記憶體對照,並跑起你的第一個本地 LLM,完整掌握 CLI 指令與背後運作原理。
Auto Agent System - Part 5 - 前端體驗與 Pipeline 編排:SSE 即時串流與多步驟任務鏈
系列最終篇,回到使用者直接感受到的那一層。拆解那條每 0.5 秒更新的 SSE 即時進度串流是怎麼用 asyncio + 原子 json_insert 撐起來的、為什麼前端刻意用 Vanilla JS、Waymo 電影感 UI 主題(PR #15)與 landing page(PR #6)的取捨,以及如何用 {{steps.N.result}} 模板把多個 AI 任務串成一條自動化工作流。
Auto Agent System - Part 4 - 生產化之路:Langfuse 可觀測性、Docker 瘦身與 AWS 部署
AI 系統能跑,離能上線還很遠。本篇拆解 agent_auto_system 把自己推向生產的四個關鍵決策:在 executor 這個漏斗掛上 Langfuse trace(PR #19)、用 WeasyPrint 換掉 Chromium 讓 Docker image 瘦身(PR #9)、規劃 AWS ECS Fargate 部署(PR #10),以及完整的登入與 RBAC 權限系統(PR #11)。
Auto Agent System - Part 3 - 自動化任務實戰:Shopee 爬蟲、Google Maps 名單、Tasker 自動提案
把 Harness 打好地基後,真正的價值在任務本身。本篇順著 merged PR,拆解四個代表性自動化任務:Shopee 賣家爬蟲(以及它的兩次分頁修正)、Google Maps 潛在客戶名單漏斗、tasker.com.tw 自動投標,以及四代理協作的利潤健檢 PDF 報告。每一個都示範了一種不同的 agent × tool 設計模式。
Anthropic Financial Services 入門 Part 3 — 實戰:用 GL Reconciler 跑一次對帳流程
從安裝到真的跑出一份待簽核的對帳報告——本篇挑 financial-services 套件裡的 GL Reconciler Agent,走一次完整流程:找斷點、追根因、標記待人工簽核,並比較 Cowork 互動模式和 Managed Agents headless 部署兩種跑法的差異。