Engineering
The craft: writing, shipping and fixing real systems.
Backend, frontend and full-stack engineering — languages, frameworks, data pipelines, debugging and performance.
Part 1 — QM 深度解析（一）：多人協作 Agent 平台的架構全景
拆解 yc-software/qm — 一個為公司而非個人設計的開源 Agent 平台。從「每個人一個隔離工作區」的核心命題出發，看懂它的無頭核心 + 外掛式介面架構、76K 行 TypeScript 的目錄分工，以及一次 Slack 對話如何走完整條路徑。
Part 5 — OpenWorker 深度解析（五）：能力擴充 — Tools、Skills、Personas、MCP 與排程
拆解 OpenWorker 的五層能力擴充體系：ToolRegistry 與封閉式 Capability 目錄、Persona 作為資料而非程式碼、Skills 的漸進式揭露、explore 子代理的 context 隔離、MCP 客戶端的單任務生命週期，以及排程器的 catch-up 與 skip-on-overlap 策略。
Part 4 — OpenWorker 深度解析（四）：LLM 層 — Provider 抽象、能力降級與 Context 自動壓縮
拆解 OpenWorker 如何同時支援 OpenAI、Anthropic、Gemini、Bedrock、Vertex、Ollama 與多家轉售商：ProviderClient 契約為何刻意同步且無迴圈、能力矩陣如何驅動 vision/PDF 降級、TokenUsage 的快取拆分，以及 561 行 compaction.py 的完整壓縮演算法。
Part 3 — OpenWorker 深度解析（三）：Harness — 權限模型、Inbox 與人機協作
拆解 OpenWorker 的安全外殼：58 行的 RiskClass 如何撐起整個權限系統、五種執行模式的決策流程、shell allowlist 的前綴比對陷阱、跨 session 的 Inbox 決策佇列與 durable resume，以及 SSRF 防護、prompt injection 防線與稽核軌跡。
Part 2 — OpenWorker 深度解析（二）：TurnEngine — Agent 迴圈的完整解剖
逐行拆解 OpenWorker 的 1192 行 agent 迴圈：訊息的真實形狀、blocking provider 如何橋接到 async loop、工具呼叫的授權與併發分流、四種中斷狀態下的「不留孤兒 tool_call」不變式，以及 canonical history 與 outbound view 的分離設計。
Part 1 — OpenWorker 深度解析（一）：架構全景 — 一個能交付成果的桌面 AI 同事
從零拆解 Andrew Ng 團隊的開源專案 OpenWorker：它為什麼強調「交付成果而非聊天」、三層本地優先架構如何組成、37000 行 Python 後端的目錄職責分工，以及一次任務從輸入到產出的完整生命週期。
Part 10 — AIO / GEO - Part 10 - 實戰案例：私有 Repo 與內部知識庫（把 GEO 反過來用）
最後一個案例沒有搜尋引擎。一家 400 人公司把 GEO 的原則用在自己的內部 AI 助手上——私有 repo、Confluence、Slack 全接進 RAG，答案卻錯得離譜。診斷結果和公開網站一模一樣：內容不是不存在，是不可引用。
Part 6 — AIO / GEO - Part 6 - 實戰案例：大型企業官網（多語系 + AWS + 法遵）
一家 3,000 人製造業集團的六語系官網，跑在 AWS CloudFront + WAF 上。看 GEO 在大企業環境的真正瓶頸：不是技術，是治理。附 WAF 規則、hreflang 與實體一致性的實作。
Part 4 — AIO / GEO - Part 4 - 實作篇：把一個網站改造成 AI 可引用
八個步驟的完整實作：AI crawler 存取層與 CDN 白名單、llms.txt 產生器、JSON-LD 自動注入、chunk 邊界工程、Markdown 雙軌輸出、SSR 決策樹，附 Hugo / Next.js 可直接複製的程式碼與可放進 CI 的自動化驗收腳本。
Part 3 — AIO / GEO - Part 3 - 方法篇：內容、結構、技術三層優化策略
把 GEO 拆成內容層、結構層、技術層與實體層四個可執行的工作面：可引用性寫作的九條規則、Schema.org / JSON-LD 完整配方、Entity SEO 與站外一致性，最後給出影響 × 成本優先矩陣與 90 天執行路線圖。
Part 2 — AIO / GEO - Part 2 - 原理篇：AI 引擎如何檢索、選擇與引用你的內容
拆解生成式引擎的檢索管線：AI crawler 名單與行為差異、內容如何被切成 chunk、rerank 階段淘汰了什麼、grounding 如何決定引用誰。附 8 個讓頁面永遠不被引用的技術死因與逐項診斷方法。
AI System on Native AWS - Part 10 - 企業 AI 平台工程
系列終章。當一個企業有幾十個團隊、上百個 AI 專案時,讓每個團隊各自接 Bedrock、各自寫 CDK、各自處理合規,是災難。平台團隊要把前九篇的能力打包成『內部產品』:多帳號落地區(Control Tower)、統一的 LLM Gateway(集中路由/限流/快取/日誌/分帳)、Service Catalog 與可重用 CDK Construct 黃金路徑、FinOps 分帳、平台級可觀測性。全部用 CDK(CloudFormation)描述,並以一張橫跨 Part 1–10 的總表收束整個系列。
AI System on Native AWS - Part 9 - 企業 AI 安全、合規與資料治理
當 AI 系統處理的是病歷、金流、個資,而且要通過稽核時,資安與合規不是加分項而是上線的門票。本篇把這個橫跨所有系統的維度單獨講透:用 PrivateLink/VPC endpoint 讓資料永不觸網、KMS 客戶金鑰全程加密、Macie + Comprehend 做 PII 偵測與去識別化、Lake Formation 做資料湖細粒度授權、Organizations SCP 從組織層鎖死可用模型與區域、CloudTrail + Guardrails 做全鏈稽核,全部用 CDK(CloudFormation)描述,對應 HIPAA/GDPR 的實際控制點。
AI System on Native AWS - Part 8 - 即時串流 ML 與詐欺偵測
詐欺偵測是即時 ML 的極限測試:要在幾十毫秒內對每筆交易做出放行或攔截的決定,特徵要用『此刻及過去幾秒』的行為即時算出,對手還會主動規避你的規則。本篇用純 AWS 原生服務打造即時串流風控:Kinesis 收交易流、Managed Service for Apache Flink 做串流特徵、SageMaker/Fraud Detector 毫秒級評分、Neptune 圖資料庫抓詐欺團夥、DynamoDB 當線上特徵與決策存放,全部用 CDK(CloudFormation)描述,深入談串流特徵一致性、時間窗、圖偵測與規則+ML 混合決策。
AI System on Native AWS - Part 7 - 基礎模型客製化與模型治理
當通用模型不夠好、或你有大量專有資料想讓模型內化時,就得客製基礎模型。但企業真正的難題不是『怎麼 fine-tune』,而是『如何治理』——訓練資料哪來的、評估過了沒、誰核准上線、出問題能不能回溯。本篇用純 AWS 原生服務打造一條可治理的模型客製管線:RAG/Prompt/Fine-tune/蒸餾的決策框架、資料準備、Bedrock 客製模型與 SageMaker 微調、Model Registry、自動評估關卡、Model Cards 與審批工作流,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 6 - 企業級多租戶 RAG 平台
系列進入企業篇。Part 1 的單租戶 RAG 一上到企業就崩:租戶之間的資料絕不能互看、每個使用者只能看到有權限的文件、成本要能拆到每個租戶頭上、還要能撐住幾百個租戶。本篇用純 AWS 原生服務打造多租戶 RAG 平台:租戶隔離的三種模型(silo/pool/bridge)、以 Verified Permissions(Cedar)做文件級授權、metadata filtering、hybrid search + reranking、語意快取降本、以及每租戶成本歸因,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 5 - 生產化 MLOps 與可觀測性
前四篇蓋好了四個 AI 系統,但『能跑』跟『敢上線』之間隔著一整套 MLOps。本篇收束整個系列,講清楚 AWS 原生 AI 系統的生產化:SageMaker 的三種部署策略與藍綠/金絲雀更新、Bedrock 模型呼叫日誌與 CloudWatch/X-Ray 可觀測性、模型漂移偵測、成本治理與 tag 分帳、以及用 CDK Pipelines 做基礎設施 CI/CD。全部用 CDK(CloudFormation)描述,並附一張跨五篇的系統對照總表。
AI System on Native AWS - Part 4 - 自主 AI Agent 工具呼叫系統
當 AI 不只是回答,而要主動規劃、呼叫工具、串起多步驟任務時,你需要的是 Agent。本篇用純 AWS 原生服務打造一套自主 AI Agent:Bedrock Agents 做規劃與工具編排、Lambda Action Groups 當可呼叫的工具、Knowledge Base 提供知識、Guardrails 做安全護欄,全部用 CDK(CloudFormation)描述,深入談 ReAct 迴圈、工具設計、權限邊界、幻覺與惡意輸入防護、以及人工確認關卡。
AI System on Native AWS - Part 3 - 即時個人化推薦系統
推薦系統是最經典、商業價值最直接的 AI 系統。本篇用純 AWS 原生服務打造一套即時個人化推薦:Kinesis 收即時行為、SageMaker Feature Store 管線上/離線特徵、SageMaker Endpoint 做低延遲推論、DynamoDB 當候選集與快取,並用 API Gateway + Lambda 對外服務。全部用 CDK(CloudFormation)描述,深入談 online/offline 特徵一致性、召回+排序兩階段、冷啟動與 A/B 測試。
ollama on mac - part 5 - 工具呼叫、多模型服務與進階實踐
從會跑模型到蓋 agent、上生產：Ollama 工具呼叫與 function calling、多模態 vision、reasoning 推理模型、Apple Silicon 效能調校、多模型並行服務、遠端存取安全與生產實務全攻略。
AI System on Native AWS - Part 2 - 智慧文件處理 IDP 管線
當你的『知識』不是乾淨的 Markdown,而是幾百萬張掃描的 PDF、發票、合約時,RAG 那套餵不進去。本篇用純 AWS 原生服務打造一條智慧文件處理(IDP)管線:S3 觸發、Step Functions 編排、Textract 抽文字與表格、Comprehend 做實體與分類、Bedrock 做結構化萃取與摘要,全部用 CDK(CloudFormation)描述,並談事件驅動、冪等、非同步大檔與人工複核。
ollama on mac - part 4 - 與應用整合(Python、OpenAI SDK、LangChain、Open WebUI、RAG)
把本機 Ollama 模型接進真實應用的完整實戰:官方 Python/JS SDK、OpenAI 相容層、LangChain、Open WebUI,以及手把手打造一個離線可跑的本地 RAG。
AI System on Native AWS - Part 1 - Serverless RAG 智慧客服知識庫
用純 AWS 原生服務打造一套 Serverless RAG 問答系統:Bedrock Knowledge Bases 負責切塊與嵌入、OpenSearch Serverless 當向量庫、Lambda + API Gateway 提供問答 API,全部用 CDK(CloudFormation)一鍵部署。本篇是系列開場,先講清楚 RAG 這個最常見的 AI 系統怎麼在 AWS 上長出來,包含情境、系統設計、架構、CDK 實作、技術選型與成本。
ollama on mac - part 3 - REST API 與自訂 Modelfile
深入 Ollama 的 REST API 與 Modelfile:把 Mac 變成本機 LLM 伺服器,掌握 /api/generate、/api/chat、options 調校、結構化輸出,並用 Modelfile 打造專屬模型。
ollama on mac - part 2 - 公開模型全覽與選型指南
從硬體、任務到量化,一套可落地的 Ollama 開源模型選型心智模型:看懂 Llama / Qwen / Gemma / Mistral / Phi / DeepSeek 家族,選對尺寸與量化,讓你的 Mac 跑出最佳性價比。