#MLOps
11 posts tagged "mlops"
Part 1 — Hugging Face 實戰（一）：它到底是什麼，以及如何開始
從零認識 Hugging Face：Hub、Transformers、Datasets、Spaces 五大支柱的關係，帳號與 Token 設定、CLI 安裝、快取機制，以及三行程式碼跑起第一個模型。含完整可執行範例。
Part 2 — Hugging Face 實戰（二）：用模型、跑 App、推送自己的模型
如何從兩百萬個 repo 中挑對模型、用四個抽象層載入它、用 Gradio 與 FastAPI + vLLM 把它變成服務，並把自己的模型完整推上 Hub。含量化、Spaces 部署與 Model Card 撰寫範例。
Part 4 — AI Forward Deployed Engineer 必備技能指南（四）：生產環境 AI 系統監控與最佳化
深入探討生產環境 AI 系統的全方位監控策略、效能最佳化技術、故障診斷流程與成本管理實務
Part 16 — FDE core topic - TTFT & Throughput Optimization：首字延遲與推理吞吐量的硬體級優化
深入解析 LLM 推理服務的兩大核心指標——首字時間（TTFT）與每秒 Token 吞吐量——以及 Quantization、Continuous Batching、PagedAttention、Speculative Decoding、Flash Attention 五大硬體級優化技術的原理與取捨。
Part 19 — FDE core topic - LLM-as-Judge & Bias Mitigation：大規模自動評估與裁判偏見消除
深入解析如何用大型語言模型作為自動化品質裁判，並透過隨機排序、CoT 推理、分層抽樣等技術系統性消除裁判偏見，以 1% 的成本達到 80% 人工評估品質。
Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線
深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。
Part 50 — FDE 面試指南 Part 50：生產環境 GenAI 自動化評估管線與 LLM-as-a-Judge 漂移監控
深度解析如何在生產環境中建立多階抽樣的 LLM 自動化評估管線，涵蓋分層抽樣、RAG 三元組評估、位置偏見消除、Drift Alert 設計，以及 95% 成本控制策略。Staff FDE 級別實戰解答。
AI System on Native AWS - Part 7 - 基礎模型客製化與模型治理
當通用模型不夠好、或你有大量專有資料想讓模型內化時,就得客製基礎模型。但企業真正的難題不是『怎麼 fine-tune』,而是『如何治理』——訓練資料哪來的、評估過了沒、誰核准上線、出問題能不能回溯。本篇用純 AWS 原生服務打造一條可治理的模型客製管線:RAG/Prompt/Fine-tune/蒸餾的決策框架、資料準備、Bedrock 客製模型與 SageMaker 微調、Model Registry、自動評估關卡、Model Cards 與審批工作流,全部用 CDK(CloudFormation)描述。
AI System on Native AWS - Part 5 - 生產化 MLOps 與可觀測性
前四篇蓋好了四個 AI 系統,但『能跑』跟『敢上線』之間隔著一整套 MLOps。本篇收束整個系列,講清楚 AWS 原生 AI 系統的生產化:SageMaker 的三種部署策略與藍綠/金絲雀更新、Bedrock 模型呼叫日誌與 CloudWatch/X-Ray 可觀測性、模型漂移偵測、成本治理與 tag 分帳、以及用 CDK Pipelines 做基礎設施 CI/CD。全部用 CDK(CloudFormation)描述,並附一張跨五篇的系統對照總表。
AI System on Native AWS - Part 3 - 即時個人化推薦系統
推薦系統是最經典、商業價值最直接的 AI 系統。本篇用純 AWS 原生服務打造一套即時個人化推薦:Kinesis 收即時行為、SageMaker Feature Store 管線上/離線特徵、SageMaker Endpoint 做低延遲推論、DynamoDB 當候選集與快取,並用 API Gateway + Lambda 對外服務。全部用 CDK(CloudFormation)描述,深入談 online/offline 特徵一致性、召回+排序兩階段、冷啟動與 A/B 測試。
Deploying Hugging Face Models to AWS: A Complete Guide with CDK, SageMaker, and Lambda
Learn how to deploy production-ready Hugging Face AI models to AWS using CDK (TypeScript), SageMaker, and Lambda. Comprehensive guide covering system design, infrastructure setup, model deployment, API creation, and best practices for scalable ML applications.