#MLOps

6 posts tagged "mlops"

4

Part 4 — AI Forward Deployed Engineer 必備技能指南（四）：生產環境 AI 系統監控與最佳化

深入探討生產環境 AI 系統的全方位監控策略、效能最佳化技術、故障診斷流程與成本管理實務

·20 min
16

Part 16 — FDE core topic - TTFT & Throughput Optimization：首字延遲與推理吞吐量的硬體級優化

深入解析 LLM 推理服務的兩大核心指標——首字時間（TTFT）與每秒 Token 吞吐量——以及 Quantization、Continuous Batching、PagedAttention、Speculative Decoding、Flash Attention 五大硬體級優化技術的原理與取捨。

·18 min
19

Part 19 — FDE core topic - LLM-as-Judge & Bias Mitigation：大規模自動評估與裁判偏見消除

深入解析如何用大型語言模型作為自動化品質裁判，並透過隨機排序、CoT 推理、分層抽樣等技術系統性消除裁判偏見，以 1% 的成本達到 80% 人工評估品質。

·18 min
49

Part 49 — FDE Interview Guide Part 49：百萬級 RAG 系統的即時資料漂移與向量索引自動更新管線

深度解析企業 RAG 系統中的向量資料漂移問題：Lambda Vector Architecture、HNSW Graph Drift 監控、Blue-Green Index Deployment，以及如何在零停機的前提下維持百萬級知識庫的索引精準度。

·26 min
50

Part 50 — FDE 面試指南 Part 50：生產環境 GenAI 自動化評估管線與 LLM-as-a-Judge 漂移監控

深度解析如何在生產環境中建立多階抽樣的 LLM 自動化評估管線，涵蓋分層抽樣、RAG 三元組評估、位置偏見消除、Drift Alert 設計，以及 95% 成本控制策略。Staff FDE 級別實戰解答。

·26 min

Deploying Hugging Face Models to AWS: A Complete Guide with CDK, SageMaker, and Lambda

Learn how to deploy production-ready Hugging Face AI models to AWS using CDK (TypeScript), SageMaker, and Lambda. Comprehensive guide covering system design, infrastructure setup, model deployment, API creation, and best practices for scalable ML applications.

·55 min