#Observability

21 posts tagged "observability"

4

Part 4 — Kubernetes Autoscaling Complete Guide (Part 4): Monitoring, Alerting & Threshold Tuning

Part 4 of the Kubernetes Autoscaling series: Complete guide to monitoring EKS autoscaling with Prometheus and Grafana. Includes CDK setup, alerting rules, custom dashboards, and threshold tuning strategies for production-grade observability.

·30 min
11

Part 11 — FDE 面試準備指南（十一）：RKK 實戰——AI Agent 線上除錯與故障排除

以系統設計視角拆解 AI Agent 的 Troubleshooting：為什麼 Agent 難 debug、觀測性架構怎麼設計、五大故障模式怎麼追蹤——含完整架構圖與 Google Doc 模擬情境應答框架

·17 min
12

Part 12 — FDE 面試準備指南（十二）：RKK 實戰——AI Agent 統計評估與品質量化

以系統設計視角拆解 AI Agent 的 Evaluation Pipeline：核心問題是什麼、RAG 評估三角怎麼設計、LLM-as-Judge 的取捨、以及怎麼讓 eval 成為持續整合的一環——含完整架構圖

·15 min
19

Part 19 — FDE 面試準備指南（十九）：RKK 實戰——Multi-Agent 系統的統計評估與細粒度追蹤

以系統設計視角拆解 Multi-Agent 系統的 Observability 架構：為什麼多 Agent 的評估比 RAG 複雜一個量級、Granular Tracing 的設計原理、Trajectory Evaluation 方法，以及如何找出是哪個 Agent 拖累了整體表現

·16 min
20

Part 20 — FDE core topic - RAG Triad Metrics：上下文相關度、忠實度與答案相關度的可觀測性追蹤

深入解析 RAG 系統三大評估指標——Context Relevance、Groundedness、Answer Relevance——以及如何透過 OpenTelemetry 與 Grafana 建立生產級可觀測性追蹤管道。

·18 min
22

Part 22 — FDE core topic - Structured Troubleshooting：自上而下分層排錯與 AI 系統觀測方法論

系統化分層排錯方法論：從用戶症狀出發，逐層消除 AI Agent 系統故障根因，涵蓋 API Gateway、Orchestration、Tool APIs、Model Quota 四層診斷策略與 OpenTelemetry 實作。

·18 min
28

Part 28 — FDE 面試準備指南（二十八）：顧問實戰——生產事故診斷與客戶溝通語言

以 Google FDE 顧問視角拆解 AI 系統生產事故的處理全流程：P95 延遲異常的診斷思路、不停機排查策略、如何在技術細節與客戶語言之間切換，以及事故後的信任重建框架

·16 min
31

Part 31 — AI 工程從零開始｜Phase 14 Part 4：Agent 生產化 — 可靠性、可觀測性與成本控制

深入解析 Agent 生產部署工程：執行追蹤、成本預算控制、並發限流、Guardrails 安全防護、A/B 測試框架與 Agent 監控告警設計

·23 min
35

Part 35 — FDE 面試準備指南（三十五）：RKK 實戰——生產級可觀測性設計：Granular Tracing、Span 樹與 Cloud Trace 整合

以系統設計視角拆解 Agentic AI 系統的可觀測性：為什麼 Log 不夠、Span 樹的結構設計、OpenTelemetry 與 Cloud Trace 的整合模式、Sampling 策略的 Trade-off，以及一條 Trace 應該回答哪五個診斷問題

·18 min
37

Part 37 — AI 工程從零開始｜Phase 17 Part 2：AI 系統可觀測性 — 當模型行為成為監控對象

深入解析 AI 系統可觀測性工程：LLM 追蹤（Traces/Spans）、提示版本管理、模型效能漂移偵測、成本歸因分析與 AI 告警策略

·23 min
41

Part 41 — FDE 面試準備指南（四十一）：RKK 實戰——分散式 AI 系統的故障排查：結構化診斷框架與五種常見失效模式

以系統設計視角拆解分散式 AI 系統的故障排查：三個可觀測性成熟度階段、五步驟結構化診斷框架、症狀分類矩陣、完整決策樹圖、五種 AI 系統常見失效模式與特徵信號、SLO 與 Error Budget 設計，以及 Why X not Y 的關鍵可觀測性技術選型

·23 min
50

Part 50 — FDE 面試指南 Part 50：生產環境 GenAI 自動化評估管線與 LLM-as-a-Judge 漂移監控

深度解析如何在生產環境中建立多階抽樣的 LLM 自動化評估管線，涵蓋分層抽樣、RAG 三元組評估、位置偏見消除、Drift Alert 設計，以及 95% 成本控制策略。Staff FDE 級別實戰解答。

·26 min

Auto Agent System - Part 4 - 生產化之路:Langfuse 可觀測性、Docker 瘦身與 AWS 部署

AI 系統能跑,離能上線還很遠。本篇拆解 agent_auto_system 把自己推向生產的四個關鍵決策:在 executor 這個漏斗掛上 Langfuse trace(PR #19)、用 WeasyPrint 換掉 Chromium 讓 Docker image 瘦身(PR #9)、規劃 AWS ECS Fargate 部署(PR #10),以及完整的登入與 RBAC 權限系統(PR #11)。

·22 min

Langfuse 入門 Part 4 — 監控與 Prompt 管理:把實驗成果變成生產循環

系列最終篇。把前三篇的追蹤與評估收進日常營運:用監控儀表板盯緊成本、延遲、品質的趨勢與異常;用 Prompt 管理把 prompt 從程式碼裡抽出來做版本控制,讓你改 prompt 不必改程式、不必重新部署——並把整個 LLM 工程循環完整串起來。

·15 min

Langfuse 入門 Part 2 — 三行程式碼開始追蹤:SDK 整合與 Tracing 實戰

概念懂了,該動手了。本篇示範用 Langfuse Python SDK 把應用接上可觀測性:@observe 裝飾器、get_client 與 context manager、OpenAI 一行替換整合、LangChain callback handler,以及如何用 Session、User、Metadata 讓 trace 真正可查可比。

·15 min

Langfuse 入門 Part 1 — 為什麼 LLM 應用需要可觀測性?核心概念與資料模型

LLM 應用最可怕的地方,是它「壞掉時看起來跟正常時一模一樣」。本篇用最白話的方式講清楚:為什麼傳統監控救不了 LLM、Langfuse 是什麼、以及它的核心資料模型——Trace、Observation、Span、Generation、Session、Score——彼此怎麼組合成一張可觀測的全貌。

·14 min

ChatPDF RAG 優化（三）：可觀測性與評估 —— Langfuse 追蹤、評估歷史、即時評分

沒有量測就沒有優化。本篇拆解 chatPDF 如何補上 RAG 的可觀測性最後一塊:opt-in 零開銷的 Langfuse 追蹤、執行緒安全的 singleton、評估歷史持久化、即時答案評分(faithfulness/relevance)、relevance gate,以及無外部依賴的 SVG 趨勢圖表。

·16 min

Building Centralized Grafana + Prometheus Monitoring with AWS CDK: Multi-Service Observability Platform

Comprehensive guide to architecting a production-ready centralized Prometheus + Grafana monitoring platform using AWS CDK that aggregates metrics from multiple services, clusters, and infrastructure components with federation, remote storage, and advanced alerting.

·23 min

Building a Centralized Monitoring System with AWS CloudWatch and Grafana using CDK

Design and implement a production-ready centralized monitoring and observability platform using AWS CloudWatch, Grafana, and CDK (TypeScript). Learn cross-service log aggregation, metric collection, IAM permissions, dashboard creation, and alerting strategies for monitoring distributed systems.

·65 min

Building Production Kubernetes Platform on AWS EKS

Deep dive into architecting a comprehensive Kubernetes platform on AWS EKS with integrated data processing, monitoring, and observability using infrastructure as code.

·22 min

Building Centralized Logging with OpenSearch and AWS CDK

Learn how to build a scalable centralized logging platform using OpenSearch, Kinesis Data Firehose, and AWS CDK to collect, process, and analyze logs from Kubernetes clusters and containerized applications.

·16 min