#LLMOps
5 posts tagged "llmops"
Auto Agent System - Part 4 - 生產化之路:Langfuse 可觀測性、Docker 瘦身與 AWS 部署
AI 系統能跑,離能上線還很遠。本篇拆解 agent_auto_system 把自己推向生產的四個關鍵決策:在 executor 這個漏斗掛上 Langfuse trace(PR #19)、用 WeasyPrint 換掉 Chromium 讓 Docker image 瘦身(PR #9)、規劃 AWS ECS Fargate 部署(PR #10),以及完整的登入與 RBAC 權限系統(PR #11)。
Langfuse 入門 Part 4 — 監控與 Prompt 管理:把實驗成果變成生產循環
系列最終篇。把前三篇的追蹤與評估收進日常營運:用監控儀表板盯緊成本、延遲、品質的趨勢與異常;用 Prompt 管理把 prompt 從程式碼裡抽出來做版本控制,讓你改 prompt 不必改程式、不必重新部署——並把整個 LLM 工程循環完整串起來。
Langfuse 入門 Part 3 — LLM 評估:Score、LLM-as-a-Judge、Dataset 與 Experiment
LLM 應用最難的問題:你怎麼知道它『答得好不好』?本篇拆解 Langfuse 的評估體系——用 Score 量化品質、用 LLM-as-a-Judge 自動評分、用人工標註校準、再用 Dataset + Experiment 在上線前做回歸測試,把『我覺得改好了』變成『數據證明改好了』。
Langfuse 入門 Part 2 — 三行程式碼開始追蹤:SDK 整合與 Tracing 實戰
概念懂了,該動手了。本篇示範用 Langfuse Python SDK 把應用接上可觀測性:@observe 裝飾器、get_client 與 context manager、OpenAI 一行替換整合、LangChain callback handler,以及如何用 Session、User、Metadata 讓 trace 真正可查可比。
Langfuse 入門 Part 1 — 為什麼 LLM 應用需要可觀測性?核心概念與資料模型
LLM 應用最可怕的地方,是它「壞掉時看起來跟正常時一模一樣」。本篇用最白話的方式講清楚:為什麼傳統監控救不了 LLM、Langfuse 是什麼、以及它的核心資料模型——Trace、Observation、Span、Generation、Session、Score——彼此怎麼組合成一張可觀測的全貌。