https://yennj12.js.org/yennj12_blog_V4/tags/llmjudge/Recent content in LLMJudge on YennJ12 Engineering BlogHugo -- gohugo.ioen-usMon, 08 Jun 2026 10:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-core-concept-19-llm-judge-bias-mitigation-zh/Mon, 08 Jun 2026 10:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/fde-core-concept-19-llm-judge-bias-mitigation-zh/核心定義：LLM-as-Judge 是用一個強大的語言模型對另一個語言模型的輸出進行自動評分，透過結構化 Prompt、分層抽樣與偏見消除技術，以 1% 的人力成本達到 80% 的人工評估一致性，是大規模 AI 產品品質監控的基礎設施。 一、為什麼面試官問這個 面試官真正在測試的不是「你知道 LLM-as-Judge 這個詞」，而是三件事： 你是否理解評估的統計性質：知道抽樣比例、信賴區間、漂移偵測背後的數學，而不只是說「隨機抽樣評估一下」。能說出「50K 樣本、95% CI、±14% 誤差範圍」的候選人，遠比說「我們抽 5%」的候選人有說服力。 你是否能辨識並主動消除偏見：弱候選人只說「讓 LLM 評分」；強候選人說出自增強偏見、位置偏見、冗長偏見、奉承偏見四類具體問題以及各自的 mitigation 技術，並知道每種技術的代價和侷限。 你是否懂成本工程：能給出具體數字—1M 日查詢、5% 抽樣、每次 $0.002，得出 $100/day vs $2,000/day 的差距，並說明如何用分層設計讓高風險租戶獲得更高覆蓋率。 弱答案：「我們讓 GPT-4 評分，看分數有沒有下降。」這個答案暴露了三個問題：沒有偏見意識、沒有成本意識、沒有統計有效性意識。 強答案：「我們對 5% 的流量做按 intent_class × tenant 的分層抽樣，用與被評估模型不同家族的模型作為裁判，強制 CoT 先推理再評分，pairwise 比較做雙向排列取一致結果，設 7 日滾動均值 ±2σ 漂移告警接 PagerDuty。1M 日查詢成本 $100/日，裁判與人工的 Spearman ρ = 0.84。」 二、核心原理與技術深度 2.1 為什麼人工評估無法規模化 人工評估的隱藏成本遠超表面工資。一個典型的企業 AI 產品日查詢量達 1M： 評估方式 1M 查詢/日 成本 結果延遲 實際覆蓋率 全量人工標注（$0.05/條） ~$50,000/日 24–72 小時 理論 100%，實際 <0.