https://yennj12.js.org/yennj12_blog_V4/tags/asr/Recent content in ASR on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 14:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase6-part1-asr-zh/Sun, 21 Jun 2026 14:30:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase6-part1-asr-zh/大多數人以為語音辨識就是「把錄音丟給 API 拿文字」。 但真正的工程挑戰是：如何在 300ms 內完成辨識、處理口音與噪音、控制串流延遲？ 不懂聲學特徵與解碼策略，你只是在呼叫別人的黑盒子。 理解 ASR 架構，才能在延遲、準確率、成本之間做出有根據的取捨。 面試情境 你正在設計一個線上教育平台的即時字幕系統，需要支援 10,000 位同時在線的學生。系統要求：辨識延遲 < 500ms、WER < 10%、支援中英文混合語音。請說明你的 ASR 架構選擇，以及如何在 POC 到 Scale 的過程中演進這個系統。 一、核心問題：語音辨識的工程挑戰 語音辨識（Automatic Speech Recognition，ASR）聽起來簡單：輸入聲音、輸出文字。但工程上的挑戰遠比想像中複雜。 三大核心張力 準確率 vs 延遲：離線 batch 辨識可以拿到最好的準確率（Whisper large-v3 WER 4.2%），但需要等音訊結束後才能處理。串流辨識要求 < 300ms 的 partial result，但準確率可能下降 15–30%。 通用性 vs 領域適應：預訓練模型在 clean speech 上表現優秀，但在特定領域（醫療術語、程式碼朗讀、帶口音的中文）WER 可能飆升至 30%+。Fine-tune 需要標注資料，成本每小時約 $50–200。 成本 vs 自建：呼叫雲端 ASR API 每分鐘約 $0.006–0.024，自建 Whisper 在 GPU 上每分鐘約 $0.001–0.003，但需要維運成本。 語音訊號的本質困難 時間 (秒) 0.0 0.