https://yennj12.js.org/yennj12_blog_V4/tags/tts/Recent content in TTS on YennJ12 Engineering BlogHugo -- gohugo.ioen-usSun, 21 Jun 2026 15:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase6-part2-tts-audio-models-zh/Sun, 21 Jun 2026 15:00:00 +0800https://yennj12.js.org/yennj12_blog_V4/posts/ai-eng-from-scratch-phase6-part2-tts-audio-models-zh/大多數工程師把 TTS 當成「呼叫 API、播放音訊」的黑箱。 真正的 AI 工程師理解聲學模型與聲碼器的分工、延遲來源、以及為何同一句話用不同架構品質差距達 0.8 MOS。 他們能設計零樣本語音克隆系統、控制情感韻律、並在 200ms 內完成整條推論鏈。 本文帶你從模型架構到線上服務，逐層拆解語音合成工程的每一個決策點。 面試情境 你的公司要推出有聲書朗讀功能，支援繁體中文與英文雙語、使用者可上傳 30 秒聲音樣本克隆自己的聲音、整體端對端延遲需低於 300ms。請說明你會如何設計這套 TTS 系統，包含模型選型、聲碼器、語音克隆架構、以及上線後如何持續改善音質。 一、核心問題：語音合成的工程挑戰 語音合成表面上是「文字轉音訊」，但工程挑戰遠比想像中複雜： 三大矛盾張力 維度 極端 A 極端 B 工程取捨 自然度 vs 延遲 Tortoise-TTS（MOS 4.5）推論 30s FastSpeech2 < 50ms 互動場景選速度，有聲書選品質 個人化 vs 資料量 傳統 clone 需 1 小時錄音 XTTS v2 只需 6 秒樣本 零樣本 clone 改變商業模式 表達力 vs 穩定度 情感模型偶爾產生雜音 平坦語調安全但無趣 情感強度需可調參數 延遲分解（300ms 預算） 文字前處理（正規化/分詞）： ~10ms G2P（字素轉音素）： ~15ms 聲學模型（Mel 頻譜生成）： ~80ms ← 最大瓶頸 聲碼器（Mel → 波形）： ~60ms 音訊編碼/傳輸： ~30ms 緩衝播放首包： ~20ms ───────────────────────────────── 總計： ~215ms ✓ 低於 300ms 核心工程問題清單