Engineering insights, architecture deep dives, and technical solutions
1 posts tagged "speculativeexecution"
深入剖析 Agent 並行 15 個工具呼叫時如何以投機雙發(Hedged Request)壓制 P99 尾部延遲、用硬截止時間搭配優雅降級回傳部分結果,將整體等待從 30 秒壓到 1.5 秒(20 倍改善)。