#Rate Limiting

2 posts tagged "rate limiting"

12

Part 12 — FDE core topic - Backpressure & Fair-Share：多租戶流量削峰與公平資源排程

深入解析 Token Bucket 反壓機制與加權公平排隊，說明多租戶 AI 平台如何在突發流量下保障每個租戶的最低吞吐量，並以 Redis Lua 腳本實現亞毫秒級限速。

·18 min engineering
23

Part 23 — FDE 面試準備指南（二十三）：RKK 實戰——多租戶 Agent 的限流、Fair-Share 與 Token 預算控制

以系統設計視角拆解多租戶 AI Agent 系統的資源隔離問題：為什麼傳統 RPM 限流不夠、Token-Aware Rate Limiting 的設計原理、分散式令牌桶架構，以及如何防止 Noisy Neighbor Effect 影響其他租戶

·16 min aiengineering