先分清楚:積壓是存量,速率才是趨勢
只看佇列深度,很容易做出錯誤判斷。深度是某一時刻尚未處理的訊息存量;真正決定積壓會擴大或收斂的,是流入速率與完成速率之差。可以把趨勢簡化為:積壓變化率等於流入速率減去成功處理速率。若流入持續高於處理能力,增加的訊息終究會變成延遲;若處理速率已高於流入,則系統正在排空,只需要確認能否在業務可接受的時間內恢復。
觀測時必須使用相同時間窗,並區分接收、成功確認、重試與死信。消費者快速取走訊息但未成功確認,可能讓表面深度下降,之後又因可見性逾時重新出現。批次發佈或排程工作也會形成規律尖峰,這類積壓未必需要長期擴容。比總深度更能反映使用者影響的指標,通常是最舊訊息年齡與端到端處理延遲。
- 流入速率:生產者實際送入佇列的速度,並標記批次、排程或事件來源。
- 成功處理速率:以完成業務動作並確認訊息為準,不以消費者讀取數量代替。
- 最舊訊息年齡:判斷等待時間是否持續惡化,以及重要服務目標是否可能失守。
- 重試與死信:辨識積壓究竟來自容量不足、壞資料,還是下游服務故障。
量到的必須是有效處理能力
消費者數量、執行緒數或 CPU 使用率,都不能單獨代表處理能力。每個工作可能需要查詢資料庫、呼叫 ERP 或 CRM、寫入物件儲存,再等待外部 API 回應。只要其中一個下游出現限流、連線池耗盡、鎖競爭或尾端延遲,增加並行度就可能放大重試,反而降低成功吞吐。容量評估應採用穩定負載下每個消費者可持續完成的速率,而不是短暫壓測峰值。
分割區設計也會限制擴容效果。如果佇列只有少量可並行分割區,或同一業務鍵必須依序處理,新增消費者可能只會處於閒置狀態。若訊息大小與工作成本差異很大,平均吞吐也會掩蓋熱分割區與慢任務;此時應按工作類型、分割區或租戶拆分指標,找出真正的瓶頸。
- 消費者已飽和:CPU、執行緒或事件迴圈繁忙,增加實例通常有幫助。
- 下游已飽和:資料庫等待、API 限流或連線池阻塞,應先解除依賴瓶頸。
- 工作分布不均:少數分割區持續落後,應調整分割策略或工作路由。
- 失敗主導流量:重試消耗大部分資源時,先隔離毒性訊息並修正錯誤。
擴容時機要同時考慮新流量與清空期限
擴容計算不能只問目前流入量需要多少消費者,還要把積壓清除期限納入。所需總處理速率可以理解為預估流入速率,加上積壓量除以期望清空時間;再以單一消費者的可持續成功吞吐換算實例數,並保留因流量波動、部署與故障切換所需的餘裕。若算出的需求超過資料庫、第三方 API 或佇列分割區的上限,擴容消費者並不是可行答案。
自動擴縮可使用每個消費者的積壓量作為容量訊號,再以最舊訊息年齡確認業務影響,以成功吞吐與下游錯誤率作為安全護欄。擴容宜較快,縮容則應等待積壓穩定下降並完成進行中的工作,避免剛縮容又重新堆積。冷卻時間、最大實例數及每次調整幅度,都應依啟動時間、訊息處理時間與下游承載能力設定,而不是沿用所有服務共通的預設值。
把臨場判斷整理成可執行的處置流程
值班人員看到告警後,應先確認指標定義與訊息生命週期,再判斷是流量尖峰、消費者退化、下游故障或資料問題。建議把以下順序寫進 runbook,讓擴容成為有條件的工程決策,而不是看到佇列變長就按下按鈕。
- 比較同一時間窗內的流入、成功完成與積壓變化,確認趨勢是否一致。
- 檢查最舊訊息年齡、端到端延遲與高優先級工作,評估實際影響。
- 查看重試、死信、分割區落後與下游限流,定位容量消失的位置。
- 確認工作具備冪等性,且資料庫與外部系統能承受更高並行度後再擴容。
- 擴容後持續驗證成功吞吐是否上升、訊息年齡是否下降,以及錯誤是否惡化。
若擴容無法提升成功吞吐,應停止加碼並改採限流、分流、優先級佇列、延後非關鍵工作或隔離失敗訊息。長期而言,工程團隊應把流入速率、有效容量、清空時間與依賴上限放在同一個儀表板,並定期以接近正式環境的工作負載驗證。跨 LINE、ERP、CRM、雲端與 IoT 的整合流程尤其需要共同的可觀測性,才能避免各系統只看到自己的一段延遲。需要時,具備系統整合經驗的團隊可以協助把這些邊界與處置條件落實到架構和維運流程中。