先把急迫性與重要性拆開
自動化平台常把所有工作放進同一條佇列,再用高、中、低三個等級決定順序。這種做法容易理解,卻會把不同概念混在一起:事故復原可能很急,但只影響單一流程;月底結帳資料同步可能不必立刻完成,卻有明確截止時間;例行報表雖然重要,通常仍可延後。工程上應把業務重要性、截止時間、等待時間與失敗成本分開建模,而不是期待一個 priority 欄位代表全部。
建立優先級時,先定義可驗證的進入條件。例如,最高層級只接受資安處置、營運中斷復原或即將錯過硬性截止時間的工作;一般互動式請求可排在批次同步之前;維護、回填與報表則進入可延後的背景層級。來源系統不應任意宣告最高優先級,否則每個團隊都會把自己的工作標成緊急。較穩妥的方式,是由排程服務依工作類型、截止時間與租戶政策計算等級,並記錄升級原因。
排程鍵也不必只有等級。實務上可先比較優先級,再比較截止時間與進入佇列的時間;相同條件才依序號排序。若工作可安全切分,大型匯入應拆成較小批次,避免單一長任務占住執行器,讓後方短任務即使優先級較高也無法開始。
公平性必須是明確政策
純優先級佇列最大的風險是飢餓:只要高優先工作持續進入,背景同步、資料回填或低流量租戶的工作就可能永遠輪不到。反過來,單純先進先出雖然公平,卻可能讓大量批次工作擋住使用者正在等待的 LINE 訊息、ERP 核准或 AI 助理查詢。因此,公平性不是取消優先級,而是在優先級之間與同一層級內設置可說明的服務規則。
- 等待時間老化:工作等待越久,排程分數逐步提高,但升級速度與上限必須固定,避免背景工作突然壓過真正緊急的事件。
- 租戶或流程配額:限制單一客戶、部門或整合流程同時占用的執行槽,避免某次大量匯入耗盡共享資源。
- 加權公平輪替:為互動請求、事件驅動流程與批次工作保留不同服務權重,使每類工作持續取得容量,而非只在系統空閒時碰運氣。
- 成本感知:除了工作數量,也要衡量預估執行時間、API 呼叫量、記憶體或模型配額;十個輕量任務與十個大型推論任務並不等價。
公平性的單位要跟風險一致。多租戶 SaaS 通常以租戶為單位;企業內部平台可能以部門、流程或下游系統為單位。如果 ERP API 是瓶頸,就應限制所有會呼叫該 ERP 的工作,而不是只限制某一條佇列。政策上也應保留人工覆寫能力,但覆寫需有到期時間、原因與稽核紀錄,避免臨時例外變成永久捷徑。
排程器不能假設容量固定
佇列有工作,不代表下游現在就能接收。執行容量會受資料庫連線、第三方 API 限流、雲端函式併發、AI 模型配額、ERP 維護時段與 IoT 流量尖峰影響。排程器應將容量視為多個資源池,而不是單一 worker 數量。例如,同一個工作可能同時消耗一個執行槽、一個模型請求額度,以及某個 CRM 的呼叫額度;其中任何一項不足,都不應啟動。
容量控制最好採用硬上限加動態餘裕。硬上限保護下游不被壓垮;動態餘裕則依近期延遲、錯誤率、限流回應與積壓趨勢調整派工速度。不要等到服務全面失敗才停止派工。當下游延遲持續上升或開始拒絕請求時,排程器應先降低併發,暫停可延後工作,並為互動式與復原工作保留少量容量。
重試也必須計入容量。立即重試會在下游最脆弱時製造更多壓力,形成重試風暴。應使用指數退避、隨機抖動、最大嘗試次數與死信佇列,並確保工作具備冪等性。若任務無法冪等,至少要有去重鍵、狀態檢查或補償流程,否則調整排程與重送可能造成重複訂單、重複通知或資料覆寫。
以可觀測性驗證政策,而非只看佇列長度
佇列長度只能說明尚有多少工作,無法回答使用者是否正在受影響。營運上應同時觀察各優先級與各租戶的最老等待時間、排隊延遲、執行時間、逾期工作、重試次數、死信數量、資源池使用率,以及因容量不足而未派工的原因。這些資訊要能追溯到一次排程決策:工作為何被選中、為何被跳過、分數如何計算、當時哪個資源已滿。
上線前可用錄製流量或合成工作做壓力情境驗證,包括緊急工作突然增加、單一租戶大量匯入、第三方 API 降速、長任務占滿執行器,以及失敗工作集中重試。驗收標準不只是吞吐量,也要檢查低優先工作是否仍能前進、截止時間是否可預測、降載是否依政策發生,以及容量恢復後是否會一次釋放過多工作。
成熟的排程設計通常從簡單規則開始:少量優先層級、等待時間老化、每租戶併發上限,以及按下游拆分的容量池。當監控資料證明現有政策無法處理實際負載,再加入加權公平或成本預估。關鍵不是演算法多複雜,而是每個決策都可解釋、可調整,並在尖峰與故障時仍保護最重要的流程。