洞察維運約 4 分鐘閱讀

部署時如何優雅停止服務,避免遺失進行中的工作

優雅停止不是收到終止訊號後立刻關閉程序,而是一段受控的狀態轉換。系統必須先停止接收新工作,再完成、交接或安全中止已開始的工作。

把停止服務視為一段協定,而不是一個事件

部署平台通常先送出終止訊號,等待一段時間後再強制結束程序。如果應用程式收到訊號就立刻退出,正在處理的 HTTP 請求可能斷線,資料庫交易可能只完成一部分,背景工作也可能停在外部系統已更新、內部狀態卻尚未記錄的位置。真正的優雅停止應有明確順序:進入停止狀態、停止接收新工作、等待進行中的工作結束、釋放資源,最後才退出程序。

第一個設計決策是定義什麼叫做「完成」。查詢型請求通常只需要讓回應正常送出;寫入型請求則必須確認交易已提交,而且呼叫端能辨識結果。跨越 ERP、CRM、LINE 或第三方 API 的流程,不能假設單一資料庫交易可以涵蓋全部步驟。這類工作需要冪等鍵、狀態機或可重試的補償流程,才能在程序中止後安全接續,而不是只靠延長等待時間。

先摘除流量,再排空 HTTP 請求

應用程式收到終止訊號後,應立即把 readiness 狀態切換為不健康,讓負載平衡器或容器平台停止分派新流量;但程序本身仍要保持存活,繼續服務已建立的連線。流量摘除並非瞬間完成,因此不能在切換 readiness 後立刻關閉監聽器。DNS、反向代理、服務網格與既有 keep-alive 連線都可能讓少量新請求繼續抵達。

  • 拒絕新工作:停止接受新的長任務、串流與 WebSocket 連線;對可重試的請求回傳清楚的暫時性錯誤。
  • 追蹤進行中請求:使用計數器或連線追蹤,而不是以固定睡眠時間猜測工作是否完成。
  • 設定排空上限:等待所有請求結束,或在截止時間到達時取消仍未完成的工作,避免部署永久卡住。
  • 最後關閉相依資源:必須等請求處理器停止使用後,才能關閉資料庫連線池、快取、訊息客戶端與追蹤輸出器。

長連線要有不同策略。WebSocket 可以先通知客戶端即將重連,再停止接收新訊息;Server-Sent Events 與串流回應則應設定合理的最大生命週期。若單一請求可能執行很久,應考慮把它改成非同步工作,讓 API 回傳工作識別碼,客戶端再查詢狀態。這通常比讓部署等待一條無上限的連線更可靠。

背景工作必須能交接,而不只是等待

工作佇列的安全停止流程通常是先停止拉取新訊息,再完成目前持有的工作,最後才確認訊息。如果採用先確認再處理,一旦程序在中途停止,訊息就可能永久遺失;採用處理完成後再確認,則可能在確認前被終止,導致訊息重新投遞。因此工作處理器必須假設同一工作可能執行多次,並使用冪等鍵、唯一約束或已處理紀錄防止重複副作用。

對執行時間較長的工作,可使用具有到期時間的租約或可見性逾時,並在工作仍正常進行時續租。程序開始停止後,不應再無限制續租;它必須判斷能否在剩餘時間內完成。若不能,就儲存檢查點、釋放租約,讓其他工作節點接手。檢查點應落在有業務意義的邊界,例如檔案批次、資料分頁或流程步驟,而不是任意記錄記憶體中的暫時狀態。

還要注意外部副作用與本地紀錄之間的落差。例如系統已向 CRM 建立資料,卻在寫回本地資料庫前停止。可行的做法包括使用外部系統提供的冪等識別碼、以 outbox 模式可靠發布事件,或把流程拆成可辨識、可重試的狀態。優雅停止能降低中斷機率,但真正避免資料錯亂的關鍵,仍是讓每個步驟在重試後保持正確。

用同一份時間預算設計、觀測與驗證

應用程式的排空逾時必須短於平台的強制終止期限,並預留時間給連線池關閉、遙測送出與程序退出。若平台只願意等待有限時間,應用程式就不能把全部時間用來等待單一請求。HTTP 伺服器、背景工作器、資料庫與遙測元件也不應各自使用互不相干的完整逾時;較穩健的方式是共用一個停止截止時間,讓每個階段知道還剩多少時間。

觀測資料至少要區分正常停止、逾時停止與強制終止,並記錄停止開始時間、進行中的請求與工作數量、最後未完成的工作類型,以及佇列重新投遞情況。部署成功並不代表停止流程正確;如果每次發布都留下大量重試、重複寫入或長尾錯誤,問題只是被自動恢復機制掩蓋。

驗證時應在測試環境持續送出短請求、長請求與背景工作,於不同處理階段觸發終止訊號,再確認回應、資料與佇列狀態。也要測試相依服務變慢、續租失敗及截止時間耗盡等路徑。對整合型系統而言,停止協定需要涵蓋 API、工作器、資料庫與外部平台;若各元件由不同團隊維護,應共同定義冪等、重試與交接邊界。

本文由 AI 依聖索科技規劃的主題自動撰寫,內容為一般性說明,導入前請依實際情況評估或與我們討論。

開始

有類似的需求?

告訴我們你的產業、目前系統狀態與預算範圍。我們會在 2 個工作天內回覆,並安排 30 分鐘免費諮詢。