先把 PoC 的成功重新定義為營運承諾
PoC 通常在受控資料、有限使用者與工程團隊密切支援下執行,目的是驗證技術可行性或業務價值。正式上線後,系統面對的是持續變動的資料來源、權限、人員、外部 API、模型版本與使用量。PoC 中由工程師手動修正的問題,上線後都必須變成可偵測、可分派、可復原的營運流程。
因此,核准上線前不應只問模型回答得準不準,而要確認服務失敗時由誰做決定。業務單位是否能接受暫停 AI 回答?資料異常時要停用整個服務,還是切換到搜尋或人工流程?成本超過預期時,誰有權限制使用量?這些決策應寫入一頁式的服務章程,列出服務目的、使用範圍、不可接受的風險、主責人與降級原則。
依故障領域拆分責任,而不是指定一位 AI 負責人
企業 AI 服務橫跨應用程式、模型、知識庫、雲端、資安與既有系統。把所有責任交給單一窗口,常造成問題被來回轉派。較實用的方式是依故障領域指定可做決策的主責角色,並為每個角色安排備援。
- 業務產品負責人:決定使用情境、優先順序、可接受的回答風險,以及何時需要人工覆核。
- 服務與應用負責人:管理版本、介面、LINE、ERP 或 CRM 串接、事件處理與回復時間。
- 資料與知識負責人:確認資料來源、權限、更新頻率、文件有效性,以及錯誤內容的更正流程。
- AI 行為負責人:維護提示詞、評測題集、模型選擇與安全規則,判斷行為變化是否可接受。
- 平台與資安負責人:管理雲端資源、身分權限、金鑰、日誌、備份、弱點與個資處理。
- 供應商或整合團隊:明定保固、維護範圍、升級條件與第三方服務的升級路徑,避免把所有外部故障都視為客製開發問題。
責任表不必複雜,但每項核心工作都要有唯一的最終負責人。執行者可以是內部團隊或合作夥伴,決策責任則應留在企業內部。特別要區分內容錯誤、系統故障與需求變更:三者需要不同的審核、時效與預算,混在同一張維護工單中只會讓優先順序失真。
用工作負載建立維運預算,不要沿用 PoC 專案報價
維運預算應反映服務如何被使用與改變,而不是把 PoC 費用按月平均。建議先建立基準、預期與壓力情境,分別估算使用人數、請求量、文件更新量、整合交易量與支援需求。預測不必精準,但必須讓團隊知道哪些變數會推高成本,以及觸發何種控制措施。
- 固定平台成本:正式與測試環境、資料庫、向量搜尋、網路、監控、備份及必要的高可用配置。
- 變動使用成本:模型 token、語音或影像處理、雲端運算、儲存、流量與外部 API。應設定告警、配額及合理的降級策略。
- 人力與支援成本:值班、事件分析、知識更新、品質抽查、使用者支援與跨系統協調。這些工作通常比基礎設施更容易被低估。
- 變更與生命週期成本:模型替換、提示詞調整、連接器升級、權限改造、法規要求與既有系統版本更新。
- 風險準備:保留處理突發流量、第三方漲價、重大資料修正或安全事件的資源,但要定義動用與核准方式。
預算決策也反映架構取捨。較高的固定成本可能換來穩定容量與可預測延遲;按量計費適合需求尚未穩定的服務,但需要更嚴格的成本監控。自行維運能累積內部能力,前提是團隊確實有人可負責值班與升級;託管服務降低日常負擔,卻仍不能取代企業對資料、業務風險與供應商依賴的治理。
把上線門檻與預算檢討放進同一套節奏
正式上線的驗收不應只測正常流程。團隊要驗證來源文件過期、模型無回應、ERP 逾時、權限被撤銷、流量突增與回答不可接受時,系統是否能被觀察並安全降級。服務指標應從使用者結果出發,例如端到端成功、回應時間、轉人工比例、知識更新延遲與重大錯誤,而不只是伺服器是否在線。
- 上線前:完成監控、告警、權限審查、備份還原、回滾方案、事件分級與聯絡名單。
- 變更時:使用固定評測集與關鍵流程測試,記錄模型、提示詞、資料或整合版本,並保留快速回復能力。
- 事件後:檢討偵測、決策與復原過程,將改善項目分派給明確負責人,而不只修正當下症狀。
- 定期營運:共同檢視服務品質、使用量、成本驅動因子、未完成風險與下一期需求。
初期應以較短週期檢討,待使用模式與事件類型穩定後再拉長。每次檢討都要比較實際成本與原先假設,說明差異來自採用成長、低效率設計、資料維護,還是新需求,並決定調整容量、配額、架構或服務範圍。
真正成熟的上線計畫,不是承諾系統永遠不出錯,而是確保每種重要錯誤都有負責人、可執行的處置方式與可持續的預算。若內部能力尚未完整,整合團隊可以承接部分執行工作,但責任移交、文件、監控權限與退出機制仍應從第一天就設計好。
