先定義要改變的流程，而不是先挑 KPI
AI 專案常從一個合理但模糊的期待開始，例如縮短客服回覆時間、減少文件整理工作，或提升業務查找資料的效率。問題是，這些敘述還不能被驗證。團隊必須先畫出流程邊界：從哪個事件開始計時、在哪個狀態結束、哪些人工確認仍然保留，以及退件、補件、轉派與系統等待是否計入。若導入前後使用不同的起訖點，即使數字改善，也無法證明是 AI 造成的。
基準線不是目標值，而是現況在明確條件下的可重複描述。量測單位應貼近實際工作，例如每張工單、每份合約、每次設備告警或每個合格商機，而不是只看部門總工時。總量會隨業務量、季節與人力配置變動；以工作單位為分母，才有機會比較不同期間。若案件複雜度差異很大，應先建立簡單、一般與例外案件等分類，避免 AI 剛好處理較容易的工作而產生錯誤結論。
觀察期間也要涵蓋正常波動，但不應為了等待完美資料而延後所有驗證。工程上較實際的做法，是先用既有系統紀錄建立初版基準，再用短期人工抽樣補足無法由系統判斷的品質與返工資訊。每個數值都應能回答：資料從哪裡來、由誰產生、何時寫入，以及相同查詢是否能再次得到相同結果。
同時量測速度、品質、成本與採用行為
只量測速度，容易把工作轉移誤認為效率提升。例如 AI 快速產生回覆，但主管花更多時間校對；助理整理文件變快，卻增加後端人員修正欄位的負擔。基準線必須涵蓋端到端流程，至少觀察處理時間、等待時間、人工接觸時間、返工與升級處理。成本則不只包含模型呼叫，還包括整合維護、資料整理、監控、權限管理，以及失敗時的人工接管。
品質指標必須對應業務風險。RAG 助理可檢查引用是否支持答案、文件版本是否正確，以及在缺乏證據時能否拒答；LINE 客服可檢查意圖分類、必要欄位收集與轉真人是否正確；ERP 或 CRM 自動化則應關注欄位正確性、重複寫入、流程狀態與稽核軌跡。建議為每項指標建立一張量測卡，至少記錄以下內容：
- 定義：指標的分子、分母、起訖事件與計算方式。
- 資料來源：事件日誌、工單、ERP、CRM、人工抽樣或財務紀錄。
- 分群方式：案件類型、渠道、語言、風險等級與使用者角色。
- 例外規則：缺值、重開案件、批次處理、系統中斷與人工覆寫如何處理。
- 決策用途：數值達到什麼條件時擴大、修正、暫停或改回人工流程。
讓比較具備可歸因性
導入前後比較最常見，也最容易受到干擾。上線期間可能同時更換知識庫、調整表單、重新分工或改變服務規範；若沒有記錄這些變化，團隊只能看到結果一起移動，無法判斷哪個改動真正有效。可行時，可採用平行影子模式，讓 AI 在不影響正式流程的情況下產生建議，再與原本人工結果比較。若無法平行執行，則可分階段導入相近的團隊或案件類型，並保留相同的量測方式。
比較群組不必追求學術實驗的完美，但必須揭露差異。新進人員與資深人員、簡單詢問與高風險案件、繁忙時段與一般時段不應直接混為一談。分析時至少依主要複雜度與風險條件分群，並同時呈現案件量與例外比例。若樣本不足，應標示結果仍屬方向性證據，而不是急著給出精確的投資回報結論。
生成式 AI 還需要固定的品質評估集。評估集應來自真實工作類型，包含常見問題、邊界情境、資料不足、權限限制與應拒絕處理的要求。每次更換模型、提示詞、檢索策略或文件切分方式，都用同一組核心案例重跑，並保留輸入、模型與提示版本、引用內容、輸出及人工判定。對高風險結果，人工評分者還應使用一致的規則與失敗分類，否則評估結果會隨個人偏好漂移。
在開發前寫下決策門檻與責任人
基準線的價值不只在於產生報表，而是讓團隊能做決策。立項時就應寫下最低可接受的品質、不得退步的風險指標、可接受的人工覆核負擔，以及何種證據足以進入下一階段。門檻不一定是單一數字；它可以是多條件規則，例如品質必須維持、端到端時間下降、重大錯誤不得增加，而且使用者確實在正式流程中採用結果。
每項指標都要有業務負責人與技術負責人。業務端確認定義符合真實作業與風險，技術端確保事件可以被可靠記錄、查詢與追溯。儀表板只是呈現層，真正重要的是資料契約：事件名稱、識別碼、時間戳、版本、人工覆寫原因與最終狀態是否一致。若來源系統會被改版，也應保留基準線版本，避免計算邏輯悄悄改變。
最後，預先定義停止條件。若資料缺口使核心指標無法重現、使用者繞過系統、人工覆核成本抵銷節省，或風險事件無法被可靠偵測，就應先修正流程與量測設計，而不是繼續擴大模型。成熟的 AI 導入不是證明模型永遠有效，而是建立一套能持續判斷何時有效、對誰有效，以及何時需要人工接手的機制。跨系統專案若涉及 LINE、ERP、CRM、雲端與 IoT，整合團隊的首要工作也應是把這套量測能力納入架構，而非等上線後才補做報表。