先把回饋當成線索,不要直接當成需求
企業 AI 上線後,最常收到的回饋通常很短,例如「答非所問」、「找不到資料」或「回覆太慢」。這些描述反映了使用者感受,卻還不足以決定技術方案。同一句「答案錯了」,可能源自知識庫沒有資料、文件版本過期、權限過濾錯誤、檢索沒有命中、提示詞理解偏差,或模型在證據不足時自行補完。若收到回饋後立刻修改提示詞或更換模型,往往只會移動問題,甚至破壞原本正常的情境。
第一步應保存足以重現事件的上下文,包括原始問題、AI 回覆、引用來源、時間、使用管道、模型與提示詞版本、知識庫快照,以及不含敏感資訊的角色與權限條件。回饋原文也應保留,但個資、商業機密與憑證必須先遮蔽。工程團隊接著判斷問題是否可重現、影響哪類任務、是否涉及安全或法規,以及使用者期待的是正確答案、更完整的說明,還是明確拒答。
建立從回饋到發布的追蹤鏈
可追蹤不等於建立一張很大的試算表,而是讓每項改善都有一致的識別碼與關聯。實務上,一則回饋可能拆成多個問題;多則回饋也可能指向同一個根因。因此資料模型應允許多對多關係,避免用「一張工單對一次修改」過度簡化真實情況。
一條完整的追蹤鏈至少應包含以下項目:
- 原始事件:保存經過去識別化的輸入、輸出、引用、系統版本與執行環境。
- 分類與優先級:記錄症狀、業務影響、重現性、風險等級及疑似責任層。
- 評測案例:定義輸入、必要上下文、預期行為、禁止行為與判定方式。
- 變更紀錄:連結程式提交、提示詞、檢索設定、文件來源、權限規則或模型版本。
- 驗證與發布:保留基準比較、審核結果、發布批次、回復方案與觀察狀態。
狀態也要清楚,例如待確認、已重現、已轉為案例、修正中、驗證通過、已發布、觀察中與結案。結案條件不是「程式已部署」,而是問題已由對應案例驗證,且上線後沒有出現明顯退化。
把真實問題轉成可長期使用的評測案例
好的回歸案例不應要求模型逐字輸出固定句子,而要描述可觀察的行為。例如,使用者詢問內部報價規則時,案例可以要求系統找到指定版本的授權文件、以引用內容回答、在證據不足時說明限制,並且不得洩漏其他部門無權查看的資訊。這樣的定義即使在更換模型或調整文字風格後仍然有效。
評測方式需依風險分層。格式、引用存在與權限規則通常可以自動檢查;語意正確性、資訊是否足夠及語氣是否合宜,則常需要規則、模型評審與人工抽查共同判定。模型評審速度快,但可能受提示方式影響;人工評審判斷細緻,卻較耗時且可能不一致。較穩健的做法是先制定明確評分準則,讓自動檢查處理確定性條件,再把高風險、邊界或評審分歧的案例交給領域人員。
選擇正確的改善層,而不是一律微調模型
根因確認後,應優先修改最接近問題、風險最低且容易回復的層。文件缺漏就修正資料來源;權限錯誤就處理身分與過濾邏輯;檢索不準則檢查切塊、索引、查詢改寫與排序;流程判斷不清才調整提示詞或工具調用。只有當問題具有穩定模式,且無法透過資料、檢索或應用邏輯合理解決時,才值得評估模型替換或微調。
發布前不能只確認目標案例變好,還要與既有基準比較,並依語言、任務、管道、權限角色與文件類型切分結果。平均分數可能掩蓋少數高風險情境,因此核准條件應同時考量關鍵案例不得退步、成本與延遲是否可接受,以及失敗時能否快速回復。
- 小幅變更:仍需執行相關回歸案例,避免提示詞或檢索設定造成連鎖影響。
- 高風險變更:先以影子流量或受控範圍觀察,再逐步擴大發布。
- 版本管理:模型、提示詞、知識庫、工具與權限設定必須能共同還原。
- 回復準備:發布前明確指定上一個穩定版本與觸發回復的條件。
讓回饋閉環成為日常工程機制
回饋數量不等於問題嚴重度。高頻使用者可能產生較多回報,而沉默的使用者可能早已放棄使用。因此排程不能只看票數,還要納入業務關鍵性、安全風險、受影響範圍、重現性與修正成本。固定的分流節奏、明確的案例負責人,以及產品、領域專家、資料與工程角色共同審核,通常比臨時追著單一抱怨修改更有效。
最後,應把發布結果連回原始回饋:哪個版本處理了問題、哪些案例通過、仍有哪些限制,以及上線後要觀察什麼。若能回覆使用者,也應說明已改善的行為,而不是保證 AI 永遠不再犯錯。這套紀錄會逐步形成企業自己的評測資產,使下一次模型、知識庫或系統整合升級都有可靠基準;需要跨 LINE、ERP、CRM、雲端與資料平台時,整合團隊也能沿著同一條證據鏈協作,而不必重新猜測問題。