先定義文件邊界，再選擇模型
複雜文件不是單一資料型態。掃描合約、採購單、發票、檢驗報告與手寫表單，可能同時包含旋轉頁面、印章、表格、頁首頁尾、跨頁欄位與品質不一的影像。若一開始只問哪一套 OCR 最準，通常會忽略真正影響系統穩定性的問題：文件是否能正確分類、頁面是否屬於同一份文件，以及下游是否知道某個值來自哪一頁、哪一區。
實務上應先建立文件分類與處理契約。每種文件要定義必要欄位、可選欄位、重複欄位、合理格式、跨欄位關係，以及無法確認時的處置方式。OCR 引擎的選擇則依語言、印刷或手寫內容、表格密度、部署位置與資料敏感度決定。對格式固定的文件，模板或座標規則往往便宜且可預測；對供應商眾多、版型持續變動的文件，版面模型加 LLM 通常更有彈性，但必須搭配驗證層。
保留版面，不要只留下純文字
OCR 輸出若只是一串文字，下游很快就會失去關鍵訊息。例如金額與幣別可能分處不同欄位，表格欄名可能只在第一頁出現，而備註又可能覆寫主表內容。因此，中介資料應保留頁碼、文字區塊、座標、讀取順序、表格儲存格、合併欄位與 OCR 信心資訊。原始影像、OCR 結果與後續正規化資料也應分開保存，避免修正流程破壞原始證據。
影像前處理要有節制。去傾斜、旋轉校正、裁邊與適度增強對掃描件有幫助，但過度二值化可能消除淡色印章、細線表格或手寫筆跡。多欄文件與跨頁表格則不宜只依視覺上的由左至右順序組字。較穩健的方法是先產生版面區塊，再針對標題、段落、鍵值區與表格採取不同解析策略。
- 鍵值區：保留標籤和值的空間距離，並允許同義標籤，例如統編、公司編號與稅籍編號。
- 表格：同時保存列、欄、頁面與欄名關聯，不能只把每列轉成無結構文字。
- 跨頁內容：標記延續頁、重複欄名與小計，避免把頁尾當成明細。
- 視覺元素：印章、勾選框與簽名應作為獨立訊號，不應假設 OCR 一定能轉成文字。
讓 LLM 做語意映射，而不是憑空判定
LLM 適合處理標籤變體、上下文判讀、欄位對應與非固定版型，但不應直接接收整份文件後自由產生答案。較可控的做法是先由 OCR 與版面解析建立候選區塊，再要求 LLM 依明確結構輸出。欄位規格應描述資料型別、是否必填、允許值、格式、來源片段，以及找不到資料時必須回傳空值，而不是猜測。
每個擷取值最好附帶來源頁碼、文字片段或座標，讓系統可以追溯。對表格資料，應先辨識欄位架構，再逐列映射，避免一次要求模型重建整張大表。提示詞與模型版本也要像程式碼一樣管理，保留版本、測試樣本與輸出差異。若文件含敏感資訊，還需評估模型服務的資料保留政策、傳輸區域、遮罩策略與是否必須在私有環境執行。
驗證與例外處理才是可靠性的核心
OCR 信心分數不能直接等同欄位正確率，LLM 也不會因為輸出格式合法就代表內容可信。驗證層應獨立於模型，使用可解釋的規則檢查日期、金額、幣別、稅額、識別碼與欄位間的一致性。例如明細加總是否對得上總額、日期順序是否合理、供應商代碼是否存在於 ERP 主檔，以及同一文件中的幣別是否衝突。
例外不應只有成功或失敗兩種狀態。系統需要區分影像不可讀、文件類型未知、必要欄位缺漏、候選值衝突、規則驗證失敗與外部系統查無資料。不同原因對應不同重試策略與人工介面，才能避免所有問題都落入同一個待處理佇列。
- 自動通過：必要欄位齊全、來源可追溯，且所有關鍵規則通過。
- 局部覆核：只呈現低信心或衝突欄位，並同步顯示原始影像位置。
- 重新處理：針對旋轉錯誤、頁面遺漏或 OCR 引擎不適合等技術問題重新執行。
- 拒絕或退件：文件不在支援範圍、品質無法判讀，或缺少業務必要資訊。
以可觀測性維護持續變動的文件
上線後最常見的變化不是模型突然失效，而是供應商改版、掃描設備更換、欄位名稱調整，或 ERP 主檔規則更新。因此要記錄每一階段的輸入輸出、處理時間、模型與提示詞版本、驗證結果、人工修正內容及最終寫入狀態。監控也應依文件類型、來源與欄位拆分，否則整體成功率很容易掩蓋局部退化。
測試集應涵蓋正常文件、低品質掃描、空白頁、重複頁、跨頁表格、相似欄位與刻意缺漏，而不只是少量漂亮樣本。人工修正可以成為改善規則與評估模型的資料，但不宜未經治理就自動回訓。成熟的文件管線不是追求完全沒有人工，而是讓自動化範圍、失敗原因與責任邊界都清楚；若流程還要串接 LINE、ERP、CRM 或雲端儲存，整合團隊更應從資料契約與例外狀態開始設計，而不是最後才補接口。