表格不是排版後的一串文字
許多 RAG 管線會先從 PDF、試算表或掃描文件擷取文字,再依字數或 token 數切塊。這套方法適合段落,卻經常破壞表格。當欄名、列名與數值被拆到不同區塊後,系統可能找得到「1,250」,卻不知道它屬於哪個產品、期間、地區或計量單位。多層表頭、合併儲存格與跨頁表格更容易在展平時失去結構。
工程上需要保留的不是視覺外觀,而是儲存格的關係。每個值至少應能追溯至列標籤、完整欄位路徑、單位、表格標題、註腳及來源位置。例如「營收/亞太區/本期」是一條完整欄位路徑,不能只留下最靠近數值的「本期」。若文件同時包含不同幣別或版本日期,這些上下文也必須成為資料的一部分。
先建立可還原的中間表示
文件解析完成後,不要立刻產生向量。先把表格轉成標準化的中間模型:表格、列、欄、儲存格、表頭階層與來源座標。模型應足以重建原表,也要能輸出適合檢索的文字。Markdown 或純文字可以作為呈現格式,但不宜成為唯一的內部資料結構,因為它們很難可靠描述跨欄表頭、合併範圍與跨頁延續關係。
- 表格身分:保存文件、頁碼、工作表名稱、表格標題與穩定的 table ID。
- 表頭路徑:將多層欄名串成完整語意,例如「成本/雲端/儲存/月費」。
- 列的上下文:保留主列名、群組列與上層分類,避免只儲存縮排後的子項目。
- 值與格式:同時保存原始字串與正規化值,並分開記錄幣別、百分比、日期及其他單位。
- 來源證據:記錄頁碼、儲存格座標、範圍或邊界框,供引用與除錯使用。
合併儲存格通常需要在邏輯模型中向下或向右補值,讓每個資料格都有完整表頭;同時仍應保存原始合併範圍,以免誤把視覺分組當成重複資料。遇到跨頁表格時,可依相同表頭、欄數、標題與頁面連續性判斷是否合併,但低信心結果應標記為待檢查,而不是靜默拼接。
分塊與檢索必須以關係為單位
最實用的基本單位通常是「一列或一組相關列,加上完整表頭」。每個 chunk 都應重複表格標題、列名、欄位路徑與單位,使它離開原頁面後仍可獨立理解。對欄位很多的寬表,可以依語意分成數個欄群,但每一群都要保留共同識別欄。對需要跨列比較的表格,則可建立滑動列群或依業務群組分塊,避免檢索只拿到其中一列。
大型表格可採兩層索引:第一層是表格摘要,描述主題、期間、維度與欄位;第二層是列級或儲存格群組級資料。先找出相關表格,再在該表格內檢索,通常比把整份文件的所有資料列放進同一個向量空間更可控。摘要只能協助路由,不能取代原始數值,也不應由模型自行補寫不存在的欄位。
向量搜尋擅長語意近似,但對料號、欄位代碼、日期與精確數值未必可靠。實務上應結合關鍵字搜尋、metadata filter 與向量檢索,再以 reranker 檢查查詢中的實體、期間、列名及欄名是否同時出現在候選內容。若問題要求加總、排序、篩選或大量跨列計算,應將已解析的表格交給 SQL 或資料框工具執行,而不是要求語言模型從文字片段心算。
回答時重組表頭,驗證時測關係
送入模型的 context 應按照「表格標題、欄位路徑、列資料、單位、註腳、來源」排列,只提供回答所需的相關列,但不可省略解讀數值所需的表頭。若兩個候選值來自不同期間、版本或幣別,必須明確分隔。回答引用也應指向頁碼、工作表或儲存格範圍,讓使用者可以回到原始文件核對。
評估表格型 RAG 時,不能只看最終答案是否碰巧正確。測試集應刻意涵蓋同名欄位、多層表頭、空白儲存格、跨頁延續、註腳修正與單位轉換,並檢查檢索結果是否帶回正確的列欄組合。除錯時先看被取回的 chunk 是否自足,再判斷問題出在解析、索引、檢索、重排或回答階段。
- 數值是否同時帶有正確的列名、欄名與單位?
- 同名指標出現在不同期間時,系統能否辨識查詢指定的版本?
- 合併儲存格與跨頁表頭是否被正確展開,而沒有製造重複列?
- 需要計算的問題是否路由至結構化查詢,並保留可核對的輸入資料?