這項由阿聯酋東談主工智能大學（MBZUAI）與IBM斟酌院聯絡開展的斟酌，以預印本款式于2026年5月12日發布在arXiv平臺，論文編號為arXiv:2605.12623。有興致深入了解的讀者可通過該編號查閱完好論文。

**一、 故事從一談"翻譯難題"提及**

假定你手邊有一份泰語的法律合同、一份阿拉伯語的學術闡發、再加上一份用緬甸文寫成的醫療紀錄。你想讓電腦幫你把這些文獻里的筆墨、表格、圖表全部準確索取出來，最佳連版面結構也一并保留。聽起來不難？實踐上，這恰是現在東談主工智能范疇最辣手的問題之一。

現存的文檔交融系統在英語上進展格出門色，但一朝遭逢資源匱乏的小語種，準確率就會斷崖式著落——偶然以至跌去40%到60%。形成這一窘境的根蒂原因，在于考試數據嚴重短缺。莫得迷漫的標注數據，再聰慧的模子也無從學起。

更辣手的是，現存的數據制作方式自己就存在惡性輪回：要么靠東談主工標注，費時戮力，根蒂無法掩飾幾十種言語；要么靠已有的AI模子自動打標簽，但這些模子自己就對英語有偏見，它們給出的標注一樣帶著偏見，用這些數據考試出來的下一代模子，偏見只會有增無減。這就好比一個只讀過中告示的憨厚，你讓他去教學生認日文，他教出來的學生當然也只會華文。

恰是為了突破這個死輪回，阿聯酋東談主工智能大學和IBM斟酌院的聯絡團隊提倡了DocAtlas——一套全新的多言語文檔交融框架，方針是讓機器信得過讀懂來自寰宇各地的文獻，掩飾82種言語、9種不同任務。

**二、 傳統作念法的三條死巷子**

要交融DocAtlas的價值，得先搞清爽前東談主是如何作念的，以及為什么作念不下去。

第一種作念法是東談主工標注。斟酌東談主員把文檔打印出來（大概在屏幕上），然后東談主工框出每一段筆墨、每一張表格、每一個標題，告訴機器"這是段落""那是表格"。這種方式質地最高，但代價極其高尚。一個東談主一天能標注幾許頁？一個團隊能掩飾幾許種言語？FUNSD這個經典數據集只須199份文檔，只復古一種言語，XFUND膨脹到7種言語，也只須1300份。關于82種言語來說，東談主工標注根蒂是杯水救薪。

第二種作念法是合成生成。既然真實文檔難以標注，那就我方造文檔吧——把筆墨放在預設好的位置上，位置自己即是標注。這種方式省去了東談主工，但造出來的文檔太"假"，缺少嵌套表格、混排圖文這些真實寰宇里常見的復雜結構，考試出來的模子一遭逢真實文獻就懵了。

第三種作念法是讓AI模子自動打標簽。用一個已有的布局檢測模子，掃描文檔圖片，框出各個區域，再貼上標簽。這看似省事，卻引入了前邊說的惡性輪回——模子的偏見徑直渾濁了標注數據。DocBank即是這樣作念的，領有50萬份文檔，但標注質地受制于檢測模子的武藝上限。

斟酌團隊還提到了另一條路：渲染驅動的標注要領。已有的WordScape款式就沿著這個地方走，從Common Crawl（一個掩飾全球網頁內容的超大型數據庫）里捏取Word文檔，通過給文檔里的不同組件染色來識別它們的位置。這個念念路沒錯，但履行上存在幾個彰著疏漏：用LibreOffice把Word文檔轉成PDF時，會因為字體替換和筆墨重排產生"渲染漂移"，也即是說頤養前后一樣的筆墨可能出現在不同位置；筆墨索取和位置框對不上，莫得幾何對皆保證；關于阿拉伯語、希伯來語這類從右向左書寫的筆墨，十足莫得復古；圖表被當作不透明的圖片一概貶責，內容無從索取。

DocAtlas的中樞孝順，恰是在繼承了渲染驅動這條路的合理內核之后，把上述每一個疏漏都堵上了。

**三、 "差值渲染"：像攝影機找不合并樣精信服位**

DocAtlas的第一條數據出產活水線，貶責的是真實的Word文檔（.docx樣式），數據起原一樣是Common Crawl這個公開的網頁歸檔庫。

通盤經由不錯用一個日常的譬如來交融：假定你在一張空缺畫布上畫了一幅畫，現在你想知談畫里每一個元素的精準位置。最笨的主見是讓東談主肉眼去框。聰慧的主見是：先拍一張原版相片，再把某個你感興致的元素（比如天外）涂成鮮紅色，再拍第二張相片，然后把兩張相片疊在一皆作念減法——那邊出現了紅色，那邊即是天外。

DocAtlas即是這樣干的，只不外操作對象是Word文檔。團隊先從OpenXML樣式（Word文檔的里面代碼樣式）里識別出文檔里的種種組件——標題、正文、表格、圖片、頁眉等等——然后通過Word的表情屬性，給不同類型的組件注入不同的激情代碼。接著用微軟官方的Word引擎（貫注，不是LibreOffice）分別渲染出"染色版"和"原版"兩份PDF，再用圖像貶責器用（OpenCV）對兩張圖作念逐像素相減。那邊有激情相反，那邊即是被標注的組件，并且不錯通過激情徑直判斷是哪類組件。

這種"差值渲染"要領有一個相配關節的上風：它能訣別"注入的激情"和"文檔里本來就有的激情"。昔時的單次染色法作念不到這少許——如若文檔本來就有紅色配景，那注入的紅色標記就混進去了，根分內不清。差值法例十足繞過了這個問題，因為只須在兩次渲染之間發生變化的像素，才被作為標注收尾。

位置框信服之后，還需要把筆墨內容和位置對應起來。團隊同期從OpenXML里索取文檔級別的筆墨，再用Docling器用（一個基于規定的PDF知道器，不是神經鳩集模子）從PDF里索取頁面級別的筆墨和位置，然后用交并比（IoU，一種揣度兩個區域疊加進度的籌辦）把每個詞語匹配到對應的組件區域里。當多個組件區域有疊加時，系統會憑證表情置信度來決定優先級，確保結構映射的一致性。

通盤這些信息最終被序列化成一種叫作念DocTag的和諧樣式。DocTag是一種雷同XML的標記言語，每個標簽同期包含組件類型、幾何位置和筆墨內容。這種樣式比HTML更好，因為HTML不保存位置信息；比Markdown更好，因為Markdown會把檔次結構壓扁。有了DocTag，一張頁面就變成了一個扁平的標簽序列，每個標簽告訴模子"這里有什么、在那邊、寫的是什么"，從而完結版面檢測、閱讀法式收復、內容索取的多任務聯絡考試。

在數據質地限定上，團隊還作念了兩輪篩選。第一輪用fastText揣度文檔言語，再用5-gram Kneser-Ney言語模子規畫困惑度（困惑度不錯交融為"模子對這段筆墨有多困惑"，困惑度越高證實筆墨質地越差），開導閾值為120，過濾掉38%的低質地頁面，保留94%以上的高質地數據。第二輪規畫"標注可靠性分數"，揣度通過原生XML信號（而非啟發式規定）得手標注的字符比例，低于0.6分的頁面徑直剔除，最終約有15%的頁面因視覺特殊信號（如多數空缺、渲染虛偽）被過濾。

在服從上，整條活水線在一臺寬泛的蘋果M2 Pro條記本上運行（莫得GPU加快，莫得散布式規畫），每天能貶責10萬張以上的標注頁面，100萬個樣本不到72小時就能跑完。

**四、 為"從右往左"的筆墨有益開辟第二條路**

阿拉伯語、希伯來語、波斯語、烏爾都語，都是從右向左書寫的言語。這類言語在現存PDF知道器用里廣大存在雙向文本知道失敗的問題——器用把從右往左的筆墨法式搞反，大概十足無法識別段落結構。因此，僅靠真實Word文檔的活水線，無法掩飾這類言語。

斟酌團隊為此有益瞎想了第二條活水線，用合成生成的方式來補足這個缺口。這條活水線的輸入是結構化的電子書和網頁文獻（EPUB、HTML、XML樣式），先用知道器用把內容頤養成圭臬的Docling JSON樣式，給每個內容元素打上標簽并賦予初步的位置框，然后通過205個基于LuaTeX（一種專科排版引擎）的模板，把這些內容渲染成精準排版的PDF文檔。

這些模板每一個都針對特定言語的排版法式瞎想：字體禮聘盲從各言語的書寫傳統（阿拉伯語用Amiri、Scheherazade等字體；希伯來語用David、Narkisim等；波斯語用Nazanin、Lotus等；烏爾都語用Nastaliq、Naskh等），版面參數涵蓋頁面地方、列數（1到3列）、字號（9到14磅）、激情、邊距、頁眉頁腳表情，以及關節的雙向筆墨限定原語。

在渲染過程中，系統通過三次編譯來保證位置精度：第一次編譯信服初步版面，第二次編譯把每個元素的精準坐標寫入.pos文獻，第三次編譯生成最終的PDF并考據位置。坐標經過系統性頤養，從LaTeX的縮放點（sp）到PDF的點（pt）再到圖像的像素（px），確保最終標注框與實踐渲染位置十足吻合。整條活水線在單核CPU上能達到每分鐘183頁的費解量。

質地篩選過濾掉了三類問題頁面：編譯前后坐標漂移杰出2pt的頁面（占原始輸出的15.2%）、模板排版錯位（如元素疊加或筆墨溢出，占8.9%）、字體渲染失敗（如字形缺失或字形散亂詞語，占2.1%）。最終這條活水線生成了9036份文檔共19.5萬張頁面，掩飾阿拉伯語、希伯來語、波斯語、烏爾都語四種右向左書寫的言語。

**五、 數據總量與組成：一個掩飾82種言語的巨型語料庫**

兩條活水線合并之后，原始語料庫包含101萬份文檔，548萬張頁面，進步136種言語。其中第一條活水線（真實Word文檔）孝順了100萬份文檔、529萬張頁面，第二條活水線（合成右向左文檔）孝順了9036份文檔、19.5萬張頁面。

數據散布呈典型的長尾形態：英語、俄語、西班牙語占據高頻區間，約占總頁數的60%；希伯來語、泰語、緬甸語、高棉語等中低資源言語，每種也孝順了杰出5萬張頁面，確保了在種種言語類型上的有用掩飾。經過質地篩選和難度感知采樣，最終考試語料庫包含36萬張頁面，掩飾82種言語、31類結構組件、25個以上內容范疇（包括醫療、法律與政府、金融、科學等）。

在標注組件類型上，高頻標簽包括寬泛文本、表格、一級標題，低頻但熱切的標簽包括數學公式、表單字段、參考文獻列表，后者為考試模子識別淡薄但關節的文檔元素提供了監督信號。

通盤語料庫來自公開鳩集內容，均使用CC-BY 4.0、CC0或人人范疇等寬松許可左券。斟酌團隊還部署了自動化的個東談主秘籍信息（PII）檢測經由，使用Microsoft Presidio器用，引誘spaCy定名實體識別和自界說正則抒發式，識別并過濾了包含三條及以上個東談主信息（如姓名、電話、政府證件號、地址、金融符號符）的文檔，共移除94.2萬份文檔（占運行鳩集量的5.15%）。東談主工抽查1000份保留文檔，漏檢率僅為0.1%。

**六、 一把測量多國文檔交融武藝的"量尺"**

有了考試數據還不夠，還需要一套嚴格的測試圭臬，才能知談哪個模子果真利弊、哪個模子僅僅在本言語上刷了高分。DocAtlas同期構建了一個多言語基準測試集，包含5862張頁面，掩飾82種言語、9項評測任務。

頁面中式盲從"難度分層"原則：用ResNet-50（一種圖像特征索取鳩集）索取每張頁面的視覺特征，再用FAISS聚類算法把相似頁面聚在一皆，然后在每個聚類里面按難度（詳盡探究表格占比、公式密度、圖表數目、字體種種性、圖片比例等要素）分紅浮淺、中等、艱苦三檔，世界杯官方認證平臺從中均勻采樣，每種言語最多取100張頁面，共5575個樣本。此外，團隊還手工挑選了201份含有高難度公式的PDF，非凡加多144個公款式本。

圖表數據是單獨生成的：先用Qwen3-VL模子生成多言語主題，再用Matplotlib或Plotly渲染成柱狀圖、折線圖、餅圖等多種圖表類型，經GPT-4o初步篩選后，由三位范疇大眾交叉考據結構完好性、LaTeX公式對皆、右向左閱讀法式，達到94.2%的標注一致率（Cohen's κ=0.89）。

9項評測任務分別是：端到端全頁面知道（把一張頁面完好頤養為Markdown或DocTag樣式）、筆墨識別、表格索取、公式轉錄、圖表知道、閱讀法式收復，以及三項樣式頤養子任務（圖表→HTML、公式→LaTeX、表格→HTML）。評測籌辦掩飾歸一化編著距離（揣度揣度筆墨與真實筆墨的相似度）、TEDS（樹編著距離相似度，有益評估表格結構的準確性）、CDM（字符檢測匹配，用于公式評估）和圖表分數（將圖表先轉成HTML表格再用TEDS評估）。

**七、 16個模子的大考：誰是多言語文檔交融的信得過鐵漢？**

斟酌團隊在這套基準上評測了16個現時源頭進的模子，按照定位分為三類。

第一類是通用多模態大言語模子，包括Gemini-2.0-Pro、GPT-4o、Qwen3-VL（3B參數版）、Qwen2.5-VL（2B版）和InternVL3.5（2B版）。這類模子自己莫得有益針對文檔版面作念過考試，格外于"全科生"選手。

第二類是大眾文檔模子，包括SmolDocling（2.56億參數）、Granite-Docling（2.58億參數）和DotsOCR（3B參數）。這類模子體量較小，但有益針對文檔版面知道作念了考試，屬于"專科生"。

第三類是OCR專項系統，包括PaddleOCR-VL（1B參數）、DeepseekOCR（3B參數）、MonkeyOCR-pro（1.2B參數）、Dolphin（4億參數）、Nanonets-OCR-s（4B參數）、Nanonets-OCR2（3B參數）、Chandra（9B參數）和MinerU2.5（1.2B參數），以及DocAtlas團隊微調過的DocAtlas-DeepSeek（3B參數）。

評測收尾呈現出幾個清爽的法令。在總體分數上，DocAtlas-DeepSeek以83.37%位居第一，DeepseekOCR以81.66%緊隨自后——要知談DeepseekOCR只須3B參數，能達到這個得益格外令東談主詫異，證確切文檔交融這個任務上，參數目大不等于性能強。GPT-4o的總分是75.30%，遠不如這些專科OCR系統。

筆墨識別和結構化內容索取之間存在弘遠畛域。頂尖模子的筆墨編著距離在0.068到0.095之間（越低越好），證實筆墨識別還是格外準確；但表格TEDS分數廣大停留在71%到73%，并且豈論言語如何變化，這個天花板簡直依樣葫蘆。這意味著表格的空間推理武藝，而非筆墨闊別武藝，才是現時文檔交融的信得過瓶頸。

高資源言語和低資源言語之間的落差攝人心魄。英語、俄語、西班牙語等主空話語的準確率牢固在80%到95%，波動很小；而低資源言語的準確率區間是20%到85%，中位數頻頻低于40%。換句話說，關于那些考試數據匱乏的言語，即使是源頭進的模子，也凡俗只可答對不到一半。

從言語家眷維度看，印歐語系和基里爾字母（俄語、烏克蘭語等）言語進展最佳，準確率在80%到87%之間；日語家眷（26.9%到70.5%）和南亞語系（Austroasiatic）進展最差，即使是最頂級的模子也舉步維艱。團隊合計，這證實形態復雜的言語和表意筆墨體系，顯現了現存視覺特征學習的根人性頹勢。

在圖表索取這項任務上，專科OCR系統和通用多模態大模子之間出現了戲劇性的分化。Gemini-2.5-Flash在15種言語上平均得分61.82%，跨言語一致性最佳；而DeepseekOCR在英語圖表上得分87%，到了泰語、阿拉伯語、意大利語就跌到8%到17%。SmolDocling在折線圖上的準確率接近于零（0.038），證實僅靠筆墨索取根蒂搪塞不了圖表交融，這項任務需要信得過的視覺推理武藝。

同期，斟酌團隊系統分析了16個模子在5345份文檔上犯的88036個虛偽，歸納出12種虛偽類型，其中最主要的四種分別是：表格跨行跨列虛偽（占15.7%，表格里的合并單位格貶責不合）、樣式虛偽（14.6%，粗體斜體標簽弄錯、破折號字符混用）、字符編碼虛偽（13.2%，Unicode歸一化問題，比如不詳號用了不同的Unicode字符）、內容遺漏（13.2%，帶連字符的詞語和列表分隔符被丟失）。

**八、 如何讓模子學會新言語而不健忘舊言語？**

考試數據和測試基準都有了，接下來最關節的問題是：如何把這些數據用起來，讓已有的OCR模子信得過學會新言語，同期又不把昔時學過的英語等言語忘掉？

這就像教一個還是能干英語的東談主學華文——如若學習方式不合，他學會華文的同期可能把英語忘了，這叫"災難性漸忘"。團隊系統比較了三種考試戰略。

第一種戰略是全頁面監督微調（Full-Page SFT）：把每張頁面的圖片和對應的DocTag/Markdown筆墨配對，徑直考試模子在看到頁面圖片霎生成正確的結構化筆墨。這是最徑直的要領，格外于讓學生反復作念整卷造就題。

第二種戰略是組件級監督微調（Component-level SFT）：把頁面剪輯成一個個小區域（段落、表格、圖表、公式），針對每個組件單獨考試。這格外于把整卷題目拆成一談談單題來練。

第三種戰略是徑直偏好優化（DPO）：這是一種不同于寬泛微調的考試范式。它的中樞念念路是：關于合并張頁面圖片，給模子看兩個謎底——一個是由渲染驅動的標注系統生成的正確謎底（作為"正樣本"），一個是模子我方原來給出的回應（作為"負樣本"）——然后考試模子偏好正確謎底。這格外于不徑直告訴學生"背這個謎底"，而是讓學生在兩個謎底里辨別哪個更好，從而培養判斷力。

除了禮聘哪種考試戰略，團隊還斟酌了另一個變量：考試哪些參數。全量微調（通盤參數都更新）后果最猛，但反作用最大；LoRA（低秩適應）是一種參數高效的要領，格外于在模子里插入一個小"適配器"，只更新這個適配器，原模子參數基本不動，從而大幅減少漸忘。LoRA又有幾個變體：更新全部層、只更新MLP層、只更新MLP的門控和下投影、更新通盤QKV層、只更新QKV層。

詳盡評測收尾清爽地揭示了一個法令。全量SFT在新言語高漲幅最大（表格TEDS升遷13.6個百分點），但基礎言語性能下降幅度也最大（–12.1個百分點）。組件級SFT的新言語增益更大，但基礎言語漸忘也更嚴重，嚴重時下降杰出21個百分點——意味著模子把昔時學的東西簡直全忘光了。

只更新QKV層的LoRA變體達到了最優的收益-漸忘均衡：新言語筆墨編著距離改善0.021，基礎言語不降反升，改善0.011個百分點。團隊對此的解釋是：QKV參數限定的是"重眼光路由"，即模子在貶責一段筆墨時決定把重眼光放在那邊，頤養這部分參數能匡助模子學會跨言語的重眼光分撥，而不會侵擾MLP層（認真輸出詞匯散布），是以不會導致漸忘。

DPO戰略在四個被評測的模子上（Qwen2.5-VL、Nanonets-OCR、DotsOCR、DeepseekOCR）都進展出了一樣的法令：在域內言語（考試時見過的言語）升遷約1.8%到1.9%，在域外言語（考試時沒見過的言語）也升遷約1.4%到1.8%，基礎言語降幅低于3%。這是獨逐一種能同期改善新言語和基礎言語性能的要領，突破了"學新忘舊"的法令，因為把模子我方的虛偽謎底作為負樣本，格外于給模子保留了對原有武藝的牽掛錨點。

更進一步，團隊還有益比較了DPO用不同正樣本的后果：用渲染驅動的真實標注作為正樣本，和用GPT-4o的輸出作為正樣本，收尾相反顯赫。GPT-4o蒸餾帶來的域內增益只須0.4個百分點，域外性能反而下降了0.7個百分點。原因在于，GPT-4o自己對低資源言語也存在系統性偏見：會在某些言語里產生虛偽的變音象征、把從右往左的列法式搞反。這些虛偽通過蒸餾傳遞給了被考試的模子，渾濁了跨言語泛化武藝。這一收尾解釋，驅動DPO后果的根蒂不是DPO算法自己，而是背后那套模子無關的標注活水線。

DocAtlas-DeepSeek在兩個外部測試集（DocPTBench和OmniDocBench，均以英文文檔為主，包含拍攝或掃描的文檔，考試時十足沒見過）上也展示了遷徙泛化武藝：編著距離分別從22.1%降到20.7%、從0.137降到0.122。這證實通過DPO學到的跨言語重眼光路由，不僅在考試見過的言語上有用，在考試域除外也能走漏作用。

從言語家眷維度看DPO的增益，不錯發現真諦的散布法令：漢藏語系、日語家眷、南亞語系獲益最大（漢藏語系筆墨增益高達40%），可能是因為這些言語的視覺特征之間存在分享結構，有助于學問遷徙；印歐語系和烏拉爾語系增益較小（低于5%），證實這些言語在考試前還是被模子學得比較好；基里爾字母言語的增益主要體現在表格而非筆墨，證實結構化內容的遷徙比純筆墨更容易。

說到底，DocAtlas這套職責回應了一個對通盤文檔AI范疇都意旨深切的問題：機器能不成在不借助任何已有AI模子的情況下，我方學會讀懂來自寰宇各地的文獻？謎底是信服的，并且通過差值渲染這個近似"攝影機找不同"的方式，還能作念到格外高的精度和格外廣的言語掩飾。關于資源匱乏的言語社區來說，這意味著將來腹地言語的文檔數字化、法律合同分析、醫療紀錄索取，都有望取得與英語用戶同等質地的器用復古。

雖然，這套系統也有彰著局限：它依賴文檔源文獻（Word或結構化標記樣式），關于掃描件、相片拍攝的文檔十足窩囊為力，因為這類文檔根蒂沒罕有字筆墨層不錯索取。斟酌團隊坦承，將DocAtlas的監督信號與傳統的OCR工夫引誘，針對掃描文檔作念進一步蔓延，是一個當然的后續地方。另外，表格TEDS在71%到73%隔鄰的天花板問題，證實空間推理武藝仍然是通盤范疇尚待突破的中樞難題。

關于有興致進一步探索的讀者，不錯通過arXiv編號2605.12623查閱完好論文，數據集和代碼則托管在論文封面所標注的GitHub倉庫地址下。

---

**Q&A**

Q1：DocAtlas的"差值渲染"和寬泛的文檔標注要領有什么骨子區別？

A：寬泛的文檔標注要么靠東談主工框選，要么靠已有AI模子自動識別，兩者都有上限：東談主工太慢、AI有偏見。差值渲染則十足繞開了這兩條路——它先給Word文檔里的不同組件染上不同激情，用微軟Word引擎渲染出染色版和原版兩份PDF，再逐像素相減，那邊有激情相反就證實那邊有標注組件。通盤過程不需要任何已有的AI模子參與中樞標注，標注質地不受現存模子武藝的限制。

Q2：DPO考試為什么能幸免"學新言語忘舊言語"這個問題？

A：傳統微調（SFT）徑直讓模子記取新的輸入輸出對，更新幅度大，容易把舊學問掩飾掉。DPO的作念法不同：它給模子同期展示正確謎底（渲染驅動的真實標注）和模子原來給出的回應，考試模子學會"偏好"正確謎底。把模子我方原來的輸出作為負樣本，格外于給模子保留了對舊武藝的牽掛錨點，是以能在學會新言語的同期保管舊言語的性能。

Q3：DocAtlas基準測試和之前的多言語文檔測試集比擬，上風在那邊？

A：掩飾范圍和任務深度都有顯赫膨脹。之前最佳的多言語文檔基準READOC掩飾27種言語2026美加墨世界杯(中國)，不復古圖表知道；OmniDocBench只掩飾2種言語；DocAtlas掩飾82種言語，同期復古9項任務（端到端頁面知道、筆墨識別、表格索取、公式轉錄、圖表知道、閱讀法式收復，以及圖表→HTML、公式→LaTeX、表格→HTML三項樣式頤養），是眼序言語掩飾最廣、任務最全的文檔交融基準。