来自 meng shao（@shao__meng）的推文线程

[開源推薦] DeepOCR: 基於VILA 框架復現DeepSeek-OCR 模型，核心創新在於透過視覺壓縮技術實現文本的高效處理 核心問題與解決方案· 痛點：大語言模型處理長文本時，計算複雜度隨序列長度平方級增長，導致效率低下。 · 創新想法：將文字渲染成影像，用視覺編碼器壓縮處理，實現7-20 倍的壓縮率。這相當於把"讀文字"變成"看圖片"，用更少的信息量傳達相同內容。 技術架構專案採用三層設計，總參數約380M： 1. DeepEncoder（視覺編碼核心） · SAM 編碼器（80M 參數）：使用視窗注意力機制處理1024×1024 高解析度影像，輸出4096 個特徵標記· 16× 卷積壓縮器：透過兩層卷積將標記數從4096 壓縮到256，大幅降低計算量· CLIP 編碼器（300M 參數）：對全局壓縮 設計巧妙之處：先用SAM 的視窗注意力控制記憶體開銷，壓縮後再用CLIP 的全域注意力提取語義，避免了直接處理高解析度影像導致的記憶體爆炸。 2. 多模態投影機· 將2048 維視覺特徵映射到語言模型空間· 透過換行符和分隔符號標記幫助模型理解文件的空間結構 3. 語言解碼器採用Qwen2-7B 模型（原版使用DeepSeek-3B-MoE），負責最終的文字產生。 訓練方法採用兩階段訓練策略： 階段1：視覺-語言對齊（1 回合） · 資料：59.5 萬個通用影像-文字對· 訓練目標：僅訓練投影器，學習基礎的視覺到語言映射 階段2：OCR 專項預訓練（1 回合） · 資料：26 萬PDF 文件與影像· 訓練目標：微調投影機與語言模型，凍結視覺編碼器 性能表現 1. 優勢領域： · 英文文字辨識：編輯距離0.093，表現優異· 簡單文件處理：準確率達99.5% · 表格結構解析：得分70.3，空間理解能力強· 標記效率：僅用約250 個視覺標記，比傳統方法節省15 倍 2. 改進空間： · 複雜版面文件（如多欄學術論文）：51.2 分· 數學公式識別：表現較弱，訓練資料中數學內容不足· 中文文件：與英文相比有差距 實用價值項目為研究者提供了： · 完整的開源實作：包括訓練腳本、評估工具和預訓練檢查點· 架構驗證：證明視覺壓縮技術在OCR 任務中的可行性· 即用工具：支援文字擷取、Markdown 轉換、圖表解析等多種應用場景 局限與未來方向目前限制主要源自於訓練資源與資料： · 僅訓練1 輪，未充分收斂· 訓練資料（26 萬樣本）相比頂尖模型（100 萬+）偏少· 缺少數學內容和歷史掃描文檔· 改進方向包括資料增強、引入強化學習、優化提示詞工程等，理論上可將性能提升17 個百分點。 項目地址