PaddleOCR-VL 系列的全新迭代版本PaddleOCR-VL-1.5今天正式上線，沐曦曦云C500/C550 Day 0 適配PaddleOCR-VL-1.5模型，助力PaddleOCR-VL-1.5第一時(shí)間面向企業(yè)與開發(fā)者提供模型服務(wù)。

PaddleOCR-VL-1.5創(chuàng)新性地支持了文檔元素的異形框定位，使得PaddleOCR-VL-1.5 在掃描、傾斜、彎折、屏幕拍攝及復(fù)雜光照等真實(shí)落地場景中均表現(xiàn)卓越，實(shí)現(xiàn)了全面的 SOTA。此外，模型進(jìn)一步集成了印章識(shí)別與文本檢測識(shí)別任務(wù)，關(guān)鍵指標(biāo)持續(xù)領(lǐng)跑主流模型。

曦云C系列基于沐曦自主研發(fā)的高性能核心GPU IP，具備高能效和高通用性的天然優(yōu)勢。曦云C系列支持大模型訓(xùn)練及推理，可廣泛應(yīng)用于推薦系統(tǒng)、自動(dòng)語音識(shí)別、語音合成、圖像分割檢測、數(shù)據(jù)庫加速、大語言模型、文生圖、文生視頻等多種場景。作為沐曦主力訓(xùn)推一體GPU產(chǎn)品，曦云C500/C550具備強(qiáng)勁的算力支撐與靈活的部署優(yōu)勢，支持多種混合精度計(jì)算，可充分釋放PaddleOCR-VL-1.5的模型潛力，實(shí)現(xiàn)推理效率與部署體驗(yàn)的雙重提升，降低企業(yè)與開發(fā)者的模型應(yīng)用門檻。

目前，沐曦已構(gòu)建了從硬件架構(gòu)到軟件棧的完整自研技術(shù)體系。為了讓長周期迭代的硬件適配短周期更新的應(yīng)用與算法，沐曦打造了全棧自主可控的MXMACA軟件棧原生兼容主流生態(tài)，這意味著AI應(yīng)用可以幾乎零成本地遷移到沐曦的平臺(tái)上，基本做到“即插即用”。MXMACA軟件棧于2025年2月份開源，現(xiàn)已擁有超過15萬用戶。

1PaddleOCR-VL-1.5關(guān)鍵能力

在 OmniDocBench v1.5 上以 0.9B 的參數(shù)量實(shí)現(xiàn) 94.5% 的精度，超越了上一代 SOTA 模型 PaddleOCR-VL，表格、公式及文本識(shí)別能力大幅提升。

全球首個(gè)支持異形框定位的文檔解析模型，可精準(zhǔn)返回傾斜、彎折場景下的多邊形檢測框。在掃描、彎折、傾斜、屏幕拍照、光線變化 5 個(gè)場景下，精度均優(yōu)于目前主流的開源與閉源模型。

新增文本行定位/識(shí)別與印章識(shí)別能力，各項(xiàng)技術(shù)指標(biāo)均刷新領(lǐng)域 SOTA。

精進(jìn)特殊場景及多語種識(shí)別能力。優(yōu)化了生僻字、古籍、多語種表格、下劃線及復(fù)選框的識(shí)別效果，并擴(kuò)展了藏語和孟加拉語的識(shí)別支持。

支持跨頁表格自動(dòng)合并與跨頁段落標(biāo)題識(shí)別，解決了長文檔解析中的斷層問題。

推理速度進(jìn)一步提升。

2模型架構(gòu)

3如何使用

在線使用：https://www.paddleocr.com

開源項(xiàng)目地址：https://github.com/PaddlePaddle/PaddleOCR

模型下載地址：https://huggingface.co/PaddlePaddle/PaddleOCR-VL-1.5

PaddleOCR-VL-1.5使用步驟（詳情可點(diǎn)擊下方閱讀全文）：

啟動(dòng)容器（使用官方鏡像）

dockerrun -it
 --user root
 --privileged
 --device /dev/dri:/dev/dri
 --device /dev/dri
 --device /dev/mxcd:/dev/mxcd
 --security-opt seccomp=unconfined
 --security-opt apparmor=unconfined
 --shm-size64g
 --network host
 ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-fastdeploy-server:latest-metax-gpu bash

安裝PaddleOCR-VL-1.5

python-m pip install -U"paddleocr[doc-parser]"
pip install openai

(可選)： 快速測試PaddleOCR-VL-1.5原生推理(基于paddlex)

paddleocr doc_parser-i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png
# 可選參數(shù)：
--layout_detection_model_name（版面區(qū)域檢測排序模型的名稱，不設(shè)置將會(huì)使用默認(rèn)模型）
--layout_detection_model_dir（版面區(qū)域檢測排序模型的路徑，不設(shè)置將會(huì)使用默認(rèn)模型）
--vl_rec_model_name（多模態(tài)識(shí)別模型目錄名稱，不設(shè)置將會(huì)下載官方模型）
--vl_rec_model_dir（多模態(tài)識(shí)別模型目錄路徑，不設(shè)置將會(huì)下載官方模型）
--device（用于推理的設(shè)備，不設(shè)置默認(rèn)使用cpu, 如要使用gpu，請?jiān)O(shè)--device metax_gpu， 如要指定某張卡，請先設(shè)置環(huán)境變量 MACA_VISIBLE_DEVICES={gpu_id}）

啟動(dòng)fastdeploy服務(wù)

paddleocrgenai_server --model_name PaddleOCR-VL-1.5-0.9B --host0.0.0.0--port8118--backend fastdeploy --model_dir {model_dir} 

注：model_dir為下載的PaddeOCR-VL-1.5模型的路徑

啟動(dòng)客戶端程序

方式一：通過CLI調(diào)用

paddleocr doc_parser--inputpaddleocr_vl_demo.png--vl_rec_backendfastdeploy-server--vl_rec_server_urlhttp://127.0.0.1:8118/v1 --device metax_gpu

注：model_dir為下載的PaddeOCR-VL-1.5模型的路徑

方式二：通過Python API調(diào)用

frompaddleocrimportPaddleOCRVL
#基于paddlex推理
# pipeline = PaddleOCRVL() 
#基于fd server推理
pipeline = PaddleOCRVL(vl_rec_backend="fastdeploy-server", vl_rec_server_url="http://127.0.0.1:8118/v1", device="metax_gpu", layout_detection_model_name="PP-DocLayoutV2", vl_rec_model_name="PaddleOCR-VL-0.9B")
# pipeline = PaddleOCRVL(use_doc_orientation_classify=True) # 通過 use_doc_orientation_classify 指定是否使用文檔方向分類模型
# pipeline = PaddleOCRVL(use_doc_unwarping=True) # 通過 use_doc_unwarping 指定是否使用文本圖像矯正模塊
# pipeline = PaddleOCRVL(use_layout_detection=False) # 通過 use_layout_detection 指定是否使用版面區(qū)域檢測排序模塊
output = pipeline.predict("./paddleocr_vl_demo.png")
forresinoutput:
  res.print()## 打印預(yù)測的結(jié)構(gòu)化輸出
  res.save_to_json(save_path="output")## 保存當(dāng)前圖像的結(jié)構(gòu)化json結(jié)果
  res.save_to_markdown(save_path="output")## 保存當(dāng)前圖像的markdown格式的結(jié)果

關(guān)于沐曦股份

沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺(tái)，為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。