Transformers documentation

UnlimitedOcr

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này được công bố trên HF papers vào ngày 2026-06-23 và được đóng góp cho Hugging Face Transformers vào ngày 2026-10-14.

UnlimitedOcr

Tổng quan

Mô hình UnlimitedOcr được đề xuất trong Unlimited OCR Works bởi Youyang Yin, Huanhuan Liu, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du và Lei Jia từ Baidu Inc.

Đây là một mô hình đơn lẻ có 3 tỷ tham số với độ dài ngữ cảnh tiêu chuẩn là 32.768 token.

Tóm tắt từ bài báo như sau:

Gần đây, các mô hình OCR end-to-end, tiêu biểu là DeepSeek OCR, một lần nữa đưa OCR trở thành tâm điểm. Quan điểm phổ biến là việc sử dụng một large language model (LLM) làm decoder cho phép mô hình khai thác phân phối tiên nghiệm của ngôn ngữ, từ đó cải thiện hiệu suất OCR. Tuy nhiên, mặt trái cũng rõ ràng không kém: khi độ dài chuỗi đầu ra tăng lên, KV cache tích lũy làm tăng mức tiêu thụ bộ nhớ và dần làm chậm quá trình sinh. Điều này trái ngược hoàn toàn với con người, những người không hề suy giảm hiệu suất trong các tác vụ sao chép dài hạn. Trong báo cáo kỹ thuật này, chúng tôi đề xuất Unlimited OCR, một mô hình được thiết kế để mô phỏng bộ nhớ làm việc khi phân tích của con người. Lấy DeepSeek OCR làm baseline, chúng tôi thay thế tất cả các lớp attention trong decoder bằng Reference Sliding Window Attention (R-SWA) do chúng tôi đề xuất, giúp giảm chi phí tính toán attention trong khi duy trì KV cache không đổi trong suốt quá trình giải mã. Bằng cách kết hợp tỷ lệ nén cao của encoder DeepSeek OCR với thiết kế KV cache không đổi của chúng tôi, Unlimited OCR có thể chuyển tự hàng chục trang tài liệu trong một lần forward pass duy nhất dưới độ dài tối tiêu chuẩn 32K. Quan trọng hơn, R-SWA là một cơ chế attention phân tích tổng quát — ngoài OCR, nó còn áp dụng được cho các tác vụ như ASR, dịch thuật, v.v. Mã nguồn và trọng số mô hình được công khai tại http://github.com/baidu/Unlimited-OCR

Unlimited-OCR hỗ trợ hai cấu hình suy luận: chế độ “gundam” mặc định sử dụng các ô 640x640 với cắt động cho tài liệu độ phân giải cao, và chế độ “base” sử dụng một khung nhìn toàn cục 1024x1024 cho đầu vào độ phân giải tiêu chuẩn. Để bật chế độ base, hãy đặt crop_to_patches=False trong bộ xử lý, hoặc truyền nó qua processor_kwargs khi sử dụng apply_chat_template().

Tháp thị giác tuân theo cách tiếp cận hai giai đoạn từ DeepSeek-OCR-2: một bộ mã hóa SAM ViT-B cung cấp đầu vào cho bộ mã hóa CLIP ViT. Khác với DeepSeek-OCR-2, các đặc trưng CLIP còn được nối thêm với các đặc trưng SAM để tạo ra các token ảnh cuối cùng. Unlimited-OCR cũng bỏ qua các truy vấn patch có thể học được từ DeepSeek-OCR-2.

Mô hình văn bản giống hệt DeepSeek-OCR-2 với thêm Reference Sliding Window Attention (R-SWA). R-SWA chỉ áp dụng cho các token được sinh ra. Tất cả các token hình ảnh và prompt vẫn hiển thị đầy đủ trong suốt quá trình giải mã, do đó các tài liệu dài không mất ngữ cảnh từ các trang trước đó.

Mô hình này được đóng góp bởi guarin. Mã nguồn gốc có thể được tìm thấy tại đây.

Cài đặt gốc chạy mô hình với torch.autocast ở bfloat16. Bọc các lệnh gọi forward và generate trong một ngữ cảnh autocast để tái tạo các đầu ra của nó.
with torch.autocast(device_type=model.device.type, dtype=torch.bfloat16):
    output = model.generate(**inputs)

OCR trang đơn

OCR đa trang

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Xử lý theo lô

Để xử lý theo lô, hãy truyền một danh sách các tin nhắn. Đặt padding=True cho bộ xử lý nếu các hình ảnh có kích thước khác nhau.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
image2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_receipt.jpeg"
messages = [
    [
        {
            "role": "user",
            "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
        }
    ]
    for image in [image1, image2]
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, model.dtype)

output = model.generate(**inputs)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Phát hiện vùng

Đặt skip_special_tokens=False để bọc tất cả các phát hiện và loại vùng trong các dấu <|det|>...<|/det|>. Điều này hữu ích cho việc xử lý hậu kỳ thêm trên đầu ra, chẳng hạn như vẽ các hộp bao (bounding box) được phát hiện trên hình ảnh. Mỗi phát hiện được bọc dưới dạng <|det|>region_type [x1, y1, x2, y2]<|/det|>text... với tọa độ được chuẩn hóa trong khoảng [0, 999]. Đặt return_detections=True để nhận thêm một danh sách các từ điển chứa tất cả các phát hiện đã được phân tích dưới dạng {"region_type": region_type, "box": [x1, y1, x2, y2], "text": "..."}.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs)
decoded, detections = processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False, return_detections=True)
# <|det|>image [383, 87, 497, 171]<|/det|>\n<|det|>text [333, 201, 558, 230]<|/det|>R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# Visualization
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from transformers.image_utils import load_image

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg")
width, height = image.size

figure, axis = plt.subplots(figsize=(10, 12))
axis.imshow(image)
for detection in detections:
    region_type = detection["region_type"]
    x1, y1, x2, y2 = detection["box"]
    x1, y1, x2, y2 = int(x1) / 999 * width, int(y1) / 999 * height, int(x2) / 999 * width, int(y2) / 999 * height
    color = (random.random(), random.random(), random.random())
    rectangle = patches.Rectangle((x1, y1), x2 - x1, y2 - y1, linewidth=1.5, edgecolor=color, facecolor="none")
    axis.add_patch(rectangle)
    axis.text(x1, y1, region_type, color="white", fontsize=8, backgroundcolor=color, verticalalignment="top")
axis.axis("off")
plt.show()

Transformers

UnlimitedOcr

Tổng quan

Xử lý theo lô

Phát hiện vùng

UnlimitedOcrConfig

lớp transformers.UnlimitedOcrConfig

UnlimitedOcrTextConfig

lớp transformers.UnlimitedOcrTextConfig

UnlimitedOcrVisionConfig

lớp transformers.UnlimitedOcrVisionConfig

UnlimitedOcrVisionEncoderConfig

lớp transformers.UnlimitedOcrVisionEncoderConfig

UnlimitedOcrSamVisionConfig

lớp transformers.UnlimitedOcrSamVisionConfig

UnlimitedOcrImageProcessor

lớp transformers.UnlimitedOcrImageProcessor

crop_image_to_patches

get_number_of_image_patches

pad_to_square

UnlimitedOcrProcessor

lớp transformers.UnlimitedOcrProcessor

batch_decode

decode

UnlimitedOcrPreTrainedModel

lớp transformers.UnlimitedOcrPreTrainedModel

UnlimitedOcrTextPreTrainedModel

lớp transformers.UnlimitedOcrTextPreTrainedModel

UnlimitedOcrTextModel

lớp transformers.UnlimitedOcrTextModel

forward

UnlimitedOcrVisionModel

lớp transformers.UnlimitedOcrVisionModel

forward

UnlimitedOcrModel

lớp transformers.UnlimitedOcrModel

forward

UnlimitedOcrForConditionalGeneration

lớp transformers.UnlimitedOcrForConditionalGeneration

forward