Transformers documentation

GOT-OCR2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2024-09-03 dan disumbangkan ke Hugging Face Transformers pada 2025-01-31.

GOT-OCR2

Ikhtisar

Model GOT-OCR2 diusulkan dalam General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model oleh Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han, Xiangyu Zhang.

Abstrak dari makalah tersebut adalah sebagai berikut:

Sistem OCR tradisional (OCR-1.0) semakin tidak mampu memenuhi kebutuhan pengguna karena meningkatnya permintaan akan pemrosesan cerdas untuk karakter optik buatan manusia. Dalam makalah ini, kami secara kolektif merujuk semua sinyal optik buatan (misalnya, teks polos, rumus matematika/molekul, tabel, grafik, partitur musik, dan bahkan bentuk geometris) sebagai “karakter” dan mengusulkan Teori OCR Umum (General OCR Theory) beserta model yang unggul, yaitu GOT, untuk mendorong kedatangan OCR-2.0. GOT, dengan 580M parameter, adalah model yang terpadu, elegan, dan end-to-end, yang terdiri dari encoder berkompresi tinggi dan decoder berkonteks panjang. Sebagai model OCR-2.0, GOT dapat menangani semua “karakter” di atas di bawah berbagai tugas OCR. Di sisi input, model ini mendukung gambar bergaya adegan dan dokumen yang umum digunakan, baik dalam gaya potongan (slice) maupun halaman utuh. Di sisi output, GOT dapat menghasilkan hasil polos atau berformat (markdown/tikz/smiles/kern) melalui prompt yang mudah. Selain itu, model ini juga memiliki fitur OCR interaktif, yaitu pengenalan tingkat wilayah yang dipandu oleh koordinat atau warna. Lebih lanjut, kami juga mengadaptasi teknologi resolusi dinamis dan OCR multipage ke GOT untuk kepraktisan yang lebih baik. Dalam eksperimen, kami menyediakan hasil yang cukup untuk membuktikan keunggulan model kami.

GOT-OCR2 training stages. Taken from the original paper.

Tips:

GOT-OCR2 bekerja pada berbagai tugas, termasuk OCR dokumen polos, OCR teks adegan, OCR dokumen berformat, dan bahkan OCR untuk tabel, grafik, rumus matematika, bentuk geometris, rumus molekul, dan notasi musik. Meskipun implementasi model ini hanya menghasilkan teks polos, outputnya dapat diproses lebih lanjut untuk merender format yang diinginkan, dengan paket seperti pdftex, mathpix, matplotlib, tikz, verovio, atau pyecharts. Model ini juga dapat digunakan untuk OCR interaktif, di mana pengguna dapat menentukan wilayah yang akan dikenali dengan menyediakan koordinat atau warna dari kotak pembatas wilayah tersebut.

Model ini disumbangkan oleh yonigozlan. Kode aslinya dapat ditemukan di sini.

Setel use_kernels=True di from_pretrained() untuk mengganti lapisan yang didukung dengan kernel yang dioptimalkan dari Hub. Lihat Memuat kernel untuk mempelajari lebih lanjut.

Contoh penggunaan

Inferensi teks polos

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"
inputs = processor(image, return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM\nName/Phone Ext. : (...)"

Inferensi teks polos yang di-batch

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"

inputs = processor([image1, image2], return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4,
)

processor.batch_decode(generate_ids[:, inputs["input_ids"].shape[1] :], skip_special_tokens=True)
["Reducing the number", "R&D QUALITY"]

Inferensi teks terformat

GOT-OCR2 juga dapat menghasilkan teks berformat, seperti markdown atau LaTeX. Berikut adalah contoh cara menghasilkan teks berformat:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/latex.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\author{\nHanwen Jiang*{@html " $\\quad$ "} Arjun Karpur{@html " ${ }^{\\dagger} \\quad$ "} Bingyi Cao{@html " ${ }^{\\dagger} \\quad$ "} (...)"

Inferensi pada beberapa halaman

Meskipun penggunaan “for loop” untuk pemrosesan multi-halaman mungkin masuk akal dalam kebanyakan kasus, beberapa data teks dengan format yang melintasi beberapa halaman mengharuskan semua halaman diproses sekaligus. GOT memperkenalkan fitur OCR multi-halaman (tanpa “for loop”), di mana beberapa halaman dapat diproses oleh model sekaligus, dengan output berupa satu teks yang berkelanjutan. Berikut adalah contoh cara memproses beberapa halaman sekaligus:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page1.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page2.png"
inputs = processor([image1, image2], return_tensors="pt", multi_page=True, format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\title{\nGeneral OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model\n}\n\\author{\nHaoran Wei (...)"

Inferensi pada potongan yang dipotong

GOT mendukung resolusi input 1024×1024, yang cukup untuk sebagian besar tugas OCR, seperti OCR adegan atau pemrosesan halaman PDF berukuran A4. Namun, skenario tertentu, seperti PDF dua halaman yang disambung secara horizontal yang umum ditemukan dalam makalah akademik atau gambar dengan rasio aspek yang tidak biasa, dapat menyebabkan masalah akurasi ketika diproses sebagai satu gambar. Untuk mengatasi hal ini, GOT dapat memotong gambar secara dinamis menjadi patch, memproses semuanya sekaligus, dan menggabungkan hasilnya untuk akurasi yang lebih baik pada input semacam itu. Berikut adalah contoh cara memproses patch yang dipotong:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/one_column.png"
inputs = processor(image, return_tensors="pt", format=True, crop_to_patches=True, max_patches=3, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"on developing architectural improvements to make learnable matching methods generalize.\nMotivated by the above observations, (...)"

Inferensi pada wilayah tertentu

GOT mendukung OCR interaktif, di mana pengguna dapat menentukan area yang akan dikenali dengan memberikan koordinat atau warna dari kotak pembatas area tersebut. Berikut adalah contoh cara memproses area tertentu:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
inputs = processor(image, return_tensors="pt", color="green", device=device).to(model.device) # or box=[x1, y1, x2, y2] for coordinates (image pixels)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"You should keep in mind what features from the module should be used, especially \nwhen you’re planning to sell a template."

Contoh inferensi pada data OCR umum: partitur musik

Meskipun implementasi model ini hanya akan menghasilkan teks polos, outputnya dapat diproses lebih lanjut untuk merender format yang diinginkan, dengan paket seperti pdftex, mathpix, matplotlib, tikz, verovio atau pyecharts. Berikut adalah contoh cara memproses partitur musik:

import verovio

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/sheet_music.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

outputs = processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
tk = verovio.toolkit()
tk.loadData(outputs)
tk.setOptions(
    {
        "pageWidth": 2100,
        "pageHeight": 800,
        "footer": "none",
        "barLineWidth": 0.5,
        "beamMaxSlope": 15,
        "staffLineWidth": 0.2,
        "spacingStaff": 6,
    }
)
tk.getPageCount()
svg = tk.renderToSVG()
svg = svg.replace('overflow="inherit"', 'overflow="visible"')
with open("output.svg", "w") as f:
    f.write(svg)

Transformers

GOT-OCR2

Ikhtisar

Contoh penggunaan

Inferensi teks polos

Inferensi teks polos yang di-batch

Inferensi teks terformat

Inferensi pada beberapa halaman

Inferensi pada potongan yang dipotong

Inferensi pada wilayah tertentu

Contoh inferensi pada data OCR umum: partitur musik

GotOcr2Config

kelas transformers.GotOcr2Config

GotOcr2VisionConfig

kelas transformers.GotOcr2VisionConfig

GotOcr2ImageProcessor

kelas transformers.GotOcr2ImageProcessor

praproses

GotOcr2ImageProcessorPil

kelas transformers.GotOcr2ImageProcessorPil

praproses

GotOcr2Processor

kelas transformers.GotOcr2Processor

__call__

GotOcr2Model

kelas transformers.GotOcr2Model

forward

get_image_features

get_placeholder_mask

GotOcr2ForConditionalGeneration

kelas transformers.GotOcr2ForConditionalGeneration

forward

get_image_features

call