Model ini dipublikasikan di HF papers pada 2022-04-14 dan disumbangkan ke Hugging Face Transformers pada 2022-09-22.

ViTMSN

Ikhtisar

Model ViTMSN diusulkan dalam Masked Siamese Networks for Label-Efficient Learning oleh Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas. Kertas kerja ini menyajikan arsitektur joint-embedding untuk mencocokkan prototipe patch yang dimasker dengan prototipe patch yang tidak dimasker. Dengan pengaturan ini, metode mereka menghasilkan kinerja yang sangat baik pada regime low-shot dan extreme low-shot.

Abstrak dari makalah tersebut adalah sebagai berikut:

Kami mengusulkan Masked Siamese Networks (MSN), sebuah kerangka pembelajaran tanpa pengawasan (self-supervised learning) untuk mempelajari representasi gambar. Pendekatan kami mencocokkan representasi dari tampilan gambar yang berisi patch yang dimask secara acak dengan representasi dari gambar asli yang tidak dimask. Strategi pra-pelatihan tanpa pengawasan ini sangat skalabel ketika diterapkan pada Vision Transformers karena hanya patch yang tidak dimask yang diproses oleh jaringan. Akibatnya, MSN meningkatkan skalabilitas arsitektur joint-embedding, sekaligus menghasilkan representasi pada tingkat semantik tinggi yang berkinerja kompetitif dalam klasifikasi gambar low-shot. Sebagai contoh, pada ImageNet-1K, dengan hanya 5.000 gambar berlabel, model MSN dasar kami mencapai akurasi top-1 sebesar 72,4%, dan dengan 1% label ImageNet-1K, kami mencapai akurasi top-1 sebesar 75,7%, menetapkan state-of-the-art baru untuk pembelajaran tanpa pengawasan pada benchmark ini.

Model ini disumbangkan oleh sayakpaul. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

• MSN (masked siamese networks) adalah metode untuk pra-pelatihan tanpa pengawasan (self-supervised pre-training) dari Vision Transformers (ViTs). Tujuan pra-pelatihannya adalah mencocokkan prototipe yang ditugaskan pada tampilan gambar yang tidak dimasker (unmasked views) dengan prototipe pada tampilan gambar yang dimasker (masked views) dari gambar yang sama.
• Para penulis hanya merilis bobot terlatih awal dari backbone (pre-training ImageNet-1k). Jadi, untuk menggunakannya pada dataset klasifikasi gambar Anda sendiri, gunakan kelas ViTMSNForImageClassification yang diinisialisasi dari ViTMSNModel. Ikuti notebook ini untuk tutorial terperinci tentang fine-tuning.
• MSN sangat berguna pada kondisi low-shot dan extreme low-shot. Secara khusus, metode ini mencapai akurasi top-1 sebesar 75,7% dengan hanya 1% label dari ImageNet-1K saat dilakukan fine-tuning.

Menggunakan Scaled Dot Product Attention (SDPA)

PyTorch menyertakan operator scaled dot-product attention (SDPA) native sebagai bagian dari torch.nn.functional. Fungsi ini mencakup beberapa implementasi yang dapat diterapkan tergantung pada input dan perangkat keras yang digunakan. Lihat dokumentasi resmi atau halaman GPU Inference untuk informasi lebih lanjut.

SDPA digunakan secara default untuk torch>=2.1.1 ketika implementasi tersedia, tetapi Anda juga dapat mengatur attn_implementation="sdpa" di from_pretrained() untuk secara eksplisit meminta penggunaan SDPA.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

Untuk percepatan terbaik, kami merekomendasikan memuat model dalam presisi setengah (misalnya torch.float16 atau torch.bfloat16).

Pada benchmark lokal (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) dengan float32 dan model facebook/vit-msn-base, kami melihat peningkatan kecepatan berikut selama inferensi.

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan ViT MSN.

• ViTMSNForImageClassification didukung oleh notebook ini.
• Lihat juga: Panduan tugas klasifikasi gambar

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker