Transformers documentation

BridgeTower

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2022-06-17 tarihinde HF papers'ta yayımlandı ve 2023-01-25 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

BridgeTower

Genel Bakış

BridgeTower modeli, Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che ve Nan Duan tarafından BridgeTower: Building Bridges Between Encoders in Vision-Language Representative Learning makalesinde önerilmiştir. Bu modelin amacı, her tek modlu kodlayıcı ile çapraz modlu kodlayıcı arasında bir köprü kurarak, çapraz modlu kodlayıcının her katmanında kapsamlı ve ayrıntılı etkileşimi mümkün kılmak ve böylece neredeyse ihmal edilebilir ek performans ve hesaplama maliyetleriyle çeşitli aşağı akış görevlerinde olağanüstü performans elde etmektir.

Bu makale AAAI’23 konferansında kabul edilmiştir.

Makalenin özeti aşağıdaki gibidir:

TWO-TOWER mimarisine sahip Görsel-Dil (VL) modelleri, son yıllarda görsel-dil temsil öğrenmesinde baskın bir rol üstlenmiştir. Mevcut VL modelleri, ya hafif tek modlu kodlayıcılar kullanarak derin çapraz modlu kodlayıcıda her iki modu eş zamanlı olarak çıkarmayı, hizalamayı ve birleştirmeyi öğrenir; ya da derin önceden eğitilmiş tek modlu kodlayıcılardan gelen son katman tek modlu temsil çapraz modlu üst kodlayıcıya aktarılır. Her iki yaklaşım da görsel-dil temsil öğrenmesini potansiyel olarak kısıtlar ve model performansını sınırlar. Bu makalede, BRIDGETOWER'ı öneriyoruz; bu model, tek modlu kodlayıcıların üst katmanları ile çapraz modlu kodlayıcının her katmanı arasında bağlantı kuran çoklu köprü katmanları tanıtır. Bu, önceden eğitilmiş tek modlu kodlayıcıların farklı semantik seviyelerindeki görsel ve metinsel temsil çapraz modlu kodlayıcıda etkili bir alttan üste çapraz modlu hizalama ve birleşmesine olanak tanır. Sadece 4M görselle önceden eğitilen BRIDGETOWER, çeşitli aşağı akış görsel-dil görevlerinde en iyi performansı (state-of-the-art) elde eder. Özellikle, VQAv2 test-std kümesinde BRIDGETOWER, %78,73 doğruluk oranına ulaşarak, aynı önceden eğitim verisiyle ve neredeyse ihmal edilebilir ek parametre ve hesaplama maliyetleriyle önceki en iyi model olan METER'ı %1,09 geride bırakır. Dikkat çekici bir şekilde, model daha da ölçeklendirildiğinde BRIDGETOWER, %81,15 doğruluk oranına ulaşarak, büyüklük sırası daha büyük veri kümeleriyle önceden eğitilmiş modelleri geride bırakır.

BridgeTower architecture. Taken from the original paper.

Bu model Anahita Bhiwandiwalla, Tiep Le ve Shaoyen Tseng tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları ve örnekleri

BridgeTower, çok sayıda hafif köprü katmanına sahip bir görsel kodlayıcı, bir metinsel kodlayıcı ve bir çapraz modallı kodlayıcıdan oluşur. Bu yaklaşımın amacı, çapraz modallı kodlayıcının her katmanında kapsamlı ve ayrıntılı etkileşimi mümkün kılmak için her tek modallı kodlayıcı ile çapraz modallı kodlayıcı arasında bir köprü oluşturmaktı. İlke olarak, önerilen mimaride herhangi bir görsel, metinsel veya çapraz modallı kodlayıcı uygulanabilir.

BridgeTowerProcessor, metni kodlamak ve sırasıyla görüntüleri hazırlamak için RobertaTokenizer ve BridgeTowerImageProcessor bileşenlerini tek bir örnekte birleştirir.

Aşağıdaki örnek, BridgeTowerProcessor ve BridgeTowerForContrastiveLearning kullanarak kontrastif öğrenmenin nasıl çalıştırıldığını gösterir.

import requests
from PIL import Image

from transformers import BridgeTowerForContrastiveLearning, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc")
model = BridgeTowerForContrastiveLearning.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs

Aşağıdaki örnek, BridgeTowerProcessor ve BridgeTowerForImageAndTextRetrieval kullanarak görüntü-metin eşleme (retrieval) çalıştırmanın nasıl yapılacağını gösterir.

import requests
from PIL import Image

from transformers import BridgeTowerForImageAndTextRetrieval, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForImageAndTextRetrieval.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs.logits[0, 1].item()

Aşağıdaki örnek, BridgeTowerProcessor ve BridgeTowerForMaskedLM kullanarak maskeli dil modellemesinin nasıl çalıştırılacağını gösterir.

from transformers import BridgeTowerProcessor, BridgeTowerForMaskedLM
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000360943.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
text = "a <mask> looking out of the window"

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForMaskedLM.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# prepare inputs
encoding = processor(image, text, return_tensors="pt").to(model.device)

# forward pass
outputs = model(**encoding)

results = processor.decode(outputs.logits.argmax(dim=-1).squeeze(0).tolist())

print(results)
.a cat looking out of the window.

İpuçları:

Bu BridgeTower uygulaması, metin gömlemlerini üretmek için RobertaTokenizer ve görsel gömlemleri hesaplamak için OpenAI'ın CLIP/ViT modelini kullanır.
Önceden eğitilmiş bridgeTower-base ve bridgetower masked language modeling and image text matching için kontrol noktaları yayınlandı.
BridgeTower'ın Görsel Arama ve diğer aşağı akış görevlerindeki performansına ilişkin olarak Tablo 5'e bakın.

Transformers

BridgeTower

Genel Bakış

Kullanım ipuçları ve örnekleri

BridgeTowerConfig

sınıf transformers.BridgeTowerConfig

BridgeTowerTextConfig

sınıf transformers.BridgeTowerTextConfig

BridgeTowerVisionConfig

sınıf transformers.BridgeTowerVisionConfig

BridgeTowerImageProcessor

sınıf transformers.BridgeTowerImageProcessor

ön işleme

BridgeTowerImageProcessorPil

sınıf transformers.BridgeTowerImageProcessorPil

ön işleme

BridgeTowerProcessor

sınıf transformers.BridgeTowerProcessor

__call__

BridgeTowerModel

sınıf transformers.BridgeTowerModel

forward

BridgeTowerForContrastiveLearning

sınıf transformers.BridgeTowerForContrastiveLearning

forward

BridgeTowerForMaskedLM

sınıf transformers.BridgeTowerForMaskedLM

forward

BridgeTowerForImageAndTextRetrieval

sınıf transformers.BridgeTowerForImageAndTextRetrieval

forward

call