Hugging Face's logo

Transformers documentation

RT-DETR

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2023-04-17 tarihinde HF papers'ta yayımlandı ve 2024-06-22 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

RT-DETR

Genel Bakış

RT-DETR modeli, Wenyu Lv, Yian Zhao, Shangliang Xu, Jinman Wei, Guanzhong Wang, Cheng Cui, Yuning Du, Qingqing Dang ve Yi Liu tarafından DETRs Beat YOLOs on Real-time Object Detection makalesinde önerilmiştir.

RT-DETR, “Real-Time DEtection Transformer” ifadesinin kısaltması olan bir nesne algılama modelidir. Bu model, yüksek doğruluğu korurken gerçek zamanlı performans elde etmeye odaklanarak nesne algılama görevlerini gerçekleştirmek üzere tasarlanmıştır. Derin öğrenmenin çeşitli alanlarında önemli bir popülerlik kazanmış olan transformer mimarisinden yararlanan RT-DETR, görüntüleri işleyerek bunların içindeki birden fazla nesneyi tanımlar ve konumlarını belirler.

Makalenin özeti aşağıdaki gibidir:

Son zamanlarda uçtan uca transformer tabanlı algılayıcılar (DETR) olağanüstü performanslar elde etmiştir. Ancak, DETR'lerin yüksek hesaplama maliyeti sorunu etkili bir şekilde çözülememiş olup bu durum, pratik uygulamalarını kısıtlamakta ve non-maximum suppression (NMS) gibi son işleme gerektirmeme avantajlarından tam olarak yararlanmalarını engellemektedir. Bu makalede, öncelikle modern gerçek zamanlı nesne algılayıcılarda NMS'in çıkarım hızına etkisini analiz ediyor ve uçtan uca bir hız referans noktası (benchmark) oluşturuyoruz. NMS kaynaklı çıkarım gecikmesini önlemek için, bildiğimiz kadarıyla ilk gerçek zamanlı uçtan uca nesne algılayıcı olan Real-Time DEtection TRansformer'ı (RT-DETR) öneriyoruz. Özellikle, ölçek içi etkileşimi ve ölçekler arası füzyonu ayırarak çok ölçekli özellikleri verimli bir şekilde işlemek için verimli bir hibrit kodlayıcı tasarlıyor ve nesne sorgularının (query) başlatılmasını iyileştirmek için IoU-farkındalıklı sorgu seçimi öneriyoruz. Ayrıca, önerdiğimiz algılayıcı, yeniden eğitim gerektirmeden farklı kodlayıcı katmanları kullanarak çıkarım hızının esnek bir şekilde ayarlanmasını desteklemekte olup bu da gerçek zamanlı nesne algılayıcıların pratik uygulamalarını kolaylaştırmaktadır. RT-DETR-L, COCO val2017 üzerinde %53,0 AP ve T4 GPU üzerinde 114 FPS elde ederken, RT-DETR-X %54,8 AP ve 74 FPS elde etmekte olup hız ve doğruluk açısından aynı ölçekten tüm YOLO algılayıcılarını geride bırakmaktadır. Bununla birlikte, RT-DETR-R50 %53,1 AP ve 108 FPS elde etmekte olup DINO-Deformable-DETR-R50'yi doğrulukta %2,2 AP ve FPS'de yaklaşık 21 kat geride bırakmaktadır.

drawing RT-DETR performance relative to YOLO models. Taken from the original paper.

Model sürümü rafaelpadilla ve sangbumchoi tarafından katkı sağlanmıştır. Orijinal kod burada bulunabilir.

Kullanım ipuçları

Başlangıçta, bir görüntü, orijinal kodda atıf yapılan bir Resnet-D varyantı olan önceden eğitilmiş bir konvolüsyonel sinir ağı kullanılarak işlenir. Bu ağ, mimarinin son üç katmanından özellikleri çıkarır. Ardından, çok ölçekli özellikleri görüntü özelliklerinin ardışık bir dizisine dönüştürmek için hibrit bir kodlayıcı kullanılır. Daha sonra, yardımcı tahmin kafalarına sahip bir çözücü, nesne sorgularını (object queries) iyileştirmek için kullanılır. Bu süreç, sınırlayıcı kutuların (bounding box) logit ve koordinatlarını elde etmek için ek bir son işlem gerektirmeden sınırlayıcı kutuların doğrudan üretilmesini sağlar. Model, ilgili ImageProcessor ile 640x640 boyutuna yeniden boyutlandırılmış görüntülerde kullanılacak şekilde tasarlanmıştır. Diğer boyutlara yeniden şekillendirme genellikle performansı düşürür.

import requests
import torch
from PIL import Image

from transformers import RTDetrForObjectDetection, RTDetrImageProcessor


url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd", device_map="auto")

inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")
sofa: 0.97 [0.14, 0.38, 640.13, 476.21]
cat: 0.96 [343.38, 24.28, 640.14, 371.5]
cat: 0.96 [13.23, 54.18, 318.98, 472.22]
remote: 0.95 [40.11, 73.44, 175.96, 118.48]
remote: 0.92 [333.73, 76.58, 369.97, 186.99]

Kaynaklar

RT-DETR ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.

Object Detection

RTDetrConfig

sınıf transformers.RTDetrConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Trueinitializer_range: float = 0.01initializer_bias_prior_prob: float | None = Nonelayer_norm_eps: float = 1e-05batch_norm_eps: float = 1e-05backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefreeze_backbone_batch_norms: bool = Trueencoder_hidden_dim: int = 256encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048)feat_strides: list[int] | tuple[int, ...] = (8, 16, 32)encoder_layers: int = 1encoder_ffn_dim: int = 1024encoder_attention_heads: int = 8dropout: float | int = 0.0activation_dropout: float | int = 0.0encode_proj_layers: list[int] | tuple[int, ...] = (2,)positional_encoding_temperature: int = 10000encoder_activation_function: str = 'gelu'activation_function: str = 'silu'eval_size: int | None = Nonenormalize_before: bool = Falsehidden_expansion: float = 1.0d_model: int = 256num_queries: int = 300decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256)decoder_ffn_dim: int = 1024num_feature_levels: int = 3decoder_n_points: int = 4decoder_layers: int = 6decoder_attention_heads: int = 8decoder_activation_function: str = 'relu'attention_dropout: float | int = 0.0num_denoising: int = 100label_noise_ratio: float = 0.5box_noise_scale: float = 1.0learn_initial_query: bool = Falseanchor_image_size: int | list[int] | None = Nonedisable_custom_kernels: bool = Truewith_box_refine: bool = Truematcher_alpha: float = 0.25matcher_gamma: float = 2.0matcher_class_cost: float = 2.0matcher_bbox_cost: float = 5.0matcher_giou_cost: float = 2.0use_focal_loss: bool = Trueauxiliary_loss: bool = Truefocal_loss_alpha: float = 0.75focal_loss_gamma: float = 2.0weight_loss_vfl: float = 1.0weight_loss_bbox: float = 5.0weight_loss_giou: float = 2.0eos_coefficient: float = 0.0001 )

Parametreler

  • is_encoder_decoder (bool, isteğe bağlı, varsayılan True) — Modelin bir kodlayıcı/çözücü olarak kullanılıp kullanılmadığı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.01) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • initializer_bias_prior_prob (float, isteğe bağlı) — enc_score_head ve class_embed için önyargıları başlatmak üzere önyargı başlatıcısı tarafından kullanılan önceden olasılık. None ise, model ağırlıkları başlatılırken prior_prob, prior_prob = 1 / (num_labels + 1) olarak hesaplanır.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • batch_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Toplu normalizasyon katmanları tarafından kullanılan epsilon.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Backbone modelinin yapılandırması.
  • freeze_backbone_batch_norms (bool, isteğe bağlı, varsayılan True) — Backbone'daki batch normalization katmanlarını dondurulup dondurulmayacağı.
  • encoder_hidden_dim (int, isteğe bağlı, varsayılan 256) — Gizli temsillerin boyutu.
  • encoder_in_channels (list, isteğe bağlı, varsayılan [512, 1024, 2048]) — Encoder için çok seviyeli özellik girişi.
  • feat_strides (list[int], isteğe bağlı, varsayılan [8, 16, 32]) — Her özellik haritasında kullanılan adımlar.
  • encoder_layers (int, isteğe bağlı, varsayılan 1) — Transformer kodlayıcısındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • encoder_ffn_dim (int, isteğe bağlı, varsayılan 1024) — Encoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • encoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer kodlayıcısındaki her dikkat katmanı için dikkat başı sayısı.
  • dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Tüm dropout katmanları için oran.
  • activation_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Tamamen bağlı katmandaki aktivasyonlar için dropout oranı.
  • encode_proj_layers (list[int], isteğe bağlı, varsayılan [2]) — Kodlayıcıda kullanılacak projeksiyon katmanlarının indeksleri.
  • positional_encoding_temperature (int, isteğe bağlı, varsayılan 10000) — Konumsal kodlamaları oluşturmak için kullanılan sıcaklık parametresi.
  • encoder_activation_function (str, isteğe bağlı, varsayılan "gelu") — Encoder ve pooler'daki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Dize ise "gelu", "relu", "silu" ve "gelu_new" desteklenir.
  • activation_function (str, isteğe bağlı, varsayılan silu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • eval_size (tuple[int, int], isteğe bağlı) — Adım (stride) değerleri dikkate alındıktan sonra konum gömme (position embeddings) için etkili yükseklik ve genişliğin hesaplanmasında kullanılan yükseklik ve genişlik.
  • normalize_before (bool, isteğe bağlı, varsayılan False) — Transformer kodlayıcı katmanında self-attention ve feed-forward modüllerinden önce katman normalizasyonunun uygulanıp uygulanmayacağını belirler.
  • hidden_expansion (float, isteğe bağlı, varsayılan 1.0) — RepVGGBlock ve CSPRepLayer boyutlarını büyütmek için kullanılan genişletme oranı.
  • d_model (int, isteğe bağlı, varsayılan 256) — Kodlayıcı katmanlarının ve pooler katmanının boyutu.
  • num_queries (int, isteğe bağlı, varsayılan 300) — Nesne sorgusu sayısı.
  • decoder_in_channels (list, isteğe bağlı, varsayılan [256, 256, 256]) — Çözücü için çok seviyeli özellik boyutu
  • decoder_ffn_dim (int, isteğe bağlı, varsayılan 1024) — Decoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • num_feature_levels (int, isteğe bağlı, varsayılan 3) — Girdi özellik seviyelerinin sayısı.
  • decoder_n_points (int, isteğe bağlı, varsayılan 4) — Decoder'daki her dikkat başı için her özellik seviyesinde örneklenen anahtar sayısı.
  • decoder_layers (int, isteğe bağlı, varsayılan 6) — Transformer decoder'ındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • decoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • decoder_activation_function (str, isteğe bağlı, varsayılan "relu") — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Dize ise "gelu", "relu", "silu" ve "gelu_new" desteklenir.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • num_denoising (int, isteğe bağlı, varsayılan 100) — Karşılaştırmalı gürültü giderme için kullanılacak toplam gürültü giderme görevi veya sorgu sayısı.
  • label_noise_ratio (float, isteğe bağlı, varsayılan 0.5) — Rastgele gürültü eklenmesi gereken gürültü giderme etiketlerinin oranı.
  • box_noise_scale (float, isteğe bağlı, varsayılan 1.0) — Sınır kutularına eklenecek gürültünün ölçeği veya büyüklüğü.
  • learn_initial_query (bool, isteğe bağlı, varsayılan False) — Eğitim sırasında decoder için başlangıç sorgu gömme değerlerinin öğrenilip öğrenilmeyeceğini belirtir
  • anchor_image_size (tuple[int, int], isteğe bağlı) — Değerlendirme sırasında sınırlayıcı kutu (bounding box) çapaları (anchor) oluşturmak için kullanılan girdi görüntüsünün yüksekliği ve genişliği. None ise, otomatik çapa (anchor) üretimi uygulanır.
  • disable_custom_kernels (bool, isteğe bağlı, varsayılan True) — Özel çekirdeklerin devre dışı bırakılıp bırakılmayacağı.
  • with_box_refine (bool, isteğe bağlı, varsayılan True) — İteratif sınırlayıcı kutu iyileştirmesinin uygulanıp uygulanmayacağını belirtir; bu yöntemde her decoder katmanı, sınırlayıcı kutuları önceki katmandan gelen tahminlere göre iyileştirir.
  • matcher_alpha (float, isteğe bağlı, varsayılan 0.25) — Macar Eşleştiricisi tarafından kullanılan alpha parametresi.
  • matcher_gamma (float, isteğe bağlı, varsayılan 2.0) — Macar Eşleştiricisi tarafından kullanılan gamma parametresi.
  • matcher_class_cost (float, isteğe bağlı, varsayılan 2.0) — Macar Eşleştiricisi tarafından kullanılan sınıf kaybının göreli ağırlığı.
  • matcher_bbox_cost (float, isteğe bağlı, varsayılan 5.0) — Macar Eşleştiricisi tarafından kullanılan sınırlayıcı kutu kaybının göreli ağırlığı.
  • matcher_giou_cost (float, isteğe bağlı, varsayılan 2.0) — Macar Eşleştiricisi tarafından kullanılan giou kaybının göreli ağırlığı.
  • use_focal_loss (bool, isteğe bağlı, varsayılan True) — Focal loss kullanılacaksa bilgilendiren parametre.
  • auxiliary_loss (bool, isteğe bağlı, varsayılan True) — Yardımcı çözümleme kayıplarının (her decoder katmanındaki kayıplar) kullanılıp kullanılmayacağı.
  • focal_loss_alpha (float, isteğe bağlı, varsayılan 0.75) — Focal loss hesaplamak için kullanılan alpha parametresi.
  • focal_loss_gamma (float, isteğe bağlı, varsayılan 2.0) — Focal loss hesaplamak için kullanılan gamma parametresi.
  • weight_loss_vfl (float, isteğe bağlı, varsayılan 1.0) — Nesne algılama kaybında varifocal kaybının göreli ağırlığı.
  • weight_loss_bbox (float, isteğe bağlı, varsayılan 5.0) — Nesne algılama kaybında L1 sınırlayıcı kutu kaybının göreli ağırlığı.
  • weight_loss_giou (float, isteğe bağlı, varsayılan 2.0) — Nesne algılama kaybında genelleştirilmiş IoU kaybının göreli ağırlığı.
  • eos_coefficient (float, isteğe bağlı, varsayılan 0.0001) — Nesne algılama kaybında ‘nesne-yok’ sınıfının göreli sınıflandırma ağırlığı.

Bu, bir RTDetrModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Rt Detr modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, PekingU/rtdetr_r50vd modelinin yapılandırmasına benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnekler:

>>> from transformers import RTDetrConfig, RTDetrModel

>>> # Initializing a RT-DETR configuration
>>> configuration = RTDetrConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RTDetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

RTDetrResNetConfig

sınıf transformers.RTDetrResNetConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3embedding_size: int = 64hidden_sizes: list[int] | tuple[int, ...] = (256, 512, 1024, 2048)depths: list[int] | tuple[int, ...] = (3, 4, 6, 3)layer_type: str = 'bottleneck'hidden_act: str = 'relu'downsample_in_first_stage: bool = Falsedownsample_in_bottleneck: bool = False_out_features: list[str] | None = None_out_indices: list[int] | None = None )

Parametreler

  • num_channels (int, isteğe bağlı, varsayılan 3) — Giriş kanal sayısı.
  • embedding_size (int, isteğe bağlı, varsayılan 64) — Gömme ve gizli durumların boyutluluğu.
  • hidden_sizes (Union[list[int], tuple[int, ...]], isteğe bağlı, varsayılan (256, 512, 1024, 2048)) — Modelin her aşamasındaki boyut (gizli boyut).
  • depths (list[int], isteğe bağlı, varsayılan [3, 4, 6, 3]) — Her aşama için derinlik (katman sayısı).
  • layer_type (str, isteğe bağlı, varsayılan "bottleneck") — Kullanılacak katman; daha küçük modellerde (resnet-18 veya resnet-34 gibi) "basic", daha büyük modellerde (resnet-50 ve üzeri gibi) ise "bottleneck" olabilir.
  • hidden_act (str, isteğe bağlı, varsayılan "relu") — Her blokta kullanılan doğrusal olmayan aktivasyon fonksiyonu. Dize olarak verilirse "gelu", "relu", "selu" ve "gelu_new" desteklenir.
  • downsample_in_first_stage (bool, isteğe bağlı, varsayılan False) — True ise, ilk aşama girdileri 2 stride kullanarak küçültür.
  • downsample_in_bottleneck (bool, isteğe bağlı, varsayılan False) — True ise, ResNetBottleNeckLayer'daki ilk 1x1 conv, girdileri stride değeri 2 olacak şekilde küçültür.

Bu, bir Rt Detr ResnetModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Rt Detr Resnet modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, microsoft/resnet-50 yapılandırmasına benzer bir yapılandırma elde edilmesini sağlar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import RTDetrResNetConfig, RTDetrResnetBackbone

>>> # Initializing a ResNet resnet-50 style configuration
>>> configuration = RTDetrResNetConfig()

>>> # Initializing a model (with random weights) from the resnet-50 style configuration
>>> model = RTDetrResnetBackbone(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

RTDetrImageProcessor

sınıf transformers.RTDetrImageProcessor

< >

( **kwargs: *<class 'transformers.models.rt_detr.image_processing_rt_detr.RTDetrImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 640, 'width': 640}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan False) — Görselin normalize edilip edilmeyeceğini belirtir.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan False) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — RT_DETR modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresi ile geçersiz kılınabilir.

RTDetrImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = Nonereturn_segmentation_masks: bool | None = Nonemasks_path: str | pathlib.Path | None = None**kwargs: *<class 'transformers.models.rt_detr.image_processing_rt_detr.RTDetrImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • annotations (AnnotationType veya list[AnnotationType], isteğe bağlı) — Görsellere uygulanan dolgu (padding) durumuna göre dönüştürülecek etiketler.
  • return_segmentation_masks (bool, isteğe bağlı, varsayılan self.return_segmentation_masks) — Segmentasyon maskelerinin döndürülüp döndürülmeyeceğini belirtir.
  • masks_path (str veya pathlib.Path, isteğe bağlı) — Segmentasyon maskelerini içeren dizinin yolu.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — RT_DETR modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresi ile geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

post_process_object_detection

< >

( outputsthreshold: float = 0.5target_sizes: transformers.utils.generic.TensorType | list[tuple] = Noneuse_focal_loss: bool = True ) → list[Dict]

Parametreler

  • outputs (DetrObjectDetectionOutput) — Modelin ham çıktıları.
  • threshold (float, isteğe bağlı, varsayılan 0.5) — Nesne algılama tahminlerini korumak için skor eşiği.
  • target_sizes (torch.Tensor veya list[tuple[int, int]], isteğe bağlı) — Her bir görüntünün hedef boyutunu (height, width) içeren (batch_size, 2) biçiminde bir tensör veya (tuple[int, int]) demetlerinin listesi. Ayarlanmazsa, tahminler yeniden boyutlandırılmaz.
  • use_focal_loss (bool, varsayılan True) — Çıktıların tahmininde focal loss kullanılıp kullanılmadığını belirten değişken. True ise, her tespitin skorlarını hesaplamak için sigmoid uygulanır; aksi halde softmax fonksiyonu kullanılır.

Dönüş değeri

list[Dict]

Bir sözlükler listesi; her sözlük, modelin tahminine göre bir batch içindeki bir görüntü için puanları, etiketleri ve kutuları içerir.

DetrForObjectDetection'ün ham çıktısını (top_left_x, top_left_y, bottom_right_x, bottom_right_y) biçiminde nihai sınırlayıcı kutulara dönüştürür. Yalnızca PyTorch desteklenir.

RTDetrImageProcessorPil

sınıf transformers.RTDetrImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.rt_detr.image_processing_pil_rt_detr.RTDetrImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 640, 'width': 640}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan False) — Görselin normalize edilip edilmeyeceğini belirtir.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan False) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — RT_DETR modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresi ile geçersiz kılınabilir.

RTDetrImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = Nonereturn_segmentation_masks: bool | None = Nonemasks_path: str | pathlib.Path | None = None**kwargs: *<class 'transformers.models.rt_detr.image_processing_pil_rt_detr.RTDetrImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • annotations (AnnotationType veya list[AnnotationType], isteğe bağlı) — Görsellere uygulanan dolgu (padding) durumuna göre dönüştürülecek etiketler.
  • return_segmentation_masks (bool, isteğe bağlı, varsayılan self.return_segmentation_masks) — Segmentasyon maskelerinin döndürülüp döndürülmeyeceğini belirtir.
  • masks_path (str veya pathlib.Path, isteğe bağlı) — Segmentasyon maskelerini içeren dizinin yolu.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — RT_DETR modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresi ile geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

post_process_object_detection

< >

( outputsthreshold: float = 0.5target_sizes: transformers.utils.generic.TensorType | list[tuple] = Noneuse_focal_loss: bool = True ) → list[Dict]

Parametreler

  • outputs (DetrObjectDetectionOutput) — Modelin ham çıktıları.
  • threshold (float, isteğe bağlı, varsayılan 0.5) — Nesne algılama tahminlerini korumak için skor eşiği.
  • target_sizes (torch.Tensor veya list[tuple[int, int]], isteğe bağlı) — Her bir görüntünün hedef boyutunu (height, width) içeren (batch_size, 2) biçiminde bir tensör veya (tuple[int, int]) demetlerinin listesi. Ayarlanmazsa, tahminler yeniden boyutlandırılmaz.
  • use_focal_loss (bool, varsayılan True) — Çıktıların tahmininde focal loss kullanılıp kullanılmadığını belirten değişken. True ise, her tespitin skorlarını hesaplamak için sigmoid uygulanır; aksi halde softmax fonksiyonu kullanılır.

Dönüş değeri

list[Dict]

Bir sözlükler listesi; her sözlük, modelin tahminine göre bir batch içindeki bir görüntü için puanları, etiketleri ve kutuları içerir.

DetrForObjectDetection'ün ham çıktısını (top_left_x, top_left_y, bottom_right_x, bottom_right_y) biçiminde nihai sınırlayıcı kutulara dönüştürür. Yalnızca PyTorch desteklenir.

RTDetrModel

sınıf transformers.RTDetrModel

< >

( config: RTDetrConfig )

Parametreler

  • config (RTDetrConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

RT-DETR Model (bir omurga ve kodlayıcı-çözücüden oluşan) üzerinde herhangi bir başlık olmadan ham gizli durumlar üreten.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → RTDetrModelOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri image_processor_class kullanılarak elde edilebilir. Ayrıntılar için image_processor_class.__call__ bölümüne bakın (processor_class, görüntü işleme için image_processor_class kullanır).
  • pixel_mask (torch.LongTensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (torch.Tensor, isteğe bağlı) — (last_hidden_state, isteğe bağlı: hidden_states, isteğe bağlı: attentions) içeren bir Tuple last_hidden_state, (batch_size, sequence_length, hidden_size) boyutunda, isteğe bağlı) kodlayıcının (encoder) son katmanının çıktısındaki gizli durumlar (hidden-states) dizisidir. Çözücüde (decoder) çapraz dikkat (cross-attention) için kullanılır.
  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Düzleştirilmiş özellik haritasını (backbone + projeksiyon katmanı çıktısı) iletmek yerine, bir görüntünün düzleştirilmiş temsilini doğrudan iletme seçeneğine sahipsiniz.
  • labels (list[Dict] of len (batch_size,), optional) — İki taraflı eşleştirme kaybını hesaplamak için etiketler. Her sözlük en azından aşağıdaki 2 anahtarı içeren bir sözlük listesi: ‘class_labels’ ve ‘boxes’ (sırasıyla batch içindeki bir görüntünün sınıf etiketleri ve sınırlayıcı kutuları). Sınıf etiketlerinin kendisi, uzunluğu (number of bounding boxes in the image,) olan bir torch.LongTensor ve kutuların ise şekli (number of bounding boxes in the image, 4) olan bir torch.Tensor olmalıdır.

Dönüş değeri

RTDetrModelOutput veya tuple(torch.Tensor)

RTDetrModelOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

RTDetrModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, num_queries, hidden_size)) — Modelin decoder'ının son katmanının çıktısındaki gizli durumlar dizisi.

  • intermediate_hidden_states (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, hidden_size)) — Yığılmış ara gizli durumlar (decoder'ın her katmanının çıktısı).

  • intermediate_logits (torch.Tensor, şekli (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — Yığılmış ara logits (decoder'ın her katmanının logits'i).

  • intermediate_reference_points (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara referans noktaları (decoder'ın her katmanının referans noktaları).

  • intermediate_predicted_corners (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara tahmini köşeler (decoder'ın her katmanının tahmini köşeleri).

  • initial_reference_points (torch.Tensor, şekli (batch_size, num_queries, 4)) — İlk decoder katmanı için kullanılan başlangıç referans noktaları.

  • decoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size).

    Her katmanın çıktısında ve başlangıç gömme çıktılarında dekodlayıcının gizli durumları.

  • decoder_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat ağırlıkları, dikkat softmax'ından sonra, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan dekoderin

  • cross_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dekoderin çapraz dikkat katmanının dikkat ağırlıkları, dikkat softmax'ından sonra, çapraz dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

  • encoder_last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının son katmanının çıktısındaki gizli durumlar dizisi.

  • encoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında ve başlangıç gömme çıktılarında kodlayıcının gizli durumları.

  • encoder_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat yumuşatma (attention softmax) sonrasında, öz-dikkat (self-attention) kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan kodlayıcının dikkat ağırlıkları.

  • init_reference_points (torch.Tensor, şekli (batch_size, num_queries, 4)) — Transformer decoder üzerinden gönderilen başlangıç referans noktaları.

  • enc_topk_logits (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels)) — Kodlayıcı aşamasında bölge önerileri olarak seçilen, en yüksek config.two_stage_num_proposals puanlı sınırlayıcı kutuların tahmini sınırlayıcı kutu puanları. Sınırlayıcı kutu ikili sınıflandırmasının (yani ön plan ve arka plan) çıktısı.

  • enc_topk_bboxes (torch.Tensor, şekli (batch_size, sequence_length, 4)) — Kodlayıcı aşamasında tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • enc_outputs_class (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — İlk aşamada en yüksek config.two_stage_num_proposals puanlı sınırlayıcı kutuların bölge önerileri olarak seçildiği, tahmini sınırlayıcı kutu puanları. Sınırlayıcı kutu ikili sınıflandırmasının çıktısı (yani ön plan ve arka plan).

  • enc_outputs_coord_logits (torch.Tensor, şekli (batch_size, sequence_length, 4), opsiyonel, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — Birinci aşamada tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • denoising_meta_values (dict, isteğe bağlı) — Gürültü azaltma ile ilgili değerler için ek sözlük.

Örnekler:

>>> from transformers import AutoImageProcessor, RTDetrModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
>>> model = RTDetrModel.from_pretrained("PekingU/rtdetr_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

RTDetrForObjectDetection

sınıf transformers.RTDetrForObjectDetection

< >

( config: RTDetrConfig )

Parametreler

  • config (RTDetrConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

RT-DETR Model (bir omurga ve kodlayıcı-çözücüden oluşan) sınırlayıcı kutuları ve daha sonra puanlara ve sınıflara çözümlenecek logitleri üreten.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → RTDetrObjectDetectionOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri image_processor_class kullanılarak elde edilebilir. Ayrıntılar için image_processor_class.__call__ bölümüne bakın (processor_class, görüntü işleme için image_processor_class kullanır).
  • pixel_mask (torch.LongTensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (torch.Tensor, isteğe bağlı) — (last_hidden_state, isteğe bağlı: hidden_states, isteğe bağlı: attentions) içeren bir Tuple last_hidden_state, (batch_size, sequence_length, hidden_size) boyutunda, isteğe bağlı) kodlayıcının (encoder) son katmanının çıktısındaki gizli durumlar (hidden-states) dizisidir. Çözücüde (decoder) çapraz dikkat (cross-attention) için kullanılır.
  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Düzleştirilmiş özellik haritasını (backbone + projeksiyon katmanı çıktısı) iletmek yerine, bir görüntünün düzleştirilmiş temsilini doğrudan iletme seçeneğine sahipsiniz.
  • labels (list[Dict] of len (batch_size,), optional) — İki taraflı eşleştirme kaybını hesaplamak için etiketler. Her sözlük en azından aşağıdaki 2 anahtarı içeren bir sözlük listesi: ‘class_labels’ ve ‘boxes’ (sırasıyla batch içindeki bir görüntünün sınıf etiketleri ve sınırlayıcı kutuları). Sınıf etiketlerinin kendisi, uzunluğu (number of bounding boxes in the image,) olan bir torch.LongTensor ve kutuların ise şekli (number of bounding boxes in the image, 4) olan bir torch.Tensor olmalıdır.

Dönüş değeri

RTDetrObjectDetectionOutput veya tuple(torch.Tensor)

RTDetrObjectDetectionOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (None) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

RTDetrForObjectDetection forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (1,), isteğe bağlı, labels sağlandığında döndürülür) — Sınıf tahmini için negatif log-olabilirlik (çapraz entropi) ile sınırlayıcı kutu kaybının doğrusal bir kombinasyonu olarak toplam kayıp. İkincisi, L1 kaybı ve genelleştirilmiş ölçekten bağımsız IoU kaybının doğrusal bir kombinasyonu olarak tanımlanır.

  • loss_dict (Dict, isteğe bağlı) — Bireysel kayıpları içeren bir sözlük. Kayıt tutma için faydalıdır.

  • logits (torch.Tensor, şekli (batch_size, num_queries, num_classes + 1)) — Tüm sorgular için sınıflandırma logitleri (no-object dahil).

  • pred_boxes (torch.Tensor, şekli (batch_size, num_queries, 4)) — Tüm sorgular için normalize edilmiş kutu koordinatları, (center_x, center_y, width, height) olarak temsil edilir. Bu değerler, [0, 1] aralığında normalize edilmiştir ve parti içindeki her bir görüntünün boyutuna göre görecelidir (olası dolgular göz ardı edilir). Normalize edilmemiş (mutlak) sınırlayıcı kutuları almak için post_process_object_detection() fonksiyonunu kullanabilirsiniz.

  • auxiliary_outputs (list[Dict], isteğe bağlı) — İsteğe bağlı, yalnızca yardımcı kayıplar etkinleştirildiğinde (yani config.auxiliary_loss True olarak ayarlandığında) ve etiketler sağlandığında döndürülür. Her kodlayıcı katmanı için yukarıdaki iki anahtarı (logits ve pred_boxes) içeren sözlüklerden oluşan bir listedir.

  • last_hidden_state (torch.Tensor, şekli (batch_size, num_queries, hidden_size)) — Modelin decoder'ının son katmanının çıktısındaki gizli durumlar dizisi.

  • intermediate_hidden_states (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, hidden_size)) — Yığılmış ara gizli durumlar (decoder'ın her katmanının çıktısı).

  • intermediate_logits (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, config.num_labels)) — Yığılmış ara logits (decoder'ın her katmanının logits'i).

  • intermediate_reference_points (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara referans noktaları (decoder'ın her katmanının referans noktaları).

  • intermediate_predicted_corners (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara tahmini köşeler (decoder'ın her katmanının tahmini köşeleri).

  • initial_reference_points (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış başlangıç referans noktaları (decoder'ın her katmanının başlangıç referans noktaları).

  • decoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size).

    Her katmanın çıktısında ve başlangıç gömme çıktılarında dekodlayıcının gizli durumları.

  • decoder_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat ağırlıkları, dikkat softmax'ından sonra, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan dekoderin

  • cross_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dekoderin çapraz dikkat katmanının dikkat ağırlıkları, dikkat softmax'ından sonra, çapraz dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

  • encoder_last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının son katmanının çıktısındaki gizli durumlar dizisi.

  • encoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında ve başlangıç gömme çıktılarında kodlayıcının gizli durumları.

  • encoder_attentions (tuple[torch.Tensor], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat yumuşatma (attention softmax) sonrasında, öz-dikkat (self-attention) kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan kodlayıcının dikkat ağırlıkları.

  • init_reference_points (torch.Tensor, şekli (batch_size, num_queries, 4)) — Transformer decoder üzerinden gönderilen başlangıç referans noktaları.

  • enc_topk_logits (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — Kodlayıcıda tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • enc_topk_bboxes (torch.Tensor, şekli (batch_size, sequence_length, 4), isteğe bağlı, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — Kodlayıcıda tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • enc_outputs_class (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — İlk aşamada en yüksek config.two_stage_num_proposals puanlı sınırlayıcı kutuların bölge önerileri olarak seçildiği, tahmini sınırlayıcı kutu puanları. Sınırlayıcı kutu ikili sınıflandırmasının çıktısı (yani ön plan ve arka plan).

  • enc_outputs_coord_logits (torch.Tensor, şekli (batch_size, sequence_length, 4), opsiyonel, config.with_box_refine=True ve config.two_stage=True olduğunda döndürülür) — Birinci aşamada tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • denoising_meta_values (dict, isteğe bağlı) — Gürültü azaltma ile ilgili değerler için ek sözlük

Örnekler:

>>> from transformers import RTDetrImageProcessor, RTDetrForObjectDetection
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
>>> model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]

RTDetrResNetBackbone

sınıf transformers.RTDetrResNetBackbone

< >

( config: RTDetrResNetConfig )

Parametreler

  • config (RTDetrResNetConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

RTDETR gibi çerçevelerle kullanılacak ResNet omurgası.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensoroutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BackboneOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri image_processor_class kullanılarak elde edilebilir. Ayrıntılar için image_processor_class.__call__ bölümüne bakın (processor_class, görüntü işleme için image_processor_class kullanır).
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

BackboneOutput veya tuple(torch.Tensor)

BackboneOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (RTDetrResNetConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

RTDetrResNetBackbone forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • feature_maps (tuple(torch.Tensor), şekli (batch_size, num_channels, height, width)) — Aşamaların özellik haritaları.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (gömme çıktısı için bir tane + her katman çıktısı için bir tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size) veya (batch_size, num_channels, height, width), omurgaya (backbone) göre değişir.

    Modelin her aşamanın çıktısındaki gizli durumları ve başlangıç gömme çıktıları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — Şekli (batch_size, num_heads, sequence_length, sequence_length) olan torch.Tensor (her katman için bir tane) içeren bir tuple. Yalnızca omurga (backbone) dikkat (attention) kullanıyorsa geçerlidir.

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Örnekler:

>>> from transformers import RTDetrResNetConfig, RTDetrResNetBackbone
>>> import torch
precation import deprecate_kwarg
precation import deprecate_kwarg
precation import deprecate_kwarg
utils.deprecation import deprecate_kwarg
utils.deprecation import deprecate_kwarg

>>> config = RTDetrResNetConfig()
>>> model = RTDetrResNetBackbone(config)

>>> pixel_values = torch.randn(1, 3, 224, 224)

>>> with torch.no_grad():
...     outputs = model(pixel_values)

>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 2048, 7, 7]
Update on GitHub

←RF-DETR RT-DETRv2→