Transformers documentation

Procesadores

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Procesadores

Los modelos multimodales requieren un preprocesador capaz de manejar entradas que combinan más de una modalidad. Dependiendo de la modalidad de entrada, un procesador debe convertir el texto en un array de tensores, las imágenes en valores de píxeles y el audio en un array de tensores con la tasa de muestreo correcta.

Por ejemplo, PaliGemma es un modelo de visión-lenguaje que utiliza el procesador de imágenes SigLIP y el tokenizador Llama. Una clase ProcessorMixin encapsula ambos tipos de preprocesador, proporcionando una única clase de procesador unificada para un modelo multimodal.

Llama a from_pretrained() para cargar un procesador. Pasa el tipo de entrada al procesador para generar las entradas del modelo esperadas, los ids de entrada y los valores de píxeles.

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

prompt = "answer en Where is the cat standing?"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt")
inputs

Esta guía describe la clase de procesador y cómo preprocesar entradas multimodales.

Clases de procesador

Todos los procesadores heredan de la clase ProcessorMixin, que proporciona métodos como from_pretrained(), save_pretrained() y push_to_hub() para cargar, guardar y compartir procesadores en el Hub.

Hay dos formas de cargar un procesador, con AutoProcessor y con una clase de procesador específica del modelo.

AutoProcessor
procesador específico del modelo

La API AutoClass ofrece una interfaz sencilla para cargar procesadores sin especificar directamente la clase de modelo específica a la que pertenecen.

Use from_pretrained() para cargar un procesador.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

Guardar y cargar un procesador

save_pretrained() escribe la configuración del procesador en un único archivo processor_config.json. El tokenizador y la plantilla de chat se guardan en sus propios archivos.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")
processor.save_pretrained("./llava-onevision")
llava-onevision/
├── chat_template.jinja
├── processor_config.json
├── tokenizer.json
└── tokenizer_config.json

Todos los subprocesadores, excepto el tokenizador, están anidados dentro de processor_config.json bajo el nombre de su atributo, como image_processor, video_processor o feature_extractor. Las configuraciones que pertenecen al propio procesador, como image_token, se encuentran en el nivel superior. El siguiente ejemplo está abreviado.

{
  "image_processor": {
    "image_processor_type": "LlavaOnevisionImageProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "image_token": "<image>",
  "processor_class": "LlavaOnevisionProcessor",
  "video_processor": {
    "video_processor_type": "LlavaOnevisionVideoProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "video_token": "<video>"
}

Los demás archivos se guardan por separado.

  • El tokenizador escribe sus archivos habituales, como tokenizer.json y tokenizer_config.json. Si un procesador tiene un segundo tokenizador, se guarda en una subcarpeta con el nombre de su atributo, como decoder_tokenizer/.
  • La plantilla de chat se guarda en chat_template.jinja. Si un procesador tiene varias plantillas de chat, la plantilla default se coloca en chat_template.jinja y las demás en una carpeta chat_templates/.

Al cargar un procesador con from_pretrained(), cada subprocesador busca primero su clave anidada en processor_config.json. Si la clave no está presente, recurre a un archivo independiente. Los procesadores de imagen y los extractores de características leen preprocessor_config.json, y los procesadores de vídeo leen video_preprocessor_config.json y luego preprocessor_config.json. Los puntos de control antiguos que almacenan cada subprocesador en su propio archivo se cargan de esta manera.

Una configuración anidada tiene prioridad sobre un archivo independiente. Si un punto de control tiene ambos, editar preprocessor_config.json o video_preprocessor_config.json no tiene efecto. En su lugar, edite la entrada anidada en processor_config.json.

Preprocesar

Los procesadores preprocesan las entradas multimodales al formato esperado por Transformers. Existen varias combinaciones de modalidades de entrada que un procesador puede manejar, como texto y audio o texto e imagen.

Las tareas de reconocimiento automático del habla (ASR) requieren un procesador que pueda manejar entradas de texto y audio. Cargue un conjunto de datos y examine las columnas audio y text (puede eliminar las demás columnas que no sean necesarias).

from datasets import load_dataset

dataset = load_dataset("keithito/lj_speech", split="train")
dataset = dataset.map(remove_columns=["file", "id", "normalized_text"])
dataset[0]["audio"]
{'array': array([-7.3242188e-04, -7.6293945e-04, -6.4086914e-04, ...,
         7.3242188e-04,  2.1362305e-04,  6.1035156e-05], dtype=float32),
 'path': '/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav',
 'sampling_rate': 22050}

dataset[0]["text"]
'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'

Recuerda re-muestrear la tasa de muestreo para que coincida con la tasa de muestreo requerida por los modelos preentrenados.

from datasets import Audio

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

Carga un procesador y pásale las columnas array y text.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("openai/whisper-tiny")

def prepare_dataset(example):
    audio = example["audio"]
    example.update(processor(audio=audio["array"], text=example["text"], sampling_rate=16000))
    return example

Aplica la función prepare_dataset para preprocesar el conjunto de datos. El procesador devuelve input_features para la columna audio y labels para la columna de texto.

prepare_dataset(dataset[0])
Update on GitHub