Transformers documentation
Procesadores
Procesadores
Los modelos multimodales requieren un preprocesador capaz de manejar entradas que combinan más de una modalidad. Dependiendo de la modalidad de entrada, un procesador debe convertir el texto en un array de tensores, las imágenes en valores de píxeles y el audio en un array de tensores con la tasa de muestreo correcta.
Por ejemplo, PaliGemma es un modelo de visión-lenguaje que utiliza el procesador de imágenes SigLIP y el tokenizador Llama. Una clase ProcessorMixin encapsula ambos tipos de preprocesador, proporcionando una única clase de procesador unificada para un modelo multimodal.
Llama a from_pretrained() para cargar un procesador. Pasa el tipo de entrada al procesador para generar las entradas del modelo esperadas, los ids de entrada y los valores de píxeles.
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")
prompt = "answer en Where is the cat standing?"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")
inputsEsta guía describe la clase de procesador y cómo preprocesar entradas multimodales.
Clases de procesador
Todos los procesadores heredan de la clase ProcessorMixin, que proporciona métodos como from_pretrained(), save_pretrained() y push_to_hub() para cargar, guardar y compartir procesadores en el Hub.
Hay dos formas de cargar un procesador, con AutoProcessor y con una clase de procesador específica del modelo.
La API AutoClass ofrece una interfaz sencilla para cargar procesadores sin especificar directamente la clase de modelo específica a la que pertenecen.
Use from_pretrained() para cargar un procesador.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")Los procesadores también están asociados con una clase de modelo multimodal preentrenado específica. Puedes cargar un procesador directamente desde la clase del modelo con from_pretrained().
from transformers import WhisperProcessor
processor = WhisperProcessor.from_pretrained("openai/whisper-tiny")También podrías cargar por separado los dos tipos de preprocesador, WhisperTokenizerFast y WhisperFeatureExtractor.
from transformers import WhisperTokenizerFast, WhisperFeatureExtractor, WhisperProcessor
tokenizer = WhisperTokenizerFast.from_pretrained("openai/whisper-tiny")
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-tiny")
processor = WhisperProcessor(feature_extractor=feature_extractor, tokenizer=tokenizer)Guardar y cargar un procesador
save_pretrained() escribe la configuración del procesador en un único archivo processor_config.json. El tokenizador y la plantilla de chat se guardan en sus propios archivos.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")
processor.save_pretrained("./llava-onevision")llava-onevision/ ├── chat_template.jinja ├── processor_config.json ├── tokenizer.json └── tokenizer_config.json
Todos los subprocesadores, excepto el tokenizador, están anidados dentro de processor_config.json bajo el nombre de su atributo, como image_processor, video_processor o feature_extractor. Las configuraciones que pertenecen al propio procesador, como image_token, se encuentran en el nivel superior. El siguiente ejemplo está abreviado.
{
"image_processor": {
"image_processor_type": "LlavaOnevisionImageProcessor",
"do_resize": true,
"size": {"height": 384, "width": 384},
"image_mean": [0.5, 0.5, 0.5]
},
"image_token": "<image>",
"processor_class": "LlavaOnevisionProcessor",
"video_processor": {
"video_processor_type": "LlavaOnevisionVideoProcessor",
"do_resize": true,
"size": {"height": 384, "width": 384},
"image_mean": [0.5, 0.5, 0.5]
},
"video_token": "<video>"
}Los demás archivos se guardan por separado.
- El tokenizador escribe sus archivos habituales, como
tokenizer.jsonytokenizer_config.json. Si un procesador tiene un segundo tokenizador, se guarda en una subcarpeta con el nombre de su atributo, comodecoder_tokenizer/. - La plantilla de chat se guarda en
chat_template.jinja. Si un procesador tiene varias plantillas de chat, la plantilladefaultse coloca enchat_template.jinjay las demás en una carpetachat_templates/.
Al cargar un procesador con from_pretrained(), cada subprocesador busca primero su clave anidada en processor_config.json. Si la clave no está presente, recurre a un archivo independiente. Los procesadores de imagen y los extractores de características leen preprocessor_config.json, y los procesadores de vídeo leen video_preprocessor_config.json y luego preprocessor_config.json. Los puntos de control antiguos que almacenan cada subprocesador en su propio archivo se cargan de esta manera.
Una configuración anidada tiene prioridad sobre un archivo independiente. Si un punto de control tiene ambos, editar
preprocessor_config.jsonovideo_preprocessor_config.jsonno tiene efecto. En su lugar, edite la entrada anidada enprocessor_config.json.
Preprocesar
Los procesadores preprocesan las entradas multimodales al formato esperado por Transformers. Existen varias combinaciones de modalidades de entrada que un procesador puede manejar, como texto y audio o texto e imagen.
Las tareas de reconocimiento automático del habla (ASR) requieren un procesador que pueda manejar entradas de texto y audio. Cargue un conjunto de datos y examine las columnas audio y text (puede eliminar las demás columnas que no sean necesarias).
from datasets import load_dataset
dataset = load_dataset("keithito/lj_speech", split="train")
dataset = dataset.map(remove_columns=["file", "id", "normalized_text"])
dataset[0]["audio"]
{'array': array([-7.3242188e-04, -7.6293945e-04, -6.4086914e-04, ...,
7.3242188e-04, 2.1362305e-04, 6.1035156e-05], dtype=float32),
'path': '/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav',
'sampling_rate': 22050}
dataset[0]["text"]
'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'Recuerda re-muestrear la tasa de muestreo para que coincida con la tasa de muestreo requerida por los modelos preentrenados.
from datasets import Audio
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))Carga un procesador y pásale las columnas array y text.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("openai/whisper-tiny")
def prepare_dataset(example):
audio = example["audio"]
example.update(processor(audio=audio["array"], text=example["text"], sampling_rate=16000))
return exampleAplica la función prepare_dataset para preprocesar el conjunto de datos. El procesador devuelve input_features para la columna audio y labels para la columna de texto.
prepare_dataset(dataset[0])