Transformers documentation

Qwen2-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo se publicó en HF papers el 18-09-2024 y se contribuyó a Hugging Face Transformers el 26-08-2024.

Qwen2-VL

Resumen

El modelo Qwen2-VL (publicación en el blog) es una actualización importante de Qwen-VL por parte del equipo Qwen de Alibaba Research.

El resumen del blog es el siguiente:

Este blog presenta Qwen2-VL, una versión avanzada del modelo Qwen-VL que ha experimentado mejoras significativas durante el último año. Las mejoras clave incluyen una mejor comprensión de imágenes, una comprensión avanzada de videos, funcionalidad de agente visual integrada y soporte multilingüe expandido. La arquitectura del modelo se ha optimizado para manejar resoluciones de imagen arbitrarias mediante el soporte de Naive Dynamic Resolution y utiliza Multimodal Rotary Position Embedding (M-ROPE) para procesar de manera efectiva tanto datos textuales 1D como datos visuales multidimensionales. Este modelo actualizado demuestra un rendimiento competitivo frente a sistemas de IA líderes como GPT-4o y Claude 3.5 Sonnet en tareas relacionadas con la visión y se posiciona entre los modelos de código abierto con mayores capacidades de texto. Estos avances convierten a Qwen2-VL en una herramienta versátil para diversas aplicaciones que requieren capacidades robustas de procesamiento y razonamiento multimodal.

Qwen2-VL architecture. Taken from the blog post.

Este modelo fue aportado por simonJJJ.

Ejemplo de uso

Inferencia de un solo medio

El modelo puede aceptar tanto imágenes como videos como entrada. A continuación, se muestra un ejemplo de código para la inferencia.

from transformers import AutoProcessor, Qwen2VLForConditionalGeneration


# Load the model in half-precision on the available device(s)
model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")


conversation = [
    {
        "role":"user",
        "content":[
            {
                "type":"image",
                "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg"
            },
            {
                "type":"text",
                "text":"Describe this image."
            }
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)



# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Inferencia por lotes de medios mixtos

El modelo puede procesar por lotes entradas compuestas por muestras mixtas de varios tipos, como imágenes, videos y texto. Aquí hay un ejemplo.


# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image1.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image2.jpg"},
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "user",
        "content": "who are you?"
    }
]


# Conversation with mixed media
conversation4 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "image", "path": "/path/to/image4.jpg"},
            {"type": "video", "path": "/path/to/video.jpg"},
            {"type": "text", "text": "What are the common elements in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]
# Preparation for batch inference
inputs = processor.apply_chat_template(
    conversations,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Batch Inference
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Consejos de uso

Compensación de la resolución de imagen

El modelo admite una amplia gama de resoluciones de entrada. De forma predeterminada, utiliza la resolución nativa para la entrada, pero resoluciones más altas pueden mejorar el rendimiento a costa de un mayor cómputo. Los usuarios pueden establecer el número mínimo y máximo de píxeles para lograr una configuración óptima según sus necesidades.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

En caso de tener poca RAM en la GPU, se puede reducir la resolución de la siguiente manera:

min_pixels = 256*28*28
max_pixels = 1024*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Esto garantiza que cada imagen se codifique utilizando un número de tokens entre 256 y 1024. El 28 proviene del hecho de que el modelo utiliza un tamaño de parche de 14 y un tamaño de parche temporal de 2 (14 x 2 = 28).

Entradas de múltiples imágenes

Por defecto, las imágenes y el contenido de vídeo se incluyen directamente en la conversación. Al manejar varias imágenes, resulta útil añadir etiquetas a las imágenes y vídeos para facilitar su referencia. Los usuarios pueden controlar este comportamiento con la siguiente configuración:

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"},
            {"type": "image"},
            {"type": "image"},
            {"type": "video"},
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Flash-Attention 2 para acelerar la generación

Primero, asegúrate de instalar la última versión de Flash Attention 2:

pip install -U flash-attn --no-build-isolation

Además, debe contar con hardware compatible con Flash-Attention 2. Puede leer más al respecto en la documentación oficial del repositorio de flash attention. FlashAttention-2 solo puede utilizarse cuando un modelo se carga en torch.float16 o torch.bfloat16.

Para cargar y ejecutar un modelo usando Flash Attention-2, simplemente agregue attn_implementation="flash_attention_2" al cargar el modelo, de la siguiente manera:

from transformers import Qwen2VLForConditionalGeneration

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct", 
    attn_implementation="flash_attention_2",
 device_map="auto")

Transformers

Qwen2-VL

Resumen

Ejemplo de uso

Inferencia de un solo medio

Inferencia por lotes de medios mixtos

Consejos de uso

Compensación de la resolución de imagen

Entradas de múltiples imágenes

Flash-Attention 2 para acelerar la generación

Qwen2VLConfig

clase transformers.Qwen2VLConfig

Qwen2VLVisionConfig

clase transformers.Qwen2VLVisionConfig

Qwen2VLTextConfig

clase transformers.Qwen2VLTextConfig

Qwen2VLImageProcessor

clase transformers.Qwen2VLImageProcessor

preprocesar

Qwen2VLVideoProcessor

clase transformers.Qwen2VLVideoProcessor

preprocesar

Qwen2VLImageProcessorPil

clase transformers.Qwen2VLImageProcessorPil

preprocesar

Qwen2VLProcessor

clase transformers.Qwen2VLProcessor

__call__

Qwen2VLTextModel

clase transformers.Qwen2VLTextModel

forward

Qwen2VLModel

clase transformers.Qwen2VLModel

forward

get_video_features

get_image_features

Qwen2VLForConditionalGeneration

clase transformers.Qwen2VLForConditionalGeneration

forward

get_video_features

get_image_features

call