# Generasi Multimodal

Multimodal Model (any-to-any) adalah model bahasa yang mampu memproses berbagai jenis data input (misalnya, teks, gambar, audio, atau video) dan menghasilkan output dalam salah satu modalitas tersebut. Berbeda dengan model unimodal atau model dengan modalitas tetap, model ini memungkinkan kombinasi input dan output yang fleksibel, sehingga satu sistem dapat menangani berbagai tugas: mulai dari generasi teks-ke-gambar hingga transkripsi audio-ke-teks, pemberian keterangan gambar, pemahaman video, dan sebagainya. Tugas ini memiliki banyak kesamaan dengan image-text-to-text, tetapi mendukung cakupan modalitas input dan output yang lebih luas.

Dalam panduan ini, kami memberikan gambaran singkat tentang model any-to-any dan menunjukkan cara menggunakannya dengan Transformers untuk inferensi. Berbeda dengan Vision LLM yang biasanya terbatas pada tugas visi dan bahasa, model omni-modal dapat menerima kombinasi modalitas apa pun (misalnya, teks, gambar, audio, video) sebagai input, dan menghasilkan output dalam modalitas yang berbeda, seperti teks atau gambar.

Mari kita mulai dengan menginstal dependensi:

```bash
pip install -q transformers accelerate flash_attn
```

Mari kita inisialisasi model dan prosesor.

```python
from transformers import AutoProcessor, AutoModelForMultimodalLM, infer_device
import torch

device = torch.device(infer_device())
model = AutoModelForMultimodalLM.from_pretrained(
    "Qwen/Qwen2.5-Omni-3B",
    dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
).to(device)

processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-3B")
```

Model-model ini biasanya menyertakan [chat template](../chat_templating) untuk menstruktur percakapan lintas modalitas. Input dapat mencampurkan gambar, teks, audio, atau format lain yang didukung dalam satu giliran. Output juga dapat bervariasi (misalnya, generasi teks atau generasi audio), tergantung pada konfigurasinya.

Berikut adalah contoh yang menyediakan input "teks + audio" dan meminta respons teks.

```python
messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/f2641_0_throatclearing.wav"},
            {"type": "text", "text": "What do you hear in this audio?"},
        ]
    },
]
```

Kita akan sekarang memanggil metode [apply_chat_template()](/docs/transformers/v5.23.0/id/main_classes/processors#transformers.ProcessorMixin.apply_chat_template) dari prosesor untuk memproses pra-olaha outputnya bersama dengan input gambar.

```python
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
)
```

Sekarang kita dapat meneruskan input yang telah dipreprocess ke model.

```python
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts)
```

## Pipeline

Cara tercepat untuk memulai adalah dengan menggunakan API [Pipeline](/docs/transformers/v5.23.0/id/main_classes/pipelines#transformers.Pipeline). Tentukan tugas `"any-to-any"` dan model yang ingin Anda gunakan.

```python
from transformers import pipeline
pipe = pipeline("any-to-any", model="mistralai/Voxtral-Mini-3B-2507")
```

Contoh di bawah ini menggunakan chat templates untuk memformat input teks dan menggunakan modalitas audio sebagai data multimodal.

```python
messages = [
     {
         "role": "user",
         "content": [
             {
                 "type": "audio",
                 "url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/glass-breaking-151256.mp3",
             },
             {"type": "text", "text": "What do you hear in this audio?"},
         ],
     },
 ]
```

Lewatkan teks dan gambar yang sudah diformat dengan chat template ke [Pipeline](/docs/transformers/v5.23.0/id/main_classes/pipelines#transformers.Pipeline) dan atur `return_full_text=False` untuk menghapus input dari output yang dihasilkan.

```python
outputs = pipe(text=messages, max_new_tokens=20, return_full_text=False)
outputs[0]["generated_text"]
```

Pipeline any-to-any juga mendukung pembuatan audio atau gambar dengan model any-to-any. Untuk itu, Anda perlu mengatur parameter `generation_mode`. Jangan lupa mengatur sampling video ke FPS yang diinginkan, jika tidak, seluruh video akan dimuat tanpa sampling. Berikut adalah contoh kodenya:

```python
import soundfile as sf
pipe = pipeline("any-to-any", model="Qwen/Qwen2.5-Omni-3B")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "https://huggingface.co/datasets/raushan-testing-hf/videos-test/resolve/main/Cooking_cake.mp4"},
            {"type": "text", "text": "Describe this video."},
        ],
    },
]
output = pipe(text=messages, fps=1, load_audio_from_video=True, max_new_tokens=20, generation_mode="audio")
sf.write("generated_audio.wav", out[0]["generated_audio"])
```

