Transformers documentation

MOSS-Transcribe-Diarize

Transformers

Bắt đầu

Transformers Cài đặt Bắt đầu nhanh

Lớp cơ sở

Mô hình

Bộ tiền xử lý

Suy luận

Pipeline API

Tạo API

Tối ưu hóa

Trò chuyện với các model

Serving

Huấn luyện

Bắt đầu

Tùy chỉnh

Tinh chỉnh hiệu quả tham số

Hiệu năng

Huấn luyện phân tán

Phần cứng

Lượng tử hóa

Tích hợp hệ sinh thái

Tài nguyên

API

Các lớp chính

Mô hình

Mô hình văn bản

Mô hình thị giác

Mô hình âm thanh

Mô hình video

Mô hình đa phương thức

Mô hình học tăng cường

Mô hình chuỗi thời gian

Hàm trợ giúp nội bộ

Tham khảo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-10-14.

MOSS-Transcribe-Diarize

Tổng quan

MOSS-Transcribe-Diarize 0.9B là mô hình hiểu âm thanh end-to-end cho việc chuyển văn bản giọng nói dạng dài với nhiều người nói, phân tách người nói và đánh dấu thời gian. Mô hình kết hợp encoder kiểu Whisper, bước gộp khung 4×, bộ chiếu đa phương thức và mô hình ngôn ngữ Qwen3.

Checkpoint của model có sẵn tại: itazap/MOSS-Transcribe-Diarize-HF

Các khả năng chính bao gồm:

Chuyển văn bản và phân tách người nói đồng thời trong một lần chạy, với các đoạn được định dạng dưới dạng [start][S01]text[end].
Âm thanh dài thông qua việc chia nhỏ theo cửa sổ Whisper ngay trong bộ xử lý; mô hình sẽ lắp ráp lại các phần theo từng mẫu.
Chuyển văn bản có thể điều chỉnh bằng prompt thông qua apply_transcription_request hoặc chat template.
Hỗ trợ đa ngôn ngữ cho hơn 50 ngôn ngữ.

Mô hình này được đóng góp bởi Ita Zaporozhets từ đội ngũ Hugging Face. Xem model card và OpenMOSS repository để biết thêm chi tiết.

Cách sử dụng

Hầu hết các ví dụ bên dưới sử dụng apply_transcription_request, một hàm tiện ích giúp xây dựng chat template cho bạn. Xem Sử dụng nâng cao với chat template để biết cách gọi tương đương của apply_chat_template.

Chuyển văn bản và phân tách người nói cơ bản

Mỗi lượt nói của người nói được giải mã thành một phân đoạn [start][S0N]text[end]. processor.decode có thể trả về chuỗi đã giải mã thô, các phân đoạn đã phân tích dưới dạng danh sách các dict (return_format="parsed"), hoặc chỉ là bản ghi âm được nối lại (return_format="transcription_only").

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/podcast_sample.wav"
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
generated_ids = outputs[:, inputs.input_ids.shape[1] :]

decoded = processor.decode(generated_ids, skip_special_tokens=True)
print("RAW OUTPUT:", decoded)

parsed = processor.decode(generated_ids, return_format="parsed")[0]
print("\nPARSED (list of dicts):")
for segment in parsed:
    print(segment)

transcription = processor.decode(generated_ids, return_format="transcription_only")
print("\nTRANSCRIPTION ONLY:", transcription[0])

"""
RAW OUTPUT: ["[0.48][S01] Hey everyone, welcome back to the show.[2.43][2.46][S01] Today, we're talking about the best way to learn a new skill.[5.22][5.43][S01] I'm here with Jordan to dig into it.[7.14][8.40][S02] Thanks for having me.[9.42][9.63][S02] My take is that consistency beats intensity every single time.[12.87][13.14][S01] That makes sense.[13.92][13.92][S01] Even 20 minutes a day adds up over a few months.[16.17][16.32][S02] Exactly, and writing down small wins keeps you motivated along the way.[19.62]"]

PARSED (list of dicts):
{'Start': 0.48, 'End': 2.43, 'Speaker': 1, 'Content': 'Hey everyone, welcome back to the show.'}
{'Start': 2.46, 'End': 5.22, 'Speaker': 1, 'Content': "Today, we're talking about the best way to learn a new skill."}
{'Start': 5.43, 'End': 7.14, 'Speaker': 1, 'Content': "I'm here with Jordan to dig into it."}
{'Start': 8.4, 'End': 9.42, 'Speaker': 2, 'Content': 'Thanks for having me.'}
{'Start': 9.63, 'End': 12.87, 'Speaker': 2, 'Content': 'My take is that consistency beats intensity every single time.'}
{'Start': 13.14, 'End': 13.92, 'Speaker': 1, 'Content': 'That makes sense.'}
{'Start': 13.92, 'End': 16.17, 'Speaker': 1, 'Content': 'Even 20 minutes a day adds up over a few months.'}
{'Start': 16.32, 'End': 19.62, 'Speaker': 2, 'Content': 'Exactly, and writing down small wins keeps you motivated along the way.'}

TRANSCRIPTION ONLY: Hey everyone, welcome back to the show. Today, we're talking about the best way to learn a new skill. I'm here with Jordan to dig into it. Thanks for having me. My take is that consistency beats intensity every single time. That makes sense. Even 20 minutes a day adds up over a few months. Exactly, and writing down small wins keeps you motivated along the way.
"""

Prompt tùy chỉnh và từ khóa nóng

apply_transcription_request chấp nhận keywords để thiên lệch việc chuyển văn bản nói thành chữ viết về phía các thuật ngữ cụ thể (ví dụ: danh từ riêng hoặc từ vựng chuyên ngành), được hiển thị dưới dạng 热词列表： (“danh sách từ nóng”) trong mẫu chat. Một prompt tùy chỉnh có thể được truyền kèm theo để cung cấp thêm ngữ cảnh.

Dưới đây, chúng tôi chuyển đổi một đoạn âm thanh có nhắc đến “Yorùbá”, so sánh khi có và không truyền nó dưới dạng từ khóa.

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav"

# Without keywords
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITHOUT keywords: {transcription[0]}")

# With keywords
inputs = processor.apply_transcription_request(audio_url, keywords=["Mandarin", "Yorùbá"])
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITH keywords   : {transcription[0]}")

"""
WITHOUT keywords: Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yoruba, with over 50 million speakers.
WITH keywords   : Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yorùbá, with over 50 million speakers.
"""

Sử dụng nâng cao với mẫu trò chuyện

apply_transcription_request tương đương với một chat template có lượt người dùng chỉ chứa audio:

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": audio_url},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
decoded = processor.decode(
    outputs[:, inputs.input_ids.shape[1] :],
    skip_special_tokens=True,
)
print(decoded)

Suy luận theo lô

Truyền vào một danh sách audio, và tùy chọn một danh sách prompts và/hoặc keywords tương ứng, để chuyển văn bản từ một lô trong một lần gọi. Đặt một mục thành None để bỏ qua nó cho mẫu đó.

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
# `from_pretrained` is used here for convenience, the model can also be built from a config directly.
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio = [
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav",
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav",
]
keywords = [None, ["Mandarin", "Yorùbá"]]

inputs = processor.apply_transcription_request(audio, keywords=keywords)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

Huấn luyện

Truyền các bản ghi âm mục tiêu, ở định dạng đầu ra có mốc thời gian và gắn thẻ người nói của mô hình, vào apply_transcription_request với transcription. Các labels được trả về sẽ được dùng để tính toán loss.

from transformers import AutoModelForCausalLM, AutoProcessor

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
model.train()

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
transcription = (
    "[0.00][S01] Welcome to this demonstration of automatic speech recognition and speaker diarization using an "
    "end-to-end transformer model.[7.47]"
)

inputs = processor.apply_transcription_request(audio_url, transcription=transcription)
inputs.to(model.device, dtype=model.dtype)

loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()

Torch compile

Mô hình có thể được biên dịch để suy luận/đào tạo nhanh hơn. device_map="auto" bọc bước truyền thẳng với các hook của accelerate, gây ra việc biên dịch lại nhiều lần, vì vậy hãy tải mô hình trực tiếp lên một thiết bị duy nhất thay vì cách đó.

Trên B200, chúng tôi quan sát được tốc độ tăng ~2.1 lần với kích thước lô (batch size) là 4.

import time

import torch

from transformers import AutoProcessor, AutoModelForCausalLM


model_id = "itazap/MOSS-Transcribe-Diarize-HF"

num_warmup = 5
num_runs = 20

# Load processor + model
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

# Prepare static inputs
audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

# Benchmark without compile
print("Warming up without compile...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking without torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
no_compile_time = (time.time() - start) / num_runs
print(f"Average time without compile: {no_compile_time:.4f}s")

# Benchmark with compile
print("\nCompiling model...")
model = torch.compile(model)

print("Warming up with compile (includes graph capture)...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking with torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
compile_time = (time.time() - start) / num_runs
print(f"Average time with compile: {compile_time:.4f}s")

speedup = no_compile_time / compile_time
print(f"\nSpeedup: {speedup:.2f}x")

Đối với chuyển tự hồi quy, torch.compile tăng tốc các bước truyền tiến cho từng token bên trong generate bằng cách cung cấp một đối tượng CompileConfig thay vì biên dịch trực tiếp model.forward.

import torch
from transformers import AutoProcessor, AutoModelForCausalLM, CompileConfig

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
num_warmup = 3

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

compile_config = CompileConfig()

# Warmup
for _ in range(num_warmup):
    _ = model.generate(**inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config)

# Apply model
generated_ids = model.generate(
    **inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config
)
transcription = processor.decode(generated_ids[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

Transformers

MOSS-Transcribe-Diarize

Tổng quan

Cách sử dụng

Chuyển văn bản và phân tách người nói cơ bản

Prompt tùy chỉnh và từ khóa nóng

Sử dụng nâng cao với mẫu trò chuyện

Suy luận theo lô

Huấn luyện

Torch compile

MossTranscribeDiarizeConfig

lớp transformers.MossTranscribeDiarizeConfig

MossTranscribeDiarizeAudioConfig

lớp transformers.MossTranscribeDiarizeAudioConfig

MossTranscribeDiarizeAudioModel

lớp transformers.MossTranscribeDiarizeAudioModel

forward

MossTranscribeDiarizeFeatureExtractor

lớp transformers.MossTranscribeDiarizeFeatureExtractor

__call__

MossTranscribeDiarizeProcessor

lớp transformers.MossTranscribeDiarizeProcessor

__call__

apply_chat_template

apply_transcription_request

MossTranscribeDiarizeModel

lớp transformers.MossTranscribeDiarizeModel

forward

get_audio_features

MossTranscribeDiarizeForConditionalGeneration

lớp transformers.MossTranscribeDiarizeForConditionalGeneration

forward

get_audio_features

call

call