Transformers documentation
Higgs Audio V2 Tokenizer
Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-02-19.
Higgs Audio V2 Tokenizer
Tổng quan
- Tần số khung hình thấp: Ở mức 25 fps, bộ phân từ của chúng tôi giảm một nửa tần số khung hình so với nhiều phương pháp cơ sở trong khi vẫn duy trì chất lượng âm thanh cao.
- Đào tạo thống nhất ở 24 kHz: Chúng tôi trộn các đoạn ghi âm giọng nói, nhạc và sự kiện âm thanh trong một mô hình duy nhất, nắm bắt cả chi tiết ngữ nghĩa lẫn chi tiết âm học, hỗ trợ rất lớn cho việc đào tạo các mô hình ngôn ngữ âm thanh.
- Suy luận nhanh: Bằng cách tránh các bước khuếch tán, bộ mã hóa/giải mã của chúng tôi xử lý các lô dữ liệu nhanh chóng, giúp việc áp dụng cho các tác vụ thời gian thực hoặc quy mô lớn trở nên khả thi.
Kiến trúc mô hình:
Cách sử dụng
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel
# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")
# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)
# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values
# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_valuesHiggsAudioV2TokenizerConfig
lớp transformers.HiggsAudioV2TokenizerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )
Tham số
- target_bandwidths (
List[float], tùy chọn, mặc định là[0.5, 1, 1.5, 2]) — Khoảng các băng thông khác nhau (đơn vị kbps) mà mô hình có thể dùng để mã hóa âm thanh. - sample_rate (
int, tùy chọn, mặc định là24000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa. - kernel_size (
int, tùy chọn, mặc định là 3) — Kích thước kernel cho phép tích chập ngữ nghĩa ban đầu. - channel_ratios (
List[float], tùy chọn, mặc định là[1, 1]) — Hệ số mở rộng cho số lượng kênh đầu ra trong mỗi khối ngữ nghĩa. - strides (
List[int], tùy chọn, mặc định là[1, 1]) — Strides cho mỗi khối semantic encoder. - block_dilations (
List[int], tùy chọn, mặc định là[1, 1]) — Hệ số giãn nở cho các đơn vị dư trong các khối ngữ nghĩa. - unit_kernel_size (
int, tùy chọn, mặc định là 3) — Kích thước kernel bên trong mỗi ResidualUnit trong các khối ngữ nghĩa. - codebook_size (
int, tùy chọn, mặc định là1024) — Số lượng codebook song song được mô hình sử dụng. - codebook_dim (
int, tùy chọn, mặc định là64) — Kích thước của mỗi vector nhúng trong codebook. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - acoustic_model_config (
Union[Dict, AutoConfig], tùy chọn) — Một instance của cấu hình cho mô hình acoustic (DAC). - semantic_model_config (
Union[Dict, AutoConfig], tùy chọn) — Một instance của đối tượng cấu hình cho mô hình semantic (HuBERT). - semantic_sample_rate (
int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu mà mô hình ngữ nghĩa mong đợi cho đầu vào âm thanh, tính bằng hertz (Hz). - downsample_factor (
int, tùy chọn, mặc định là 320) — Hệ số hạ mẫu cho các đặc trưng ngữ nghĩa.
Đây là lớp cấu hình để lưu trữ cấu hình của một HiggsAudioV2TokenizerModel. Nó được sử dụng để khởi tạo một mô hình Higgs Audio V2 Tokenizer theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của bosonai/higgs-audio-v2-tokenizer
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig
>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configHiggsAudioV2TokenizerModel
lớp transformers.HiggsAudioV2TokenizerModel
< source >( config: HiggsAudioV2TokenizerConfig )
Tham số
- config (HiggsAudioV2TokenizerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Mô hình mã hóa âm thanh neural HiggsAudioV2Tokenizer.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
decode
< source >( audio_codes: Tensorreturn_dict: bool | None = None )
Tham số
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, num_quantizers, codes_length)) — Chỉ số mã rời rạc được tính toán bằngmodel.encode. - return_dict (
bool, tùy chọn) — Có trả về một ModelOutput hay không
encode
< source >( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, channels, num_samples)) — Các giá trị float của dạng sóng âm thanh đầu vào. - bandwidth (
float, tùy chọn) — Băng thông mục tiêu (kbps) chỉ hỗ trợ các giá trị trongconfig.target_bandwidths. Mặc định là băng thông cao nhất khả dụng4.0kbps. - return_dict (
bool, tùy chọn) — Có trả về một ModelOutput hay không.
forward
< source >( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, channels, num_samples)) — Các giá trị float thô của dạng sóng âm thanh đầu vào. - audio_codes (
torch.LongTensorcó hình dạng(batch_size, num_quantizers, codes_length)— Chỉ số mã rời rạc được tính toán bằngmodel.encode. - bandwidth (
float, tùy chọn) — Băng thông mục tiêu tính bằng kbps. Phải là một trong các giá trị củaconfig.target_bandwidths. Mặc định là băng thông cao nhất có sẵn. - bandwidth (
float, tùy chọn) — Băng thông mục tiêu tính bằng kbps. Phải là một trong các giá trị củaconfig.target_bandwidths. Mặc định là băng thông cao nhất có sẵn.
Trả về
HiggsAudioV2TokenizerOutput hoặc tuple (audio_codes, audio_values)
audio_codescó hình dạng(batch_size, num_quantizers, codes_length): các mã rời rạc đã lượng tử hóa.audio_valuescó hình dạng(batch_size, channels, num_samples): dạng sóng âm thanh được tái tạo từ các mã.
Phương thức forward của HiggsAudioV2TokenizerModel ghi đè phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
Ví dụ:
>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel
>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']
>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")
>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values