Hugging Face's logo

Transformers documentation

Gradium Phonon TTS

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2026-10-20 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Gradium Phonon TTS

Genel Bakış

Gradium Phonon TTS, Gradium’ın cihaz üzerinde çalışan metinden sese model ailesidir ve Pocket TTS tarifesiyle eğitilmiştir: bir nedensel transformer, ses örneğini ve metni okuduktan sonra, tek adımlı bir akış başlığı aracılığıyla her adımda 12,5 Hz hızında 32 boyutlu tek bir sürekli ses latent’i üretir ve konuşma sonu başlığı, ifadenin ne zaman bittiğine karar verir. Latent’ler, işlemci tarafından tutulan Pocket TTS ses tokenleştiricisi ile 24 kHz ses olarak çözümlenir; bu işlemci, Pocket TTS’nin PocketTTSProcessor bileşenidir.

Pocket TTS'den ses koşullandırma yöntemiyle ayrılır: ses istemi, ayrı bir konuşmacı codec'ine ait 512 boyutlu latentlerden oluşur ve öğrenilmiş bir konuşmacı vektörü, her ses latent konumuna eklenir. Konuşmacı codec'i yayınlanmadığından, sesler önceden hesaplanmış latentler olarak gelir (her checkpoint'in default-voice.safetensors dosyası ve gradium/phonon-voices kataloğu) ve ses tokenleştiricisi yalnızca bir çözücü olarak çalışır: sesler bir kayıttan klonlanamaz.

Kontrol NoktasıParametrelerDillerLisans
gradium/phonon-31m-en31MİngilizceApache 2.0
gradium/phonon-40m-en40MİngilizceCC BY-NC 4.0
gradium/phonon-40m-fr40MFransızcaCC BY-NC 4.0
gradium/phonon-40m-de40MAlmancaCC BY-NC 4.0
gradium/phonon-40m-es40MİspanyolcaCC BY-NC 4.0
gradium/phonon-40m-pt40MPortekizceCC BY-NC 4.0
gradium/phonon-40m-multilingual40Mİngilizce, Fransızca, Almanca, İspanyolca, PortekizceCC BY-NC 4.0

Hepsi aynı şekilde yüklenir: kontrol noktalarını değiştirmek, depo kimliğini değiştirmek anlamına gelir.

Bu model Eustache Le Bihan tarafından katkıda bulunmuştur. Orijinal kod gradium-ai/xn-ptts.

Kullanım ipuçları

  • Girdileri apply_chat_template() ile hazırlayın: her metin için bir user mesajı, sesin yer alacağı boş bir {"type": "audio"} öğesi, processor_kwargs={"audio_prompt_latents": [...]} içindeki ses latentleri ve add_generation_prompt=True.
  • Tokenizör, sayıları, miktarları, sembolleri veya adresleri açıkça yazmaz; bkz. Metin normalizasyonu.
  • generate, audio_latents ve audio_latents_mask değerlerini döndürür; bunları PocketTTSProcessor.decode() ile çözümlersiniz.
  • Gradium çalışma zamanının yaptığı gibi üretim örnekleri: temperature 0.3 (akışın başlangıç gürültüsünün varyansı) ve konuşma sonu logiti eos_threshold değerini aştıktan kısa bir süre sonra durur. do_sample=False, akışı sıfır gürültüden başlatır.
  • Model, ağırlıklarının saklandığı bf16 dtype'inde yüklenir; Gradium'ın oradaki çalışma zamanıyla uyumlu olması için CPU'da dtype=torch.float32 parametresini iletin.
  • Uzun metni PocketTTSProcessor.split_text() ile bölün, her parça bir konuşma içersin.

Kullanım

Ses

Bir ses, (num_frames, 512) boyutunda bir latent tensörüdür. Her checkpoint bir ses içerir (default-voice.safetensors) ve gradium/phonon-voices deposunda her dilde yaklaşık yüz ses daha bulunur; her ses kendi ses kimliği altında yer alır (voices.jsonl dosyası adlarını, dillerini ve açıklamalarını listeler). Herhangi bir ses, herhangi bir checkpoint ile kullanılabilir.

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")


def load_voice(voice_id):
    """A voice of gradium/phonon-voices, as latents of shape (num_frames, 512)."""
    path = hf_hub_download("gradium/phonon-voices", f"voices/{voice_id}.safetensors")
    return load_file(path)["speaker_wavs"][0].T.float()


# Easton (en-us); the checkpoint's own voice: hf_hub_download(model_id, "default-voice.safetensors")
voice = load_voice("LMDIYE0Oa377Qh6Z")
# an empty `audio` item marks the voice
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")

Partiler ve uzun metin

Uzun metinleri parçalara ayırarak, her biri kendi sesiyle birden fazla metni toplu olarak işleyin:

text = (
    "Phonon is a small text-to-speech model that runs on your device. "
    "Long texts are split into sentences, and each chunk is one conversation of the batch."
)
chunks = processor.split_text(text)
texts = chunks + ["And this one is said by another voice."]
voices = [load_voice("LMDIYE0Oa377Qh6Z")] * len(chunks) + [load_voice("NbpkqMVS3CJeq2j8")]
conversations = [
    [{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": text}]}] for text in texts
]
inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": voices},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio([torch.cat(audio[: len(chunks)]), audio[-1]], ["long.wav", "other.wav"])

Metin normalizasyonu

Gradium çalışma zamanı gibi, tokenizer dil bağımlılığı olmayan unsurları normalize eder:

MetinTokenizer
“Hello” — it’s here…"Hello" it's here.
hello (world); see you 🚀Hello, world, see you.

Sayıları, miktarları, sembolleri veya adresleri dile bağlı olarak açıkça yazmaz:

MetinTokenizerGradium çalışma zamanı
It costs $1,234.56.It costs $1,234.56.It costs 1 thousand 234 dollars and 56 cents.
Write to jean@gradium.aiWrite to jean@gradium.ai.Write to jean at gradium dot A-I.
It is 21°CIt is 21°C.It is 21 degrees Celsius.

Bunlar için Gradium çalışma zamanının metin normalizasyonunu, ptts'yi kullanın veya onları açıkça yazın.

GradiumPhononTTSConfig

sınıf transformers.GradiumPhononTTSConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneflow_head_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevocab_size: int = 4001hidden_size: int = 768num_hidden_layers: int = 6num_attention_heads: int = 12num_key_value_heads: int | None = Nonehead_dim: int | None = Noneintermediate_size: int = 3072hidden_act: str = 'gelu'layer_norm_eps: float = 1e-05attention_bias: bool = Falseattention_dropout: float = 0.0max_position_embeddings: int = 8192rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonelatent_dim: int = 32pad_token_id: int = 3bos_token_id: int | None = Noneeos_token_id: int | None = Noneaudio_prompt_token_id: int = 5audio_latent_token_id: int = 6audio_bos_token_id: int = 4frame_rate: float = 12.5initializer_range: float = 0.02use_cache: bool = Trueeos_loss_weight: float = 0.1flow_loss_num_samples: int = 4lsd_distill_probability: float = 0.25lsd_diagonal_weight: float = 0.75lsd_time_logit_mean: float = 0.4lsd_time_logit_std: float = 1.0latent_stats_ema_steps: int = 1000latent_stats_ema_decay: float = 0.999audio_prompt_dim: int = 512num_speakers: int = 1num_speakers_vocab_size: int = 32num_speakers_embedding_dim: int = 16duration_delta: float = 0.0duration_delta_embedding_dim: int = 128duration_delta_scale: float = 1000.0duration_delta_max_period: float = 10000.0 )

Parametreler

  • flow_head_config (Union[GradiumPhononTTSFlowHeadConfig, dict], isteğe bağlı) — Her latent'i backbone gizli durumundan örnekleyen flow head'in yapılandırması.
  • vocab_size (int, isteğe bağlı, varsayılan 4001) — Modelin sözlük boyutu. input_ids ile temsil edilebilecek farklı token sayısını belirler.
  • hidden_size (int, isteğe bağlı, varsayılan 768) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 6) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 12) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • num_key_value_heads (int, isteğe bağlı) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır. num_key_value_heads=num_attention_heads ise model Multi Head Attention (MHA) kullanır, num_key_value_heads=1 ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olarak num_attention_heads kullanılır.
  • head_dim (int, isteğe bağlı) — Dikkat başı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.
  • intermediate_size (int, isteğe bağlı, varsayılan 3072) — MLP temsillerinin boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Omurganın katman normalizasyonlarının epsilon değeri.
  • attention_bias (bool, isteğe bağlı, varsayılan False) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı.
  • attention_dropout (float, isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • max_position_embeddings (int, isteğe bağlı, varsayılan 8192) — Bu modelin kullanılabileceği en uzun dizi uzunluğu.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, rope_theta için bir değer ve daha uzun max_position_embeddings ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir.
  • latent_dim (int, isteğe bağlı, varsayılan 32) — Gövdenin girdi olarak aldığı ses latentlerinin boyutu (audio_latents); akış başlığının ve ses tokenlaştırıcısının latent_dim değeriyle eşittir.
  • pad_token_id (int, isteğe bağlı, varsayılan 3) — Sözlükte dolgu için kullanılan token kimliği.
  • bos_token_id (int, isteğe bağlı) — Sözlükte akış başlangıcı için kullanılan token kimliği.
  • eos_token_id (int, isteğe bağlı) — Sözlükte akış sonu için kullanılan token kimliği.
  • audio_prompt_token_id (int, isteğe bağlı, varsayılan 5) — input_ids içindeki sesli istek karelerinin yer tutucu token kimliği (<|audio_prompt|>).
  • audio_latent_token_id (int, isteğe bağlı, varsayılan 6) — input_ids içindeki ses latent konumlarının yer tutucu token kimliği (<|audio_latent|>).
  • audio_bos_token_id (int, isteğe bağlı, varsayılan 4) — İlk ses konumunun token kimliği, istemi kapatır: öğrenilen BOS latentini barındırır ve ilk kare bundan üretilir (<|audio_bos|>).
  • frame_rate (float, isteğe bağlı, varsayılan 12.5) — Saniye başına ses latent sayısı: generate, varsayılan çerçeve bütçesini buradan türetir.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • use_cache (bool, isteğe bağlı, varsayılan True) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızca config.is_decoder=True olduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir.
  • eos_loss_weight (float, isteğe bağlı, varsayılan 0.1) — Eğitim kaybında konuşma sonu (end-of-speech) kaybının ağırlığı.
  • flow_loss_num_samples (int, isteğe bağlı, varsayılan 4) — Akış kaybında hedef kare başına gürültü örneklem sayısı.
  • lsd_distill_probability (float, isteğe bağlı, varsayılan 0.25) — LSD kaybının öz-distilasyon teriminin hesaplanma olasılığı (beklenen kaybı korumak için yeniden ağırlıklandırılmış); 1 değeri her adımda hesaplanmasını sağlar.
  • lsd_diagonal_weight (float, opsiyonel, varsayılan 0.75) — LSD kaybının çapraz (anlık akış) teriminin ağırlığı; kendinden damıtma terimi kalan kısmı tartar.
  • lsd_time_logit_mean (float, isteğe bağlı, varsayılan 0.4) — LSD kaybının çektiği akış sürelerinin logit-normal dağılımının ortalaması.
  • lsd_time_logit_std (float, isteğe bağlı, varsayılan 1.0) — LSD kaybının çektiği akış sürelerinin logit-normal dağılımının standart sapması.
  • latent_stats_ema_steps (int, isteğe bağlı, varsayılan 1000) — Hedef latentlerin üstel hareketli ortalamasını takip eden latent_mean ve latent_std için ilk eğitim adımlarının sayısı; 0 değeri bunları dondurur.
  • latent_stats_ema_decay (float, isteğe bağlı, varsayılan 0.999) — Bu hareketli ortalamanın sönümleme katsayısı.
  • audio_prompt_dim (int, isteğe bağlı, varsayılan 512) — Ses istemci gizli değişkenlerinin (audio_prompt_latents) boyutu; bu, Gradium’ın konuşmacı codec’ine (ses tokenizer’ına değil, Mimi kodlayıcısına) ait kuantize edilmemiş gizli değişkenlerdir ve omurga tarafından hidden_size boyutuna yansıtılır.
  • num_speakers (int, isteğe bağlı, varsayılan 1) — num_speakers koşulunun değeri: her ses latent konumuna eklenen arama tablosu satırı.
  • num_speakers_vocab_size (int, isteğe bağlı, varsayılan 32) — num_speakers arama tablosunun satır sayısı.
  • num_speakers_embedding_dim (int, isteğe bağlı, varsayılan 16) — num_speakers arama tablosunun genişliği, hidden_size boyutuna yansıtılır.
  • duration_delta (float, isteğe bağlı, varsayılan 0.0) — duration_delta koşulunun değeri; sinüs olarak gömülür ve her ses latent konumuna eklenir.
  • duration_delta_embedding_dim (int, isteğe bağlı, varsayılan 128) — duration_delta'nın sinüzoidal gömme boyutu, hidden_size'e yansıtılır.
  • duration_delta_scale (float, isteğe bağlı, varsayılan 1000.0) — Sinüsoidal gömme işleminden önce duration_delta'ya uygulanan çarpan.
  • duration_delta_max_period (float, isteğe bağlı, varsayılan 10000.0) — duration_delta'nın sinüzoidal gömümünün maksimum periyodu.

Bu, bir GradiumPhononTTSModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Gradium Phonon Tts modelinin örneklenmesinde, model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, gradium/phonon-31m-en modelinin yapılandırmasına benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

GradiumPhononTTSFlowHeadConfig

sınıf transformers.GradiumPhononTTSFlowHeadConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 512num_hidden_layers: int = 6latent_dim: int = 32condition_dim: int = 768frequency_embedding_size: int = 256hidden_act: str = 'silu'layer_norm_eps: float = 1e-06rms_norm_eps: float = 1e-05max_period: float = 10000.0flow_type: typing.Literal['lsd', 'drifting'] = 'lsd'loss_weighting_hidden_size: int = 32loss_weighting_num_layers: int = 3 )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 512) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 6) — Transformer çözücüdeki gizli katman sayısı.
  • latent_dim (int, isteğe bağlı, varsayılan 32) — Başın tahmin ettiği sürekli ses latentlerinin boyutu (ses tokenizer'ının latent boyutu).
  • condition_dim (int, isteğe bağlı, varsayılan 768) — Başlığın koşullandığı omurga gizli durumunun boyutu (omurga hidden_size).
  • frequency_embedding_size (int, isteğe bağlı, varsayılan 256) — Akış zamanlarının sinüzoidal gömme boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan silu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-06) — Artık blokların içindeki ve son katmandaki katman normalizasyonlarının epsilon değeri.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Zaman gömmelemelerini kapatan normalizasyonun epsilon değeri.
  • max_period (float, isteğe bağlı, varsayılan 10000.0) — Kontrol noktasının freqs olarak sakladığı sinüzoidal zaman gömme (embedding) için maksimum periyot.
  • flow_type (str, isteğe bağlı, varsayılan "lsd") — Başlığın eğitildiği hedef, bu başlığın nasıl koşullandırıldığını ve örneklemesinin nasıl yapıldığını belirler. "lsd" (Lagrangian self-distillation): bir akış adımının başlangıç ve bitiş zamanlarına koşullandırılır, Gauss gürültüsünden Euler adımlarıyla örneklenir. "drifting": zaman koşullandırması yoktur, başlık gürültüyü tek çağrıda latent'e eşler.
  • loss_weighting_hidden_size (int, isteğe bağlı, varsayılan 32) — LSD kayıp terimlerinin belirsizlik ağırlıklarını akış zamanlarından öğrenen MLP'nin genişliği (yalnızca eğitim).
  • loss_weighting_num_layers (int, isteğe bağlı, varsayılan 3) — Söz konusu MLP'nin gizli katman sayısı.

Bu, bir GradiumPhononTTSModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Gradium Phonon Tts modelinin örneklenmesinde, model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, gradium/phonon-31m-en modelinin yapılandırmasına benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

GradiumPhononTTSModel

sınıf transformers.GradiumPhononTTSModel

< >

( config: GradiumPhononTTSConfig )

Parametreler

  • config (GradiumPhononTTSConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Gradium Phonon TTS omurgası: ses istemi (konuşmacı-kodlayıcı gizli değişkenleri), metin belirteçleri ve ses gizli değişkenlerinden oluşan tek bir akış üzerinde çalışan nedensel bir transformer; normalize edilmiş gizli durumları döndürür.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Noneaudio_latents_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • audio_prompt_latents (torch.Tensor, şekli (batch_size, num_prompt_frames, latent_dim), isteğe bağlı) — Ses işleyicisi tarafından kodlanmış (veya bir kontrol noktasının voices/ dizininden alınmış) ses istemcisi latentleri, batch içindeki en uzun sese göre sağa doldurulmuş ve audio_prompt_token_id konumlarına dağıtılmıştır.
  • audio_prompt_latents_mask (torch.Tensor, şekli (batch_size, num_prompt_frames), isteğe bağlı) — audio_prompt_latents içinde ses karelerinin (1) dolgu (0) ile karşılaştırıldığında maskesi.
  • audio_latents (torch.Tensor, şekli (batch_size, num_latents, latent_dim), isteğe bağlı) — audio_latent_token_id konumlarına dağıtılmış, normalize edilmiş ses latentleri. Bunlardan önceki, istemi (prompt) kapatan ve ilk kareyi üreten audio_bos_token_id konumu, her zaman öğrenilmiş BOS latentini alır.
  • audio_latents_mask (torch.Tensor, şekli (batch_size, num_latents), opsiyonel) — Satırlar farklı sayıda latent konumu içerdiğinde (eğitim), audio_latents içindeki her satırın latentlerinin (1) dolgu (0) ile karşılaştırıldığında maskesi.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • position_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

  • past_key_values (~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlemeyi hızlandırmak için kullanılabilen önceden hesaplanmış gizli durumlar (self-attention ve cross-attention bloklarındaki anahtar ve değerler). Bu genellikle past_key_values değerinin, çözümlemenin önceki bir aşamasında model tarafından döndürülen use_cache=True veya config.use_cache=True.

    Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. past_key_values geçirilmezse, varsayılan olarak DynamicCache başlatılır.

    Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.

    past_key_values kullanılıyorsa, kullanıcının tüm input_ids (şekli (batch_size, sequence_length)) yerine, bu modele geçmiş anahtar değer durumları verilmemiş olan, işlenmemiş input_ids (şekli (batch_size, unprocessed_length)) girmesi beklenir.

  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, input_ids yerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu, input_ids dizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.
  • use_cache (bool, isteğe bağlı) — True olarak ayarlanırsa, past_key_values anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. past_key_values).

Dönüş değeri

BaseModelOutputWithPast veya tuple(torch.Tensor)

Bir BaseModelOutputWithPast veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (GradiumPhononTTSConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

GradiumPhononTTSModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

    past_key_values kullanılırsa, yalnızca (batch_size, 1, hidden_size) biçimindeki dizilerin son gizli durumu (hidden-state) çıktı olarak verilir.

  • past_key_values (Cache, isteğe bağlı, use_cache=True geçirildiğinde veya config.use_cache=True olduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın.

    Sıralı çözümlemeyi hızlandırmak için (bkz. past_key_values girdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler ve isteğe bağlı olarak config.is_encoder_decoder=True ise cross-attention bloklarındaki anahtar ve değerler) içerir.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

GradiumPhononTTSForConditionalGeneration

sınıf transformers.GradiumPhononTTSForConditionalGeneration

< >

( config: GradiumPhononTTSConfig )

Parametreler

  • config (GradiumPhononTTSConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Gradium Phonon TTS metinden konuşma modeli: omurga, her adımda bir ses latent örnekleme yapan akış başlığı ve konuşma sonu başlığı. Ses tokenizer latentleri üretir; işlemci bunları 24 kHz ses olarak çözer.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Nonelabels_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → GradiumPhononTTSOutputWithPast or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • audio_prompt_latents (torch.Tensor, şekli (batch_size, num_prompt_frames, latent_dim), isteğe bağlı) — Ses belirteçleyicisinin (audio tokenizer) ses komutu latentleri, sağa doldurulmuş (right-padded) ve audio_prompt_token_id konumlarına dağıtılmış.
  • audio_prompt_latents_mask (torch.Tensor, şekli (batch_size, num_prompt_frames), isteğe bağlı) — audio_prompt_latents içinde ses karelerinin (1) dolgu (0) ile karşılaştırıldığında maskesi.
  • audio_latents (torch.Tensor, şekli (batch_size, num_latents, latent_dim), isteğe bağlı) — audio_latent_token_id konumlarına dağıtılmış, normalize edilmiş ses latentleri.
  • labels (torch.Tensor, şekli (batch_size, num_frames, latent_dim), isteğe bağlı) — Ses tokenizörünün hedef latentleri (eğitim), sağa doldurulmuş. Her satırın istemi, audio_bos_token_id konumuyla biter ve ardından her kare için bir audio_latent_token_id konumu gelir: model, normalize edilmiş hedefleri (öğretmen zorlaması) besler, BOS ve son kare hariç tüm karelerin çıktılarına akış kaybını (kareleri tahmin edenler) ve hepsine konuşma sonu kaybını uygular; son kare konuşmanın sonudur.
  • labels_mask (torch.Tensor, şekli (batch_size, num_frames), isteğe bağlı) — labels içindeki her satırın hedef karelerini (1) dolgu (0) ile karşılaştıran maskesi.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • position_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

  • past_key_values (~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlemeyi hızlandırmak için kullanılabilen önceden hesaplanmış gizli durumlar (self-attention ve cross-attention bloklarındaki anahtar ve değerler). Bu genellikle past_key_values değerinin, çözümlemenin önceki bir aşamasında model tarafından döndürülen use_cache=True veya config.use_cache=True.

    Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. past_key_values geçirilmezse, varsayılan olarak DynamicCache başlatılır.

    Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.

    past_key_values kullanılıyorsa, kullanıcının tüm input_ids (şekli (batch_size, sequence_length)) yerine, bu modele geçmiş anahtar değer durumları verilmemiş olan, işlenmemiş input_ids (şekli (batch_size, unprocessed_length)) girmesi beklenir.

  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, input_ids yerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu, input_ids dizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.
  • use_cache (bool, isteğe bağlı) — True olarak ayarlanırsa, past_key_values anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. past_key_values).

Dönüş değeri

GradiumPhononTTSOutputWithPast veya tuple(torch.Tensor)

GradiumPhononTTSOutputWithPast veya torch.Tensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (GradiumPhononTTSConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

GradiumPhononTTSForConditionalGeneration forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (), isteğe bağlı, labels geçirildiğinde döndürülür) — Eğitim kaybı: hedef latentlerin LSD akış kaybı, config.eos_loss_weight ile konuşma sonu kaybının çarpımı.

  • logits (torch.Tensor, şekli (batch_size, sequence_length, 1)) — Konuşma sonu logitsleri, her konum için bir adet.

  • past_key_values (Cache, isteğe bağlı, use_cache=True geçirildiğinde veya config.use_cache=True olduğunda döndürülür) — Bir Cache örneğidir. Daha fazla ayrıntı için kv cache kılavuzumuza bakın.

    Sıralı çözümlemeyi hızlandırmak için (bkz. past_key_values girdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki anahtar ve değerler) içerir.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

  • last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size)) — Akış başlığını koşullandıran, omurganın normalize edilmiş gizli durumları.

Örnek:

>>> from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

>>> model = GradiumPhononTTSForConditionalGeneration.from_pretrained("gradium/phonon-31m-en")

>>> processor = AutoProcessor.from_pretrained("gradium/phonon-31m-en")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")

>>> # generate speech
>>> speech = model(inputs["input_ids"])

generate

< >

( inputs: typing.Optional[torch.Tensor] = None**kwargs )

Parametreler

  • inputs (torch.LongTensor, şekli (batch_size, sequence_length), isteğe bağlı) — PocketTTSProcessor tarafından hazırlanan input_ids. input_ids= olarak da geçirilebilir.
  • kwargs (dict[str, Any], isteğe bağlı) — attention_mask, ses istemi (audio_prompt_latents ve audio_prompt_latents_mask veya yalnızca metin istemleriyle birlikte gelen sesler için ses önekinin past_key_values önbelleği), işleyiciden gelen frames_after_eos, üretim parametreleri (do_sample, temperature, max_new_tokens, …) ve Pocket TTS'e özgü num_flow_steps, eos_threshold ile min_frames_before_eos; bunların varsayılanları üretim yapılandırmasından alınır.

Ses üretir. Bu yöntem, generate() yöntemini geçersiz kılar ve max_new_tokens değerini, parti içindeki en uzun metin için orijinal çalışma zamanının kare bütçesine, yani ceil((num_text_tokens / 3 + 2) * frame_rate) değerine varsayılan olarak ayarlar. Diğer her şey normal üretim kancaları üzerinden işlenir.

Update on GitHub

←GLM-ASR GraniteSpeech→