Accelerate documentation

Megatron-LM yardımcı programları

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Megatron-LM yardımcı programları

MegatronLMPlugin

sınıf accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

Parametreler

  • tp_degree (int, varsayılan None) — Tensor paralelliği derecesi.
  • pp_degree (int, varsayılan None) — Hattın paralelleştirme derecesi.
  • num_micro_batches (int, varsayılan None) — Mikro-toplu (micro-batch) sayısı.
  • gradient_clipping (float, varsayılan None) — Küresel L2 Normuna dayalı gradyan kırpma değeri (devre dışı bırakmak için 0).
  • sequence_parallelism (bool, varsayılan None) — Sıralama paralelliğini etkinleştirir.
  • recompute_activations (bool, varsayılan None) — Seçici aktivasyon yeniden hesaplamayı etkinleştirir.
  • use_distributed_optimizer (bool, varsayılan None) — Dağıtık optimizasyonu etkinleştirir.
  • pipeline_model_parallel_split_rank (int, varsayılan None) — Encoder ve decoder'ın ayrılacağı rank.
  • num_layers_per_virtual_pipeline_stage (int, varsayılan None) — Sanal boru hattı aşaması başına katman sayısı.
  • is_train_batch_min (str, varsayılan True) — Eğer hem train hem de eval dataloader'ları belirtilirse, bu parametre micro_batch_size'ı belirler.
  • train_iters (int, varsayılan None) — Tüm eğitim çalışmaları boyunca eğitilecek örneklerin toplam sayısı. MegatronLMDummyScheduler kullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın.
  • train_samples (int, varsayılan None) — Tüm eğitim çalışmaları boyunca eğitilecek örneklerin toplam sayısı. MegatronLMDummyScheduler kullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın.
  • weight_decay_incr_style (str, varsayılan 'constant') — Ağırlık çürümesi artış fonksiyonu. seçenekler=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, varsayılan None) — L2 düzenlemesi için başlangıç ağırlık çürümesi katsayısı.
  • end_weight_decay (float, varsayılan None) — L2 düzenlemesi için çalışmanın sonundaki ağırlık çürümesi katsayısı.
  • lr_decay_style (str, varsayılan 'linear') — Öğrenme hızı azaltma fonksiyonu. seçenekler=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, varsayılan None) — Öğrenme oranı azalması için iterasyon sayısı. None ise varsayılan olarak train_iters kullanılır.
  • lr_decay_samples (int, varsayılan None) — Öğrenme oranı azalması için örnek sayısı. None ise varsayılan olarak train_samples kullanılır.
  • lr_warmup_iters (int, varsayılan None) — Öğrenme hızının doğrusal olarak ısınması için kullanılan iterasyon sayısı.
  • lr_warmup_samples (int, varsayılan None) — Öğrenme hızının doğrusal olarak ısınması için kullanılacak örnek sayısı.
  • lr_warmup_fraction (float, varsayılan None) — Öğrenme hızının doğrusal olarak ısınma (warmup) uygulanacağı lr-warmup-(iterasyon/örnek) oranı.
  • min_lr (float, varsayılan 0) — Öğrenme hızı için minimum değer. Zamanlayıcı, bu eşiğin altındaki değerleri kırpıyor.
  • consumed_samples (List, varsayılan None) — accelerator.prepare çağrısına giden dataloader'larla aynı sıradaki tüketilen örnek sayısı.
  • no_wd_decay_cond (Optional, varsayılan None) — Ağırlık çürümesini devre dışı bırakmak için koşul.
  • scale_lr_cond (Optional, varsayılan None) — Öğrenme hızını ölçeklemek için koşul.
  • lr_mult (float, varsayılan 1.0) — Öğrenme hızı çarpanı.
  • megatron_dataset_flag (bool, varsayılan False) — Veri setinin biçiminin Megatron-LM Indexed/Cached/MemoryMapped biçimini izleyip izlemediğini belirtir.
  • seq_length (int, varsayılan None) — İşlenecek maksimum dizi uzunluğu.
  • encoder_seq_length (int, varsayılan None) — Kodlayıcı için işlenecek maksimum dizi uzunluğu.
  • decoder_seq_length (int, varsayılan None) — İşlenecek maksimum decoder dizisi uzunluğu.
  • tensorboard_dir (str, varsayılan None) — Tensorboard günlüklerinin kaydedileceği yol.
  • set_all_logging_options (bool, varsayılan False) — Tüm günlük kaydı seçeneklerinin ayarlanıp ayarlanmayacağı.
  • eval_iters (int, varsayılan 100) — Değerlendirme için doğrulama/testte çalıştırılacak yineleme sayısı.
  • eval_interval (int, varsayılan 1000) — Doğrulama kümesinde değerlendirme çalıştırma aralığı.
  • return_logits (bool, varsayılan False) — Modelden logitlerin döndürülüp döndürülmeyeceği.
  • custom_train_step_class (Optional, varsayılan None) — Özel eğitim adımı sınıfı.
  • custom_train_step_kwargs (Optional, varsayılan None) — Özel eğitim adım kwargs'ları.
  • custom_model_provider_function (Optional, varsayılan None) — Özel model sağlayıcı işlevi.
  • custom_prepare_model_function (Optional, varsayılan None) — Özel model hazırlama işlevi.
  • custom_megatron_datasets_provider_function (Optional, varsayılan None) — Özel megatron train_valid_test veri setleri sağlayıcı işlevi.
  • custom_get_batch_function (Optional, varsayılan None) — Özel get batch işlevi.
  • custom_loss_function (Optional, varsayılan None) — Özel kayıp fonksiyonu.
  • other_megatron_args (Optional, varsayılan None) — Diğer Megatron-LM argümanları. Lütfen Megatron-LM'e başvurun.

Tensor, pipeline, sequence ve veri paralelliğini etkinleştirmek için Megatron-LM eklentisi. Ayrıca seçici aktivasyon yeniden hesaplama ve optimize edilmiş füzyonlu çekirdekleri etkinleştirmek için.

MegatronLMDummyScheduler

sınıf accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

Parametreler

  • optimizer (torch.optim.optimizer.Optimizer) — Sarmalanacak optimizasyon algoritması.
  • total_num_steps (int) — Toplam adım sayısı.
  • warmup_num_steps (int) — Isınma için adım sayısı.
  • **kwargs (ek anahtar kelime argümanları, isteğe bağlı) — Diğer argümanlar.

Dummy scheduler, model parametrelerini veya parametre gruplarını sunar; bu, derin hızlandırma (deepspeed) yapılandırma dosyasında zamanlayıcı yapılandırması belirtildiğinde geleneksel eğitim döngüsünü izlemek için kullanılır.

MegatronLMDummyDataLoader

sınıf accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

Parametreler

  • **dataset_kwargs — Megatron veri argümanları.

Dummy dataloader model parametrelerini veya parametre gruplarını sunar; bu, esas olarak geleneksel eğitimi takip etmek için kullanılır.

AbstractTrainStep

sınıf accelerate.utils.AbstractTrainStep

< >

( name )

Toplu işlem, ileri geçiş ve kayıp işleyicisi için soyut sınıf.

GPTTrainStep

sınıf accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

Parametreler

  • args (argparse.Namespace) — Megatron-LM argümanları.

GPT eğitim adımı sınıfı.

BertTrainStep

sınıf accelerate.utils.BertTrainStep

< >

( acceleratorargs )

Parametreler

  • args (argparse.Namespace) — Megatron-LM argümanları.

Bert eğitim adımı sınıfı.

T5TrainStep

sınıf accelerate.utils.T5TrainStep

< >

( acceleratorargs )

Parametreler

  • args (argparse.Namespace) — Megatron-LM argümanları.

T5 eğitim adım sınıfı.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

Parametreler

  • losses (List[Tensor]) — Veri paralel grubu boyunca ortalama alınacak kayıpların listesi.

Veri paralel grubu boyunca ortalama kayıplar.

Update on GitHub