Accelerate documentation
Megatron-LM yardımcı programları
Megatron-LM yardımcı programları
MegatronLMPlugin
sınıf accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
Parametreler
- tp_degree (
int, varsayılanNone) — Tensor paralelliği derecesi. - pp_degree (
int, varsayılanNone) — Hattın paralelleştirme derecesi. - num_micro_batches (
int, varsayılanNone) — Mikro-toplu (micro-batch) sayısı. - gradient_clipping (
float, varsayılanNone) — Küresel L2 Normuna dayalı gradyan kırpma değeri (devre dışı bırakmak için 0). - sequence_parallelism (
bool, varsayılanNone) — Sıralama paralelliğini etkinleştirir. - recompute_activations (
bool, varsayılanNone) — Seçici aktivasyon yeniden hesaplamayı etkinleştirir. - use_distributed_optimizer (
bool, varsayılanNone) — Dağıtık optimizasyonu etkinleştirir. - pipeline_model_parallel_split_rank (
int, varsayılanNone) — Encoder ve decoder'ın ayrılacağı rank. - num_layers_per_virtual_pipeline_stage (
int, varsayılanNone) — Sanal boru hattı aşaması başına katman sayısı. - is_train_batch_min (
str, varsayılanTrue) — Eğer hem train hem de eval dataloader'ları belirtilirse, bu parametremicro_batch_size'ı belirler. - train_iters (
int, varsayılanNone) — Tüm eğitim çalışmaları boyunca eğitilecek örneklerin toplam sayısı.MegatronLMDummySchedulerkullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın. - train_samples (
int, varsayılanNone) — Tüm eğitim çalışmaları boyunca eğitilecek örneklerin toplam sayısı.MegatronLMDummySchedulerkullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın. - weight_decay_incr_style (
str, varsayılan'constant') — Ağırlık çürümesi artış fonksiyonu. seçenekler=[“constant”, “linear”, “cosine”]. - start_weight_decay (
float, varsayılanNone) — L2 düzenlemesi için başlangıç ağırlık çürümesi katsayısı. - end_weight_decay (
float, varsayılanNone) — L2 düzenlemesi için çalışmanın sonundaki ağırlık çürümesi katsayısı. - lr_decay_style (
str, varsayılan'linear') — Öğrenme hızı azaltma fonksiyonu. seçenekler=[‘constant’, ‘linear’, ‘cosine’]. - lr_decay_iters (
int, varsayılanNone) — Öğrenme oranı azalması için iterasyon sayısı. None ise varsayılan olaraktrain_iterskullanılır. - lr_decay_samples (
int, varsayılanNone) — Öğrenme oranı azalması için örnek sayısı. None ise varsayılan olaraktrain_sampleskullanılır. - lr_warmup_iters (
int, varsayılanNone) — Öğrenme hızının doğrusal olarak ısınması için kullanılan iterasyon sayısı. - lr_warmup_samples (
int, varsayılanNone) — Öğrenme hızının doğrusal olarak ısınması için kullanılacak örnek sayısı. - lr_warmup_fraction (
float, varsayılanNone) — Öğrenme hızının doğrusal olarak ısınma (warmup) uygulanacağı lr-warmup-(iterasyon/örnek) oranı. - min_lr (
float, varsayılan0) — Öğrenme hızı için minimum değer. Zamanlayıcı, bu eşiğin altındaki değerleri kırpıyor. - consumed_samples (
List, varsayılanNone) —accelerator.prepareçağrısına giden dataloader'larla aynı sıradaki tüketilen örnek sayısı. - no_wd_decay_cond (
Optional, varsayılanNone) — Ağırlık çürümesini devre dışı bırakmak için koşul. - scale_lr_cond (
Optional, varsayılanNone) — Öğrenme hızını ölçeklemek için koşul. - lr_mult (
float, varsayılan1.0) — Öğrenme hızı çarpanı. - megatron_dataset_flag (
bool, varsayılanFalse) — Veri setinin biçiminin Megatron-LM Indexed/Cached/MemoryMapped biçimini izleyip izlemediğini belirtir. - seq_length (
int, varsayılanNone) — İşlenecek maksimum dizi uzunluğu. - encoder_seq_length (
int, varsayılanNone) — Kodlayıcı için işlenecek maksimum dizi uzunluğu. - decoder_seq_length (
int, varsayılanNone) — İşlenecek maksimum decoder dizisi uzunluğu. - tensorboard_dir (
str, varsayılanNone) — Tensorboard günlüklerinin kaydedileceği yol. - set_all_logging_options (
bool, varsayılanFalse) — Tüm günlük kaydı seçeneklerinin ayarlanıp ayarlanmayacağı. - eval_iters (
int, varsayılan100) — Değerlendirme için doğrulama/testte çalıştırılacak yineleme sayısı. - eval_interval (
int, varsayılan1000) — Doğrulama kümesinde değerlendirme çalıştırma aralığı. - return_logits (
bool, varsayılanFalse) — Modelden logitlerin döndürülüp döndürülmeyeceği. - custom_train_step_class (
Optional, varsayılanNone) — Özel eğitim adımı sınıfı. - custom_train_step_kwargs (
Optional, varsayılanNone) — Özel eğitim adım kwargs'ları. - custom_model_provider_function (
Optional, varsayılanNone) — Özel model sağlayıcı işlevi. - custom_prepare_model_function (
Optional, varsayılanNone) — Özel model hazırlama işlevi. - custom_megatron_datasets_provider_function (
Optional, varsayılanNone) — Özel megatron train_valid_test veri setleri sağlayıcı işlevi. - custom_get_batch_function (
Optional, varsayılanNone) — Özel get batch işlevi. - custom_loss_function (
Optional, varsayılanNone) — Özel kayıp fonksiyonu. - other_megatron_args (
Optional, varsayılanNone) — Diğer Megatron-LM argümanları. Lütfen Megatron-LM'e başvurun.
Tensor, pipeline, sequence ve veri paralelliğini etkinleştirmek için Megatron-LM eklentisi. Ayrıca seçici aktivasyon yeniden hesaplama ve optimize edilmiş füzyonlu çekirdekleri etkinleştirmek için.
MegatronLMDummyScheduler
sınıf accelerate.utils.MegatronLMDummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )
Dummy scheduler, model parametrelerini veya parametre gruplarını sunar; bu, derin hızlandırma (deepspeed) yapılandırma dosyasında zamanlayıcı yapılandırması belirtildiğinde geleneksel eğitim döngüsünü izlemek için kullanılır.
MegatronLMDummyDataLoader
sınıf accelerate.utils.MegatronLMDummyDataLoader
< source >( **dataset_kwargs )
Dummy dataloader model parametrelerini veya parametre gruplarını sunar; bu, esas olarak geleneksel eğitimi takip etmek için kullanılır.
AbstractTrainStep
Toplu işlem, ileri geçiş ve kayıp işleyicisi için soyut sınıf.
GPTTrainStep
sınıf accelerate.utils.GPTTrainStep
< source >( acceleratorargs )
GPT eğitim adımı sınıfı.
BertTrainStep
sınıf accelerate.utils.BertTrainStep
< source >( acceleratorargs )
Bert eğitim adımı sınıfı.
T5TrainStep
sınıf accelerate.utils.T5TrainStep
< source >( acceleratorargs )
T5 eğitim adım sınıfı.
avg_losses_across_data_parallel_group
accelerate.utils.avg_losses_across_data_parallel_group
< source >( losses )
Veri paralel grubu boyunca ortalama kayıplar.