Accelerate documentation

Utilitaires Megatron-LM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitaires Megatron-LM

MegatronLMPlugin

classe accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

Paramètres

  • tp_degree (int, par défaut None) — Degré du parallélisme de tenseurs.
  • pp_degree (int, par défaut None) — Degré du parallélisme par pipeline.
  • num_micro_batches (int, par défaut None) — Nombre de micro-lots.
  • gradient_clipping (float, par défaut None) — Valeur de la limitation du gradient basée sur la norme L2 globale (0 pour désactiver).
  • sequence_parallelism (bool, par défaut None) — Active le parallélisme de séquence.
  • recompute_activations (bool, par défaut None) — Active la recomputation sélective des activations.
  • use_distributed_optimizer (bool, par défaut None) — Active l’optimiseur distribué.
  • pipeline_model_parallel_split_rank (int, par défaut None) — Rang où l'encodeur et le décodeur doivent être séparés.
  • num_layers_per_virtual_pipeline_stage (int, par défaut None) — Nombre de couches par étape de pipeline virtuel.
  • is_train_batch_min (str, par défaut True) — Si les deux chargeurs de données tran & eval sont spécifiés, cela déterminera la micro_batch_size.
  • train_iters (int, par défaut None) — Nombre total d’échantillons à entraîner sur l’ensemble des exécutions d’entraînement. Notez que soit train-iters, soit train-samples doit être fourni lors de l’utilisation de MegatronLMDummyScheduler.
  • train_samples (int, par défaut None) — Nombre total d'échantillons à entraîner sur l'ensemble des exécutions d'entraînement. Notez que soit train-iters, soit train-samples doit être fourni lors de l'utilisation de MegatronLMDummyScheduler.
  • weight_decay_incr_style (str, par défaut 'constant') — Fonction d'incrément du weight decay. choices=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, par défaut None) — Coefficient de décroissance du poids initial pour la régularisation L2.
  • end_weight_decay (float, par défaut None) — Coefficient de décroissance du poids en fin d'exécution pour la régularisation L2.
  • lr_decay_style (str, par défaut 'linear') — Fonction de décroissance du taux d'apprentissage. choices=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, par défaut None) — Nombre d'itérations pour le décroissement du taux d'apprentissage. Si None, la valeur par défaut est train_iters.
  • lr_decay_samples (int, par défaut None) — Nombre d'échantillons pour le décroissement du taux d'apprentissage. Si None, la valeur par défaut est train_samples.
  • lr_warmup_iters (int, par défaut None) — Nombre d'itérations sur lesquelles effectuer un réchauffement linéaire du taux d'apprentissage.
  • lr_warmup_samples (int, par défaut None) — Nombre d'échantillons sur lesquels effectuer un réchauffement linéaire du taux d'apprentissage.
  • lr_warmup_fraction (float, par défaut None) — Fraction des itérations/échantillons de lr-warmup sur laquelle le taux d'apprentissage est réchauffé linéairement.
  • min_lr (float, par défaut 0) — Valeur minimale du taux d'apprentissage. Le planificateur plafonne les valeurs en dessous de ce seuil.
  • consumed_samples (List, par défaut None) — Nombre d'échantillons consommés dans le même ordre que les dataloaders de l'appel à accelerator.prepare.
  • no_wd_decay_cond (Optional, par défaut None) — Condition pour désactiver le déclin du poids.
  • scale_lr_cond (Optional, par défaut None) — Condition pour mettre à l'échelle le taux d'apprentissage.
  • lr_mult (float, par défaut 1.0) — Multiplicateur du taux d'apprentissage.
  • megatron_dataset_flag (bool, par défaut False) — Indique si le format du jeu de données suit le format Indexed/Cached/MemoryMapped de Megatron-LM.
  • seq_length (int, par défaut None) — Longueur maximale de séquence à traiter.
  • encoder_seq_length (int, par défaut None) — Longueur maximale de séquence à traiter pour l'encodeur.
  • decoder_seq_length (int, par défaut None) — Longueur maximale de séquence à traiter pour le décodeur.
  • tensorboard_dir (str, par défaut None) — Chemin pour enregistrer les journaux tensorboard.
  • set_all_logging_options (bool, par défaut False) — Indique s'il faut définir toutes les options de journalisation.
  • eval_iters (int, par défaut 100) — Nombre d'itérations à exécuter pour l'évaluation de validation/test.
  • eval_interval (int, par défaut 1000) — Intervalle entre les exécutions de l'évaluation sur le jeu de validation.
  • return_logits (bool, par défaut False) — Indique s'il faut retourner les logits du modèle.
  • custom_train_step_class (Optional, par défaut None) — Classe d'étape d'entraînement personnalisée.
  • custom_train_step_kwargs (Optional, par défaut None) — Arguments personnalisés pour l'étape d'entraînement.
  • custom_model_provider_function (Optional, par défaut None) — Fonction personnalisée de fournisseur de modèle.
  • custom_prepare_model_function (Optional, par défaut None) — Fonction de préparation du modèle personnalisée.
  • custom_megatron_datasets_provider_function (Optional, par défaut None) — Fonction personnalisée de fournisseur de jeux de données d'entraînement, de validation et de test pour Megatron.
  • custom_get_batch_function (Optional, par défaut None) — Fonction de récupération de lot personnalisée.
  • custom_loss_function (Optional, par défaut None) — Fonction de perte personnalisée.
  • other_megatron_args (Optional, par défaut None) — Autres arguments de Megatron-LM. Veuillez consulter Megatron-LM.

Plugin pour Megatron-LM permettant le parallélisme de tenseurs, de pipeline, de séquences et de données. Permet également la récalculation sélective des activations et les noyaux fusionnés optimisés.

MegatronLMDummyScheduler

classe accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

Paramètres

  • optimizer (torch.optim.optimizer.Optimizer) — L’optimiseur à encapsuler.
  • total_num_steps (int) — Nombre total d'étapes.
  • warmup_num_steps (int) — Nombre d'étapes pour le warmup.
  • **kwargs (arguments de mots-clés supplémentaires, facultatif) — Autres arguments.

Le planificateur factice présente les paramètres du modèle ou les groupes de paramètres. Il est principalement utilisé pour suivre la boucle d'entraînement conventionnelle lorsqu'une configuration de planificateur est spécifiée dans le fichier de configuration DeepSpeed.

MegatronLMDummyDataLoader

classe accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

Paramètres

  • **dataset_kwargs — Arguments de données Megatron.

Le chargeur de données factice présente les paramètres du modèle ou les groupes de paramètres, ce qui est principalement utilisé pour suivre l'entraînement conventionnel

AbstractTrainStep

classe accelerate.utils.AbstractTrainStep

< >

( name )

Classe abstraite pour le groupement par lots, la passe avant et le gestionnaire de perte.

GPTTrainStep

classe accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

Paramètres

  • args (argparse.Namespace) — arguments de Megatron-LM.

Classe d'étape d'entraînement GPT.

BertTrainStep

classe accelerate.utils.BertTrainStep

< >

( acceleratorargs )

Paramètres

  • args (argparse.Namespace) — arguments de Megatron-LM.

Classe d'étape d'entraînement Bert.

T5TrainStep

classe accelerate.utils.T5TrainStep

< >

( acceleratorargs )

Paramètres

  • args (argparse.Namespace) — arguments de Megatron-LM.

Classe d'étape d'entraînement T5.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

Paramètres

  • losses (List[Tensor]) — Liste des pertes à moyenner sur le groupe de parallélisme de données.

Pertes moyennes sur le groupe de parallélisme de données.

Update on GitHub