Accelerate documentation
Utilitaires Megatron-LM
Utilitaires Megatron-LM
MegatronLMPlugin
classe accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
Paramètres
- tp_degree (
int, par défautNone) — Degré du parallélisme de tenseurs. - pp_degree (
int, par défautNone) — Degré du parallélisme par pipeline. - num_micro_batches (
int, par défautNone) — Nombre de micro-lots. - gradient_clipping (
float, par défautNone) — Valeur de la limitation du gradient basée sur la norme L2 globale (0 pour désactiver). - sequence_parallelism (
bool, par défautNone) — Active le parallélisme de séquence. - recompute_activations (
bool, par défautNone) — Active la recomputation sélective des activations. - use_distributed_optimizer (
bool, par défautNone) — Active l’optimiseur distribué. - pipeline_model_parallel_split_rank (
int, par défautNone) — Rang où l'encodeur et le décodeur doivent être séparés. - num_layers_per_virtual_pipeline_stage (
int, par défautNone) — Nombre de couches par étape de pipeline virtuel. - is_train_batch_min (
str, par défautTrue) — Si les deux chargeurs de données tran & eval sont spécifiés, cela déterminera lamicro_batch_size. - train_iters (
int, par défautNone) — Nombre total d’échantillons à entraîner sur l’ensemble des exécutions d’entraînement. Notez que soit train-iters, soit train-samples doit être fourni lors de l’utilisation deMegatronLMDummyScheduler. - train_samples (
int, par défautNone) — Nombre total d'échantillons à entraîner sur l'ensemble des exécutions d'entraînement. Notez que soit train-iters, soit train-samples doit être fourni lors de l'utilisation deMegatronLMDummyScheduler. - weight_decay_incr_style (
str, par défaut'constant') — Fonction d'incrément du weight decay. choices=[“constant”, “linear”, “cosine”]. - start_weight_decay (
float, par défautNone) — Coefficient de décroissance du poids initial pour la régularisation L2. - end_weight_decay (
float, par défautNone) — Coefficient de décroissance du poids en fin d'exécution pour la régularisation L2. - lr_decay_style (
str, par défaut'linear') — Fonction de décroissance du taux d'apprentissage. choices=[‘constant’, ‘linear’, ‘cosine’]. - lr_decay_iters (
int, par défautNone) — Nombre d'itérations pour le décroissement du taux d'apprentissage. Si None, la valeur par défaut esttrain_iters. - lr_decay_samples (
int, par défautNone) — Nombre d'échantillons pour le décroissement du taux d'apprentissage. Si None, la valeur par défaut esttrain_samples. - lr_warmup_iters (
int, par défautNone) — Nombre d'itérations sur lesquelles effectuer un réchauffement linéaire du taux d'apprentissage. - lr_warmup_samples (
int, par défautNone) — Nombre d'échantillons sur lesquels effectuer un réchauffement linéaire du taux d'apprentissage. - lr_warmup_fraction (
float, par défautNone) — Fraction des itérations/échantillons de lr-warmup sur laquelle le taux d'apprentissage est réchauffé linéairement. - min_lr (
float, par défaut0) — Valeur minimale du taux d'apprentissage. Le planificateur plafonne les valeurs en dessous de ce seuil. - consumed_samples (
List, par défautNone) — Nombre d'échantillons consommés dans le même ordre que les dataloaders de l'appel àaccelerator.prepare. - no_wd_decay_cond (
Optional, par défautNone) — Condition pour désactiver le déclin du poids. - scale_lr_cond (
Optional, par défautNone) — Condition pour mettre à l'échelle le taux d'apprentissage. - lr_mult (
float, par défaut1.0) — Multiplicateur du taux d'apprentissage. - megatron_dataset_flag (
bool, par défautFalse) — Indique si le format du jeu de données suit le format Indexed/Cached/MemoryMapped de Megatron-LM. - seq_length (
int, par défautNone) — Longueur maximale de séquence à traiter. - encoder_seq_length (
int, par défautNone) — Longueur maximale de séquence à traiter pour l'encodeur. - decoder_seq_length (
int, par défautNone) — Longueur maximale de séquence à traiter pour le décodeur. - tensorboard_dir (
str, par défautNone) — Chemin pour enregistrer les journaux tensorboard. - set_all_logging_options (
bool, par défautFalse) — Indique s'il faut définir toutes les options de journalisation. - eval_iters (
int, par défaut100) — Nombre d'itérations à exécuter pour l'évaluation de validation/test. - eval_interval (
int, par défaut1000) — Intervalle entre les exécutions de l'évaluation sur le jeu de validation. - return_logits (
bool, par défautFalse) — Indique s'il faut retourner les logits du modèle. - custom_train_step_class (
Optional, par défautNone) — Classe d'étape d'entraînement personnalisée. - custom_train_step_kwargs (
Optional, par défautNone) — Arguments personnalisés pour l'étape d'entraînement. - custom_model_provider_function (
Optional, par défautNone) — Fonction personnalisée de fournisseur de modèle. - custom_prepare_model_function (
Optional, par défautNone) — Fonction de préparation du modèle personnalisée. - custom_megatron_datasets_provider_function (
Optional, par défautNone) — Fonction personnalisée de fournisseur de jeux de données d'entraînement, de validation et de test pour Megatron. - custom_get_batch_function (
Optional, par défautNone) — Fonction de récupération de lot personnalisée. - custom_loss_function (
Optional, par défautNone) — Fonction de perte personnalisée. - other_megatron_args (
Optional, par défautNone) — Autres arguments de Megatron-LM. Veuillez consulter Megatron-LM.
Plugin pour Megatron-LM permettant le parallélisme de tenseurs, de pipeline, de séquences et de données. Permet également la récalculation sélective des activations et les noyaux fusionnés optimisés.
MegatronLMDummyScheduler
classe accelerate.utils.MegatronLMDummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )
Le planificateur factice présente les paramètres du modèle ou les groupes de paramètres. Il est principalement utilisé pour suivre la boucle d'entraînement conventionnelle lorsqu'une configuration de planificateur est spécifiée dans le fichier de configuration DeepSpeed.
MegatronLMDummyDataLoader
classe accelerate.utils.MegatronLMDummyDataLoader
< source >( **dataset_kwargs )
Le chargeur de données factice présente les paramètres du modèle ou les groupes de paramètres, ce qui est principalement utilisé pour suivre l'entraînement conventionnel
AbstractTrainStep
Classe abstraite pour le groupement par lots, la passe avant et le gestionnaire de perte.
GPTTrainStep
classe accelerate.utils.GPTTrainStep
< source >( acceleratorargs )
Classe d'étape d'entraînement GPT.
BertTrainStep
classe accelerate.utils.BertTrainStep
< source >( acceleratorargs )
Classe d'étape d'entraînement Bert.
T5TrainStep
classe accelerate.utils.T5TrainStep
< source >( acceleratorargs )
Classe d'étape d'entraînement T5.
avg_losses_across_data_parallel_group
accelerate.utils.avg_losses_across_data_parallel_group
< source >( losses )
Pertes moyennes sur le groupe de parallélisme de données.