Accelerate documentation

أدوات Megatron-LM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

أدوات Megatron-LM

MegatronLMPlugin

فئة accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

المعاملات

  • tp_degree (int)، القيمة الافتراضية None — درجة توازي المصفوفات.
  • pp_degree (int)، القيمة الافتراضية None) — درجة التوازي في خط الأنابيب.
  • num_micro_batches (int، القيمة الافتراضية None) — عدد الدُفعات الدقيقة.
  • gradient_clipping (float) — القيمة الافتراضية None قيمة قص التدرج بناءً على المعيار L2 العالمي (0 لتعطيله).
  • sequence_parallelism (bool)، القيمة الافتراضية None) — تفعيل توازى التسلسل.
  • recompute_activations (bool، القيمة الافتراضية None) — تفعيل إعادة الحساب الانتقائية للتفعيلات.
  • use_distributed_optimizer (bool، القيمة الافتراضية None) — تفعيل المُحسِّن الموزَّع.
  • pipeline_model_parallel_split_rank (int، القيمة الافتراضية None) — الرتبة التي يجب فيها فصل المُشَفِّر والمُفَكِّك.
  • num_layers_per_virtual_pipeline_stage (int، القيمة الافتراضية None) — عدد الطبقات لكل مرحلة خط أنابيب افتراضي.
  • is_train_batch_min (str، القيمة الافتراضية True) — إذا تم تحديد كلا من مُحمّلي بيانات التدريب والتقييم، فسيحدد هذا micro_batch_size.
  • train_iters (int، القيمة الافتراضية None) — إجمالي عدد العينات للتدريب عبر جميع عمليات التدريب. لاحظ أنه يجب تقديم train-iters أو train-samples عند استخدام MegatronLMDummyScheduler.
  • train_samples (int، القيمة الافتراضية None) — إجمالي عدد العينات للتدريب عبر جميع عمليات التدريب. لاحظ أنه يجب تقديم train-iters أو train-samples عند استخدام MegatronLMDummyScheduler.
  • weight_decay_incr_style (str) — القيمة الافتراضية 'constant' — دالة زيادة التلاشي الوزني. الخيارات=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float، القيمة الافتراضية None) — معامل اضمحلال الوزن الأولي لتنظيم L2.
  • end_weight_decay (float، القيمة الافتراضية None) — معامل انحسار الوزن في نهاية التشغيل لتنظيم L2.
  • lr_decay_style (str، القيمة الافتراضية 'linear') — دالة تخفيض معدل التعلم. الخيارات=[‘constant’، ‘linear’، ‘cosine’].
  • lr_decay_iters (int، القيمة الافتراضية None) — عدد التكرارات لتلاشي معدل التعلم. إذا كانت القيمة None، فإن القيمة الافتراضية هي train_iters.
  • lr_decay_samples (int، القيمة الافتراضية None) — عدد العينات لتلاشي معدل التعلم. إذا كانت القيمة train_samples، فإن القيمة الافتراضية هي train_samples.
  • lr_warmup_iters (int، القيمة الافتراضية None) — عدد التكرارات التي يتم خلالها رفع معدل التعلم بشكل خطي.
  • lr_warmup_samples (int، القيمة الافتراضية None) — عدد العينات التي يتم خلالها رفع معدل التعلم بشكل خطي.
  • lr_warmup_fraction (float، القيمة الافتراضية None) — النسبة من lr-warmup-(iters/samples) التي يتم خلالها رفع معدل التعلم بشكل خطي.
  • min_lr (float، القيمة الافتراضية 0) — القيمة الدنيا لمعدل التعلم. يقوم المجدول بقصّ القيم التي تقع دون هذا العتبة.
  • consumed_samples (List، القيمة الافتراضية None) — عدد العينات المستهلكة بنفس ترتيب مُحمِّلات البيانات المُمرَّرة إلى استدعاء accelerator.prepare.
  • no_wd_decay_cond (Optional، القيمة الافتراضية None) — الشرط الخاص بتعطيل تضاؤل الوزن.
  • scale_lr_cond (Optional، القيمة الافتراضية None) — الشرط لتغيير معدل التعلم.
  • lr_mult (float، القيمة الافتراضية 1.0) — معامل مضاعفة معدل التعلم.
  • megatron_dataset_flag (bool، القيمة الافتراضية False) — ما إذا كانت صيغة مجموعة البيانات تتبع صيغة Megatron-LM Indexed/Cached/MemoryMapped.
  • seq_length (int، القيمة الافتراضية None) — أقصى طول تسلسل للمعالجة.
  • encoder_seq_length (int، القيمة الافتراضية None) — أقصى طول تسلسل تتم معالجته للمُشفِّر.
  • decoder_seq_length (int، القيمة الافتراضية None) — أقصى طول تسلسل تتم معالجته للمفكك.
  • tensorboard_dir (str، القيمة الافتراضية None) — المسار لحفظ سجلات tensorboard.
  • set_all_logging_options (bool، القيمة الافتراضية False) — ما إذا كان سيتم تعيين جميع خيارات التسجيل.
  • eval_iters (int، القيمة الافتراضية 100) — عدد التكرارات التي تُنفَّذ للتقييم على مجموعة التحقق/الاختبار.
  • eval_interval (int، القيمة الافتراضية 1000) — الفاصل الزمني بين تشغيل التقييم على مجموعة التحقق.
  • return_logits (bool، القيمة الافتراضية False) — ما إذا كان يجب إرجاع القيم اللوجستية (logits) من النموذج.
  • custom_train_step_class (Optional، القيمة الافتراضية None) — فئة خطوة التدريب المخصصة.
  • custom_train_step_kwargs (Optional، القيمة الافتراضية None) — معلمات kwargs مخصصة لخطوة التدريب.
  • custom_model_provider_function (Optional، القيمة الافتراضية None) — دالة مخصصة لتوفير النموذج.
  • custom_prepare_model_function (Optional، القيمة الافتراضية None) — دالة مخصصة لتحضير النموذج.
  • custom_megatron_datasets_provider_function (Optional، القيمة الافتراضية None) — دالة مخصصة لتوفير مجموعات بيانات التدريب والتحقق والاختبار في Megatron.
  • custom_get_batch_function (Optional، القيمة الافتراضية None) — دالة مخصصة للحصول على الدفعة.
  • custom_loss_function (Optional، القيمة الافتراضية None) — دالة خسارة مخصصة.
  • other_megatron_args (Optional، القيمة الافتراضية None) — حُجج أخرى لـ Megatron-LM. يُرجى الرجوع إلى Megatron-LM.

إضافة مخصّصة لـ Megatron-LM لتمكين التوازي على مستوى المصفوفات (Tensor) وخط الأنابيب (Pipeline) والتسلسل (Sequence) والبيانات. كما تُمكّن من إعادة الحساب الانتقائية للتفعيلات (Selective Activation Recomputation) والأنوية المدمجة المُحسّنة (Optimized Fused Kernels).

MegatronLMDummyScheduler

فئة accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

المعاملات

  • optimizer (torch.optim.optimizer.Optimizer) — المُحسِّن الذي سيتم تغليفه.
  • total_num_steps (int) — إجمالي عدد الخطوات.
  • warmup_num_steps (int) — عدد الخطوات للتسخين.
  • **kwargs (معلمات إضافية، اختيارية) — معلمات أخرى.

يقدم مُجدول الوهم (Dummy scheduler) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد تكوين المُجدول في ملف تكوين DeepSpeed.

MegatronLMDummyDataLoader

فئة accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

المعاملات

  • **dataset_kwargs — حُجج بيانات Megatron.

يقدم مُحمِّل البيانات الوهمي (Dummy dataloader) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع التدريب التقليدي

AbstractTrainStep

فئة accelerate.utils.AbstractTrainStep

< >

( name )

فئة مجردة لمعالجة الدفعات، والمسار الأمامي، ومعالج الخسارة.

GPTTrainStep

فئة accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

المعاملات

  • args (argparse.Namespace) — حُجج Megatron-LM.

فئة خطوة تدريب GPT.

BertTrainStep

فئة accelerate.utils.BertTrainStep

< >

( acceleratorargs )

المعاملات

  • args (argparse.Namespace) — حُجج Megatron-LM.

فئة خطوة تدريب Bert.

T5TrainStep

فئة accelerate.utils.T5TrainStep

< >

( acceleratorargs )

المعاملات

  • args (argparse.Namespace) — حُجج Megatron-LM.

فئة خطوة تدريب T5.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

المعاملات

  • losses (List[Tensor]) — قائمة بالخسائر التي سيتم أخذ متوسطها عبر مجموعة التوازي في البيانات.

متوسط الخسائر عبر مجموعة التوازي في البيانات.

Update on GitHub