Accelerate documentation
أدوات Megatron-LM
أدوات Megatron-LM
MegatronLMPlugin
فئة accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
المعاملات
- tp_degree (
int)، القيمة الافتراضيةNone— درجة توازي المصفوفات. - pp_degree (
int)، القيمة الافتراضيةNone) — درجة التوازي في خط الأنابيب. - num_micro_batches (
int، القيمة الافتراضيةNone) — عدد الدُفعات الدقيقة. - gradient_clipping (
float) — القيمة الافتراضيةNoneقيمة قص التدرج بناءً على المعيار L2 العالمي (0 لتعطيله). - sequence_parallelism (
bool)، القيمة الافتراضيةNone) — تفعيل توازى التسلسل. - recompute_activations (
bool، القيمة الافتراضيةNone) — تفعيل إعادة الحساب الانتقائية للتفعيلات. - use_distributed_optimizer (
bool، القيمة الافتراضيةNone) — تفعيل المُحسِّن الموزَّع. - pipeline_model_parallel_split_rank (
int، القيمة الافتراضيةNone) — الرتبة التي يجب فيها فصل المُشَفِّر والمُفَكِّك. - num_layers_per_virtual_pipeline_stage (
int، القيمة الافتراضيةNone) — عدد الطبقات لكل مرحلة خط أنابيب افتراضي. - is_train_batch_min (
str، القيمة الافتراضيةTrue) — إذا تم تحديد كلا من مُحمّلي بيانات التدريب والتقييم، فسيحدد هذاmicro_batch_size. - train_iters (
int، القيمة الافتراضيةNone) — إجمالي عدد العينات للتدريب عبر جميع عمليات التدريب. لاحظ أنه يجب تقديم train-iters أو train-samples عند استخدامMegatronLMDummyScheduler. - train_samples (
int، القيمة الافتراضيةNone) — إجمالي عدد العينات للتدريب عبر جميع عمليات التدريب. لاحظ أنه يجب تقديم train-iters أو train-samples عند استخدامMegatronLMDummyScheduler. - weight_decay_incr_style (
str) — القيمة الافتراضية'constant'— دالة زيادة التلاشي الوزني. الخيارات=[“constant”, “linear”, “cosine”]. - start_weight_decay (
float، القيمة الافتراضيةNone) — معامل اضمحلال الوزن الأولي لتنظيم L2. - end_weight_decay (
float، القيمة الافتراضيةNone) — معامل انحسار الوزن في نهاية التشغيل لتنظيم L2. - lr_decay_style (
str، القيمة الافتراضية'linear') — دالة تخفيض معدل التعلم. الخيارات=[‘constant’، ‘linear’، ‘cosine’]. - lr_decay_iters (
int، القيمة الافتراضيةNone) — عدد التكرارات لتلاشي معدل التعلم. إذا كانت القيمة None، فإن القيمة الافتراضية هيtrain_iters. - lr_decay_samples (
int، القيمة الافتراضيةNone) — عدد العينات لتلاشي معدل التعلم. إذا كانت القيمةtrain_samples، فإن القيمة الافتراضية هيtrain_samples. - lr_warmup_iters (
int، القيمة الافتراضيةNone) — عدد التكرارات التي يتم خلالها رفع معدل التعلم بشكل خطي. - lr_warmup_samples (
int، القيمة الافتراضيةNone) — عدد العينات التي يتم خلالها رفع معدل التعلم بشكل خطي. - lr_warmup_fraction (
float، القيمة الافتراضيةNone) — النسبة من lr-warmup-(iters/samples) التي يتم خلالها رفع معدل التعلم بشكل خطي. - min_lr (
float، القيمة الافتراضية0) — القيمة الدنيا لمعدل التعلم. يقوم المجدول بقصّ القيم التي تقع دون هذا العتبة. - consumed_samples (
List، القيمة الافتراضيةNone) — عدد العينات المستهلكة بنفس ترتيب مُحمِّلات البيانات المُمرَّرة إلى استدعاءaccelerator.prepare. - no_wd_decay_cond (
Optional، القيمة الافتراضيةNone) — الشرط الخاص بتعطيل تضاؤل الوزن. - scale_lr_cond (
Optional، القيمة الافتراضيةNone) — الشرط لتغيير معدل التعلم. - lr_mult (
float، القيمة الافتراضية1.0) — معامل مضاعفة معدل التعلم. - megatron_dataset_flag (
bool، القيمة الافتراضيةFalse) — ما إذا كانت صيغة مجموعة البيانات تتبع صيغة Megatron-LM Indexed/Cached/MemoryMapped. - seq_length (
int، القيمة الافتراضيةNone) — أقصى طول تسلسل للمعالجة. - encoder_seq_length (
int، القيمة الافتراضيةNone) — أقصى طول تسلسل تتم معالجته للمُشفِّر. - decoder_seq_length (
int، القيمة الافتراضيةNone) — أقصى طول تسلسل تتم معالجته للمفكك. - tensorboard_dir (
str، القيمة الافتراضيةNone) — المسار لحفظ سجلات tensorboard. - set_all_logging_options (
bool، القيمة الافتراضيةFalse) — ما إذا كان سيتم تعيين جميع خيارات التسجيل. - eval_iters (
int، القيمة الافتراضية100) — عدد التكرارات التي تُنفَّذ للتقييم على مجموعة التحقق/الاختبار. - eval_interval (
int، القيمة الافتراضية1000) — الفاصل الزمني بين تشغيل التقييم على مجموعة التحقق. - return_logits (
bool، القيمة الافتراضيةFalse) — ما إذا كان يجب إرجاع القيم اللوجستية (logits) من النموذج. - custom_train_step_class (
Optional، القيمة الافتراضيةNone) — فئة خطوة التدريب المخصصة. - custom_train_step_kwargs (
Optional، القيمة الافتراضيةNone) — معلمات kwargs مخصصة لخطوة التدريب. - custom_model_provider_function (
Optional، القيمة الافتراضيةNone) — دالة مخصصة لتوفير النموذج. - custom_prepare_model_function (
Optional، القيمة الافتراضيةNone) — دالة مخصصة لتحضير النموذج. - custom_megatron_datasets_provider_function (
Optional، القيمة الافتراضيةNone) — دالة مخصصة لتوفير مجموعات بيانات التدريب والتحقق والاختبار في Megatron. - custom_get_batch_function (
Optional، القيمة الافتراضيةNone) — دالة مخصصة للحصول على الدفعة. - custom_loss_function (
Optional، القيمة الافتراضيةNone) — دالة خسارة مخصصة. - other_megatron_args (
Optional، القيمة الافتراضيةNone) — حُجج أخرى لـ Megatron-LM. يُرجى الرجوع إلى Megatron-LM.
إضافة مخصّصة لـ Megatron-LM لتمكين التوازي على مستوى المصفوفات (Tensor) وخط الأنابيب (Pipeline) والتسلسل (Sequence) والبيانات. كما تُمكّن من إعادة الحساب الانتقائية للتفعيلات (Selective Activation Recomputation) والأنوية المدمجة المُحسّنة (Optimized Fused Kernels).
MegatronLMDummyScheduler
فئة accelerate.utils.MegatronLMDummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )
يقدم مُجدول الوهم (Dummy scheduler) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد تكوين المُجدول في ملف تكوين DeepSpeed.
MegatronLMDummyDataLoader
فئة accelerate.utils.MegatronLMDummyDataLoader
< source >( **dataset_kwargs )
يقدم مُحمِّل البيانات الوهمي (Dummy dataloader) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع التدريب التقليدي
AbstractTrainStep
فئة مجردة لمعالجة الدفعات، والمسار الأمامي، ومعالج الخسارة.
GPTTrainStep
فئة accelerate.utils.GPTTrainStep
< source >( acceleratorargs )
فئة خطوة تدريب GPT.
BertTrainStep
فئة accelerate.utils.BertTrainStep
< source >( acceleratorargs )
فئة خطوة تدريب Bert.
T5TrainStep
فئة accelerate.utils.T5TrainStep
< source >( acceleratorargs )
فئة خطوة تدريب T5.
avg_losses_across_data_parallel_group
accelerate.utils.avg_losses_across_data_parallel_group
< source >( losses )
متوسط الخسائر عبر مجموعة التوازي في البيانات.