Accelerate documentation

أدوات DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

أدوات DeepSpeed

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

يرفع

ValueError

  • ValueError — إذا لم يتم تفعيل DeepSpeed وتم استدعاء هذه الدالة.

يعيد DeepSpeedPlugin النشط حاليًا.

فئة accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

المعاملات

  • hf_ds_config (Any، الافتراضي None) — مسار ملف إعدادات DeepSpeed أو قاموس أو كائن من الفئة accelerate.utils.deepspeed.HfDeepSpeedConfig.
  • gradient_accumulation_steps (int، القيمة الافتراضية None) — عدد الخطوات لتراكم التدرجات قبل تحديث حالات المُحسِّن. إذا لم يتم ضبطها، فسيتم استخدام القيمة مباشرةً من Accelerator.
  • gradient_clipping (float، القيمة الافتراضية None) — تفعيل قص التدرجات مع القيمة المحددة.
  • zero_stage (int، القيمة الافتراضية None) — الخيارات الممكنة هي 0، 1، 2، 3. سيتم أخذ القيمة الافتراضية من متغير البيئة.
  • is_train_batch_min (bool، القيمة الافتراضية True) — إذا تم تحديد كل من مُحمّلي بيانات التدريب والتقييم، فسيحدد هذا train_batch_size.
  • offload_optimizer_device (str، القيمة الافتراضية None) — الخيارات الممكنة هي none|cpu|nvme. لا ينطبق إلا مع مراحل ZeRO 2 و 3.
  • offload_param_device (str، القيمة الافتراضية None) — الخيارات الممكنة هي none|cpu|nvme. لا ينطبق إلا مع ZeRO Stage 3.
  • offload_optimizer_nvme_path (str، القيمة الافتراضية None) — الخيارات الممكنة هي /nvme|/local_nvme. لا ينطبق إلا مع ZeRO Stage 3.
  • offload_param_nvme_path (str، القيمة الافتراضية None) — الخيارات الممكنة هي /nvme|/local_nvme. لا ينطبق إلا مع ZeRO Stage 3.
  • zero3_init_flag (bool، القيمة الافتراضية None) — علامة تُظهر ما إذا كان سيتم حفظ النموذج بدقة 16 بت. تنطبق هذه العلامة فقط مع ZeRO Stage-3.
  • zero3_save_16bit_model (bool، القيمة الافتراضية None) — علامة تُظهر ما إذا كان يجب حفظ النموذج بدقة 16 بت. تنطبق هذه العلامة فقط مع ZeRO Stage-3.
  • transformer_moe_cls_names (str، القيمة الافتراضية None) — قائمة مفصولة بفواصل لأسماء فئات طبقات MoE في Transformers (حساسة لحالة الأحرف). على سبيل المثال، MixtralSparseMoeBlock، Qwen2MoeSparseMoeBlock، JetMoEAttention، JetMoEBlock، وما إلى ذلك.

يُستخدم هذا الإضافة (plugin) لدمج DeepSpeed.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

معالجة إعدادات DeepSpeed باستخدام القيم من kwargs.

select

< >

( _from_accelerator_state: bool = False )

يُعيّن HfDeepSpeedWeakref لاستخدام إعدادات إضافة deepspeed الحالية

فئة accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

المعاملات

  • optimizer (torch.optim.optimizer.Optimizer) — المُحسِّن الذي سيتم تغليفه.
  • total_num_steps (int, اختياري) — إجمالي عدد الخطوات.
  • warmup_num_steps (int, اختياري) — عدد الخطوات للتسخين.
  • lr_scheduler_callable (callable، اختياري) — دالة قابلة للاستدعاء تنشئ مجدول معدل التعلم. تقبل حجة واحدة فقط هي optimizer.
  • **kwargs (معلمات إضافية، اختيارية) — معلمات أخرى.

يقدم مُجدول الوهم (Dummy scheduler) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد تكوين المُجدول في ملف تكوين DeepSpeed.

DeepSpeedEnginerWrapper

فئة accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

المعاملات

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — محرك deepspeed الذي سيتم تغليفه

غلاف داخلي لـ deepspeed.runtime.engine.DeepSpeedEngine. يُستخدم هذا لاتباع حلقة التدريب التقليدية.

get_global_grad_norm

< >

( )

احصل على معيار التدرّج العام من محرك DeepSpeed.

DeepSpeedOptimizerWrapper

فئة accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

المعاملات

  • optimizer (torch.optim.optimizer.Optimizer) — المُحسِّن الذي سيتم تغليفه.

غلاف داخلي حول مُحسِّن deepspeed.

DeepSpeedSchedulerWrapper

فئة accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

المعاملات

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — المجدول الذي سيتم تغليفه.
  • optimizers (واحد أو قائمة من torch.optim.Optimizer) —

غلاف داخلي حول مجدول deepspeed.

DummyOptim

فئة accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

المعاملات

  • lr (float) — معدل التعلم.
  • params (iterable) — iterable من المعاملات المراد تحسينها أو قواميس تُعرّف مجموعات المعاملات
  • weight_decay (float) — تلاشي الوزن.
  • **kwargs (معلمات إضافية، اختيارية) — معلمات أخرى.

يقدم المُحسِّن الوهمي (Dummy optimizer) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل رئيسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد إعدادات المُحسِّن في ملف إعدادات DeepSpeed.

DummyScheduler

Update on GitHub