Accelerate documentation
أدوات DeepSpeed
أدوات DeepSpeed
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
يرفع
ValueError
ValueError— إذا لم يتم تفعيل DeepSpeed وتم استدعاء هذه الدالة.
يعيد DeepSpeedPlugin النشط حاليًا.
فئة accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
المعاملات
- hf_ds_config (
Any، الافتراضيNone) — مسار ملف إعدادات DeepSpeed أو قاموس أو كائن من الفئةaccelerate.utils.deepspeed.HfDeepSpeedConfig. - gradient_accumulation_steps (
int، القيمة الافتراضيةNone) — عدد الخطوات لتراكم التدرجات قبل تحديث حالات المُحسِّن. إذا لم يتم ضبطها، فسيتم استخدام القيمة مباشرةً منAccelerator. - gradient_clipping (
float، القيمة الافتراضيةNone) — تفعيل قص التدرجات مع القيمة المحددة. - zero_stage (
int، القيمة الافتراضيةNone) — الخيارات الممكنة هي 0، 1، 2، 3. سيتم أخذ القيمة الافتراضية من متغير البيئة. - is_train_batch_min (
bool، القيمة الافتراضيةTrue) — إذا تم تحديد كل من مُحمّلي بيانات التدريب والتقييم، فسيحدد هذاtrain_batch_size. - offload_optimizer_device (
str، القيمة الافتراضيةNone) — الخيارات الممكنة هي none|cpu|nvme. لا ينطبق إلا مع مراحل ZeRO 2 و 3. - offload_param_device (
str، القيمة الافتراضيةNone) — الخيارات الممكنة هي none|cpu|nvme. لا ينطبق إلا مع ZeRO Stage 3. - offload_optimizer_nvme_path (
str، القيمة الافتراضيةNone) — الخيارات الممكنة هي /nvme|/local_nvme. لا ينطبق إلا مع ZeRO Stage 3. - offload_param_nvme_path (
str، القيمة الافتراضيةNone) — الخيارات الممكنة هي /nvme|/local_nvme. لا ينطبق إلا مع ZeRO Stage 3. - zero3_init_flag (
bool، القيمة الافتراضيةNone) — علامة تُظهر ما إذا كان سيتم حفظ النموذج بدقة 16 بت. تنطبق هذه العلامة فقط مع ZeRO Stage-3. - zero3_save_16bit_model (
bool، القيمة الافتراضيةNone) — علامة تُظهر ما إذا كان يجب حفظ النموذج بدقة 16 بت. تنطبق هذه العلامة فقط مع ZeRO Stage-3. - transformer_moe_cls_names (
str، القيمة الافتراضيةNone) — قائمة مفصولة بفواصل لأسماء فئات طبقات MoE في Transformers (حساسة لحالة الأحرف). على سبيل المثال،MixtralSparseMoeBlock،Qwen2MoeSparseMoeBlock،JetMoEAttention،JetMoEBlock، وما إلى ذلك.
يُستخدم هذا الإضافة (plugin) لدمج DeepSpeed.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
معالجة إعدادات DeepSpeed باستخدام القيم من kwargs.
يُعيّن HfDeepSpeedWeakref لاستخدام إعدادات إضافة deepspeed الحالية
فئة accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
المعاملات
- optimizer (
torch.optim.optimizer.Optimizer) — المُحسِّن الذي سيتم تغليفه. - total_num_steps (int, اختياري) — إجمالي عدد الخطوات.
- warmup_num_steps (int, اختياري) — عدد الخطوات للتسخين.
- lr_scheduler_callable (callable، اختياري) —
دالة قابلة للاستدعاء تنشئ مجدول معدل التعلم. تقبل حجة واحدة فقط هي
optimizer. - **kwargs (معلمات إضافية، اختيارية) — معلمات أخرى.
يقدم مُجدول الوهم (Dummy scheduler) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل أساسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد تكوين المُجدول في ملف تكوين DeepSpeed.
DeepSpeedEnginerWrapper
فئة accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
غلاف داخلي لـ deepspeed.runtime.engine.DeepSpeedEngine. يُستخدم هذا لاتباع حلقة التدريب التقليدية.
احصل على معيار التدرّج العام من محرك DeepSpeed.
DeepSpeedOptimizerWrapper
فئة accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
غلاف داخلي حول مُحسِّن deepspeed.
DeepSpeedSchedulerWrapper
فئة accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
غلاف داخلي حول مجدول deepspeed.
DummyOptim
فئة accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
يقدم المُحسِّن الوهمي (Dummy optimizer) معاملات النموذج أو مجموعات المعاملات، ويُستخدم هذا بشكل رئيسي لاتباع حلقة التدريب التقليدية عندما يتم تحديد إعدادات المُحسِّن في ملف إعدادات DeepSpeed.