Accelerate documentation

Tamamen Parçalı Veri Paralelliği yardımcı programları

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tamamen Parçalı Veri Paralelliği yardımcı programları

enable_fsdp_ram_efficient_loading

accelerate.utils.enable_fsdp_ram_efficient_loading

< >

( )

Ortamda FSDP için Hugging Face modellerinin RAM verimli yüklenmesini etkinleştirir.

disable_fsdp_ram_efficient_loading

accelerate.utils.disable_fsdp_ram_efficient_loading

< >

( )

Ortamda FSDP için Hugging Face modellerinin RAM verimli yüklemesini devre dışı bırakır.

merge_fsdp_weights

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )

Parametreler

  • checkpoint_dir (str) — FSDP kontrol noktalarını içeren dizin (model veya optimizör olabilir).
  • output_path (str) — Birleştirilmiş kontrol noktasının kaydedileceği yol.
  • safe_serialization (bool, isteğe bağlı, varsayılan True) — Birleştirilmiş ağırlıkların safetensors ile kaydedilip kaydedilmeyeceği (önerilir).
  • remove_checkpoint_dir (bool, isteğe bağlı, varsayılan False) — Birleştirme işleminden sonra checkpoint dizininin kaldırılıp kaldırılmayacağı.

Parçalı FSDP model kontrol noktalarındaki ağırlıkları tek bir birleşik kontrol noktasında birleştirir. Model için SHARDED_STATE_DICT kullanıldıysa kullanılmalıdır. Ağırlıklar, safe_serialization kullanılıyorsa {output_path}/model.safetensors dosyasına, aksi halde pytorch_model.bin dosyasına kaydedilir.

Not: bu, CPU yoğun bir süreçtir.

FullyShardedDataParallelPlugin

sınıf accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

Parametreler

  • fsdp_version (int, varsayılan 1) — Kullanılacak FSDP sürümü. Varsayılan olarak 1'dir. 2 olarak ayarlanırsa, başlatıcı yapılandırmanın FSDP2 biçimine dönüştürülmüş olmasını bekler.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], varsayılan 'FULL_SHARD') — Kullanılacak sharding stratejisi. Bir str veya torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy örneği olmalıdır. Bunun yerine reshard_after_forward kullanılması önerilir.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], fsdp_version=1 için varsayılan olarak 'FULL_SHARD' ve fsdp_version=2 için True) — Kullanılacak sharding stratejisi. fsdp_version 2 olarak ayarlandıysa bool olmalı, aksi halde str veya torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy örneği olmalıdır.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], varsayılan 'NO_PREFETCH') — Kullanılacak geriye dönük ön yükleme stratejisi. Bir str veya torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch örneği olmalıdır.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], varsayılan None) — FullyShardedDataParallel ile karma hassasiyetli eğitimi etkinleştirmek için bir yapılandırma. Bir dict geçiriliyorsa, aşağıdaki anahtarlara sahip olmalıdır: param_dtype, reduce_dtype ve buffer_dtype; fsdp_version 2 olarak ayarlanmışsa bir torch.distributed.fsdp.MixedPrecisionPolicy örneği de olabilir. Bir str geçiriliyorsa, aşağıdaki değerlerden biri olmalıdır: fp8, fp16, bf16, fp32 ve param_dtype, reduce_dtype ile buffer_dtype değerlerini ayarlamak için kullanılır.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], varsayılan False) — Parametrelerin CPU'ya aktarılıp aktarılmayacağı. bool veya fsdp_version 2 olarak ayarlandıysa torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload ya da torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy örneği olmalıdır.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], varsayılan None) — FSDP ile sarmalanırken yoksayılacak modüllerin listesi. Bir dize geçirildiğinde, modüller adlarına göre regex fullmatch kullanılarak eşleştirilir. fsdp_version 2 olarak ayarlanırsa, modüller parametrelere dönüştürülür ve kullanılır.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], varsayılan 'FULL_STATE_DICT') — Kullanılacak state dict türü. Bir dize ise, full_state_dict, local_state_dict veya sharded_state_dict değerlerinden biri olmalıdır.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], varsayılan None) — Kullanılacak state dict yapılandırması. Geçirilmezse state_dict_type değerine göre belirlenir.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], varsayılan None) — Kullanılacak optim state dict yapılandırması. Geçirilmezse state_dict_type değerine göre belirlenir.
  • limit_all_gathers (bool, varsayılan True) — FSDP'nin, çok fazla in-flight all-gather'ı önlemek için CPU iş parçacığını açıkça senkronize etmesini sağlar. Bu bool, yalnızca all-gather'ları zamanlayan parçalı stratejileri etkiler. Bunu etkinleştirmek, CUDA malloc yeniden deneme sayısını azaltmaya yardımcı olabilir.
  • use_orig_params (bool, varsayılan False) — Optimizatör için orijinal parametrelerin kullanılıp kullanılmayacağı.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None], varsayılan None) — Şu anda meta cihazda bulunan modüllerin gerçek bir cihaza nasıl başlatılacağını belirten Callable[torch.nn.Module] -> None. Yalnızca sync_module_states True olduğunda geçerlidir. Varsayılan olarak, modül üzerinde to_empty çağıran bir lambda'dır.
  • sync_module_states (bool, varsayılan False) — Başlatma sonrasında tüm rank'lerde aynı olmasını sağlamak için her bir ayrı sarmalanmış FSDP biriminin modül parametrelerini rank 0'dan yayımlayıp yayımlamayacağı. cpu_ram_efficient_loading True olmadıkça varsayılan olarak False'dir; bu durumda zorunlu olarak etkinleştirilir.
  • forward_prefetch (bool, varsayılan False) — FSDP'nin, ileri (forward) geçişinde çalışırken bir sonraki all-gather işlemini açıkça önceden yüklemesini (prefetch) sağlar. Yalnızca statik grafiklerle kullanın.
  • activation_checkpointing (bool, varsayılan False) — Belirli katmanların aktivasyonlarını temizleyip geriye doğru yayılım sırasında yeniden hesaplayarak bellek kullanımını azaltmak için kullanılan bir tekniktir. Bu, fiilen ek hesaplama süresini azaltılmış bellek kullanımıyla takas eder.
  • cpu_ram_efficient_loading (bool, varsayılan None) — True ise, önceden eğitilmiş model kontrol noktasını yalnızca ilk süreç yüklerken diğer tüm süreçlerin ağırlıkları boş kalır. Yalnızca Transformers için geçerlidir. Bunu kullanırken sync_module_states True olmalıdır.
  • transformer_cls_names_to_wrap (Optional[List[str]], varsayılan None) — Sarmalanacak transformer katman sınıf adlarının listesi. Yalnızca auto_wrap_policy değeri transformer_based_wrap olduğunda geçerlidir.
  • min_num_params (Optional[int], varsayılan None) — Bir modülün sarılabilmesi için sahip olması gereken en az parametre sayısı. Yalnızca auto_wrap_policy size_based_wrap olduğunda geçerlidir.

Bu eklenti, tamamen parçalı veri paralelliğini etkinleştirmek için kullanılır.

set_auto_wrap_policy

< >

( model )

model verildiğinde, iletilen politika ve transformer_cls_to_wrap kullanılıp kullanılamayacağına dayanarak bir auto_wrap_policy oluşturur.

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

FSDP için karma hassasiyet politikasını ayarlar

set_state_dict_type

< >

( state_dict_type = None )

StateDictType'ye göre state dict yapılandırmasını ayarlayın.

validate_mixed_precision_policy

< >

( )

Karışık hassasiyet politikasını doğrular; gerekmediyse import'ları getirmemek için soyutlanmıştır.

fsdp2_load_full_state_dict

accelerate.utils.fsdp2_load_full_state_dict

< >

( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )

Parametreler

  • accelerator (Accelerator) — Hızlandırıcı örneği
  • model (torch.nn.Module) — Durum sözlüğünün (state dict) yükleneceği model; meta cihazda olması beklenir, aksi takdirde VRAM sıçraması (spike) oluşabilir
  • full_sd (dict) — Yüklenmesi gereken tam durum sözlüğü, yalnızca rank 0 üzerinde bulunabilir
  • cpu_offload (bool, varsayılan False) — True ise, dağıtım sonrası şarlanmış parametreleri CPU'ya taşır. FSDP CPU offloading etkinleştirildiğinde gereklidir. Tamponlar ve yoksayılan parametreler hızlandırıcı cihazda kalır.

Tam state dict'i (yalnızca rank 0'da olabilir) parçalı modele yükler. Bu, parametrelerin rank 0'dan diğer tüm rank'lara yayınlanmasıyla yapılır. Bu fonksiyon modeli yerinde değiştirir.

fsdp2_switch_optimizer_parameters

accelerate.utils.fsdp2_switch_optimizer_parameters

< >

( optimizer: Optimizermapping: dict )

Parametreler

  • optimizer (torch.optim.Optimizer) — Orijinal model parametrelerini içeren Optimizer örneği
  • mapping (dict) — Orijinal parametrenin veri işaretçisinden (veya meta parametreler için kimliğinden) parçalı parametreye eşleme.

Yükseltilen

KeyError

  • KeyError — Optimizördeki bir parametrenin shard edilmiş sürümüne geçiştirilemediğinde oluşur. Bu asla olmamalıdır ve bir hatayı (bug) gösterir. Orijinal parametreler kaldırılmak yerine korunursa, eğitim sayısal olarak doğru olmaz ve ağırlıklar güncellenmez.

Optimizatörün parametrelerini yenileriyle değiştirir (normal durumda parçalı parametreler). Bu fonksiyon optimizatörü yerinde değiştirir.

fsdp2_prepare_model

accelerate.utils.fsdp2_prepare_model

< >

( acceleratormodel: Module ) → torch.nn.Module

Parametreler

  • accelerator (Accelerator) — Hızlandırıcı örneği
  • model (torch.nn.Module) — Hazırlanacak model

Dönüş değeri

torch.nn.Module

Hazırlanmış model

Modeli FSDP2 için yerinde hazırlar. Orijinal modelin yanlış kullanımını önlemek için modeli de döndürür.

fsdp2_prepare_auto_wrap_policy

Update on GitHub