Accelerate documentation
Tamamen Parçalı Veri Paralelliği yardımcı programları
Tamamen Parçalı Veri Paralelliği yardımcı programları
enable_fsdp_ram_efficient_loading
Ortamda FSDP için Hugging Face modellerinin RAM verimli yüklenmesini etkinleştirir.
disable_fsdp_ram_efficient_loading
Ortamda FSDP için Hugging Face modellerinin RAM verimli yüklemesini devre dışı bırakır.
merge_fsdp_weights
accelerate.utils.merge_fsdp_weights
< source >( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )
Parametreler
- checkpoint_dir (
str) — FSDP kontrol noktalarını içeren dizin (model veya optimizör olabilir). - output_path (
str) — Birleştirilmiş kontrol noktasının kaydedileceği yol. - safe_serialization (
bool, isteğe bağlı, varsayılanTrue) — Birleştirilmiş ağırlıkların safetensors ile kaydedilip kaydedilmeyeceği (önerilir). - remove_checkpoint_dir (
bool, isteğe bağlı, varsayılanFalse) — Birleştirme işleminden sonra checkpoint dizininin kaldırılıp kaldırılmayacağı.
Parçalı FSDP model kontrol noktalarındaki ağırlıkları tek bir birleşik kontrol noktasında birleştirir. Model için SHARDED_STATE_DICT kullanıldıysa kullanılmalıdır. Ağırlıklar, safe_serialization kullanılıyorsa {output_path}/model.safetensors dosyasına, aksi halde pytorch_model.bin dosyasına kaydedilir.
Not: bu, CPU yoğun bir süreçtir.
FullyShardedDataParallelPlugin
sınıf accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
Parametreler
- fsdp_version (
int, varsayılan1) — Kullanılacak FSDP sürümü. Varsayılan olarak 1'dir. 2 olarak ayarlanırsa, başlatıcı yapılandırmanın FSDP2 biçimine dönüştürülmüş olmasını bekler. - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy], varsayılan'FULL_SHARD') — Kullanılacak sharding stratejisi. Birstrveyatorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategyörneği olmalıdır. Bunun yerinereshard_after_forwardkullanılması önerilir. - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool],fsdp_version=1için varsayılan olarak'FULL_SHARD'vefsdp_version=2içinTrue) — Kullanılacak sharding stratejisi.fsdp_version2 olarak ayarlandıysa bool olmalı, aksi haldestrveyatorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategyörneği olmalıdır. - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch], varsayılan'NO_PREFETCH') — Kullanılacak geriye dönük ön yükleme stratejisi. Birstrveyatorch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetchörneği olmalıdır. - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], varsayılanNone) — FullyShardedDataParallel ile karma hassasiyetli eğitimi etkinleştirmek için bir yapılandırma. Birdictgeçiriliyorsa, aşağıdaki anahtarlara sahip olmalıdır:param_dtype,reduce_dtypevebuffer_dtype;fsdp_version2 olarak ayarlanmışsa birtorch.distributed.fsdp.MixedPrecisionPolicyörneği de olabilir. Birstrgeçiriliyorsa, aşağıdaki değerlerden biri olmalıdır: fp8, fp16, bf16, fp32 veparam_dtype,reduce_dtypeilebuffer_dtypedeğerlerini ayarlamak için kullanılır. - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], varsayılanFalse) — Parametrelerin CPU'ya aktarılıp aktarılmayacağı.boolveyafsdp_version2 olarak ayarlandıysatorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadya datorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyörneği olmalıdır. - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]], varsayılanNone) — FSDP ile sarmalanırken yoksayılacak modüllerin listesi. Bir dize geçirildiğinde, modüller adlarına göre regex fullmatch kullanılarak eşleştirilir.fsdp_version2 olarak ayarlanırsa, modüller parametrelere dönüştürülür ve kullanılır. - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType], varsayılan'FULL_STATE_DICT') — Kullanılacak state dict türü. Bir dize ise,full_state_dict,local_state_dictveyasharded_state_dictdeğerlerinden biri olmalıdır. - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], varsayılanNone) — Kullanılacak state dict yapılandırması. Geçirilmezsestate_dict_typedeğerine göre belirlenir. - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], varsayılanNone) — Kullanılacak optim state dict yapılandırması. Geçirilmezsestate_dict_typedeğerine göre belirlenir. - limit_all_gathers (
bool, varsayılanTrue) — FSDP'nin, çok fazla in-flight all-gather'ı önlemek için CPU iş parçacığını açıkça senkronize etmesini sağlar. Bu bool, yalnızca all-gather'ları zamanlayan parçalı stratejileri etkiler. Bunu etkinleştirmek, CUDA malloc yeniden deneme sayısını azaltmaya yardımcı olabilir. - use_orig_params (
bool, varsayılanFalse) — Optimizatör için orijinal parametrelerin kullanılıp kullanılmayacağı. - param_init_fn (
Optional[Callable[[torch.nn.Module], None], varsayılanNone) — Şu anda meta cihazda bulunan modüllerin gerçek bir cihaza nasıl başlatılacağını belirtenCallable[torch.nn.Module] -> None. Yalnızcasync_module_statesTrueolduğunda geçerlidir. Varsayılan olarak, modül üzerindeto_emptyçağıran birlambda'dır. - sync_module_states (
bool, varsayılanFalse) — Başlatma sonrasında tüm rank'lerde aynı olmasını sağlamak için her bir ayrı sarmalanmış FSDP biriminin modül parametrelerini rank 0'dan yayımlayıp yayımlamayacağı.cpu_ram_efficient_loadingTrueolmadıkça varsayılan olarakFalse'dir; bu durumda zorunlu olarak etkinleştirilir. - forward_prefetch (
bool, varsayılanFalse) — FSDP'nin, ileri (forward) geçişinde çalışırken bir sonraki all-gather işlemini açıkça önceden yüklemesini (prefetch) sağlar. Yalnızca statik grafiklerle kullanın. - activation_checkpointing (
bool, varsayılanFalse) — Belirli katmanların aktivasyonlarını temizleyip geriye doğru yayılım sırasında yeniden hesaplayarak bellek kullanımını azaltmak için kullanılan bir tekniktir. Bu, fiilen ek hesaplama süresini azaltılmış bellek kullanımıyla takas eder. - cpu_ram_efficient_loading (
bool, varsayılanNone) — True ise, önceden eğitilmiş model kontrol noktasını yalnızca ilk süreç yüklerken diğer tüm süreçlerin ağırlıkları boş kalır. Yalnızca Transformers için geçerlidir. Bunu kullanırkensync_module_statesTrueolmalıdır. - transformer_cls_names_to_wrap (
Optional[List[str]], varsayılanNone) — Sarmalanacak transformer katman sınıf adlarının listesi. Yalnızcaauto_wrap_policydeğeritransformer_based_wrapolduğunda geçerlidir. - min_num_params (
Optional[int], varsayılanNone) — Bir modülün sarılabilmesi için sahip olması gereken en az parametre sayısı. Yalnızcaauto_wrap_policysize_based_wrapolduğunda geçerlidir.
Bu eklenti, tamamen parçalı veri paralelliğini etkinleştirmek için kullanılır.
model verildiğinde, iletilen politika ve transformer_cls_to_wrap kullanılıp kullanılamayacağına dayanarak bir auto_wrap_policy oluşturur.
FSDP için karma hassasiyet politikasını ayarlar
StateDictType'ye göre state dict yapılandırmasını ayarlayın.
Karışık hassasiyet politikasını doğrular; gerekmediyse import'ları getirmemek için soyutlanmıştır.
fsdp2_load_full_state_dict
accelerate.utils.fsdp2_load_full_state_dict
< source >( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )
Parametreler
- accelerator (
Accelerator) — Hızlandırıcı örneği - model (
torch.nn.Module) — Durum sözlüğünün (state dict) yükleneceği model; meta cihazda olması beklenir, aksi takdirde VRAM sıçraması (spike) oluşabilir - full_sd (
dict) — Yüklenmesi gereken tam durum sözlüğü, yalnızca rank 0 üzerinde bulunabilir - cpu_offload (
bool, varsayılanFalse) — True ise, dağıtım sonrası şarlanmış parametreleri CPU'ya taşır. FSDP CPU offloading etkinleştirildiğinde gereklidir. Tamponlar ve yoksayılan parametreler hızlandırıcı cihazda kalır.
Tam state dict'i (yalnızca rank 0'da olabilir) parçalı modele yükler. Bu, parametrelerin rank 0'dan diğer tüm rank'lara yayınlanmasıyla yapılır. Bu fonksiyon modeli yerinde değiştirir.
fsdp2_switch_optimizer_parameters
accelerate.utils.fsdp2_switch_optimizer_parameters
< source >( optimizer: Optimizermapping: dict )
Parametreler
- optimizer (
torch.optim.Optimizer) — Orijinal model parametrelerini içeren Optimizer örneği - mapping (
dict) — Orijinal parametrenin veri işaretçisinden (veya meta parametreler için kimliğinden) parçalı parametreye eşleme.
Yükseltilen
KeyError
KeyError— Optimizördeki bir parametrenin shard edilmiş sürümüne geçiştirilemediğinde oluşur. Bu asla olmamalıdır ve bir hatayı (bug) gösterir. Orijinal parametreler kaldırılmak yerine korunursa, eğitim sayısal olarak doğru olmaz ve ağırlıklar güncellenmez.
Optimizatörün parametrelerini yenileriyle değiştirir (normal durumda parçalı parametreler). Bu fonksiyon optimizatörü yerinde değiştirir.
fsdp2_prepare_model
accelerate.utils.fsdp2_prepare_model
< source >( acceleratormodel: Module ) → torch.nn.Module
Modeli FSDP2 için yerinde hazırlar. Orijinal modelin yanlış kullanımını önlemek için modeli de döndürür.