Accelerate documentation
Fully Sharded Data Parallel ユーティリティ
Fully Sharded Data Parallel ユーティリティ
enable_fsdp_ram_efficient_loading
環境内でFSDP用のHugging FaceモデルのRAM効率の良い読み込みを有効にします。
disable_fsdp_ram_efficient_loading
環境内で、FSDPによるHugging FaceモデルのRAM効率の良い読み込みを無効にします。
merge_fsdp_weights
accelerate.utils.merge_fsdp_weights
< source >( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )
SHARDED_STATE_DICT をモデルに使用した場合に使用する、シャーディングされた FSDP モデルのチェックポイントから重みを単一の統合チェックポイントにマージする処理です。safe_serialization が設定されている場合は {output_path}/model.safetensors に、それ以外の場合は pytorch_model.bin に重みが保存されます。
注: これは CPU 依存のプロセスです。
FullyShardedDataParallelPlugin
クラス accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
パラメータ
- fsdp_version (
int、デフォルトは1) — 使用する FSDP のバージョンです。デフォルトは 1 です。2 に設定すると、ランチャーは設定が FSDP2 形式に変換されていることを期待します。 - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy]、デフォルトは'FULL_SHARD') — 使用するシャーディング戦略です。strまたはtorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategyのインスタンスである必要があります。reshard_after_forwardに置き換えられるため、非推奨です。 - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool]、fsdp_version=1の場合は'FULL_SHARD'、fsdp_version=2の場合はTrueがデフォルト) — 使用するシャーディング戦略です。fsdp_versionが 2 に設定されている場合は bool 型、それ以外の場合はstrまたはtorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategyのインスタンスである必要があります。 - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch]、デフォルトは'NO_PREFETCH') — 使用するバックワードプリフェッチ戦略です。strまたはtorch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetchのインスタンスのいずれかである必要があります。 - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]]、デフォルトはNone) — FullyShardedDataParallel による混合精度学習を有効にするための設定です。dictを渡す場合は、param_dtype、reduce_dtype、buffer_dtypeというキーを持つ必要があります。fsdp_versionが 2 に設定されている場合、torch.distributed.fsdp.MixedPrecisionPolicyのインスタンスを渡すこともできます。strを渡す場合は、fp8、fp16、bf16、fp32 のいずれかの値である必要があり、param_dtype、reduce_dtype、buffer_dtypeを設定するために使用されます。 - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy]、デフォルトはFalse) — パラメータをCPUにオフロードするかどうか。bool、またはfsdp_versionが2に設定されている場合はtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadまたはtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyのインスタンスである必要があります。 - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]]、デフォルトはNone) — FSDPでラップする際に無視するモジュールのリストです。文字列を渡す場合、正規表現のfullmatchを使用してモジュール名に一致させます。fsdp_versionが2に設定されている場合、モジュールはパラメータに変換されて使用されます。 - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType]、デフォルトは'FULL_STATE_DICT') — 使用する State dict のタイプです。文字列の場合、full_state_dict、local_state_dict、またはsharded_state_dictのいずれかである必要があります。 - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig]、デフォルトはNone) — 使用する state dict の設定です。指定されない場合、state_dict_typeに基づいて決定されます。 - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig]、デフォルトはNone) — 使用する Optim state dict の設定です。指定されない場合は、state_dict_typeに基づいて決定されます。 - limit_all_gathers (
bool、デフォルトはTrue) — FSDPがCPUスレッドを明示的に同期させ、進行中のall-gatherが過多になるのを防ぐかどうかを指定します。このboolは、all-gatherをスケジュールするシャーディング戦略にのみ影響します。これを有効にすると、CUDA mallocのリトライ回数を減らすのに役立つ場合があります。 - use_orig_params (
bool、デフォルトはFalse) — オプティマイザーに元のパラメータを使用するかどうか。 - param_init_fn (
Optional[Callable[[torch.nn.Module], None]、デフォルトはNone) — メタデバイス上に現在存在するモジュールを実際のデバイスに初期化する方法を指定するCallable[torch.nn.Module] -> Noneです。sync_module_statesがTrueの場合にのみ適用されます。デフォルトでは、モジュールに対してto_emptyを呼び出すlambdaです。 - sync_module_states (
bool、デフォルトはFalse) — 個別にラップされた各 FSDP ユニットが、初期化後にすべてのランクでモジュールのパラメータが同一であることを保証するために、ランク 0 からモジュールのパラメータをブロードキャストすべきかどうかを指定します。cpu_ram_efficient_loadingがTrueの場合を除き、デフォルトはFalseです。その場合は、強制的に有効化されます。 - forward_prefetch (
bool、デフォルトはFalse) — フォワードパスの実行中に、FSDP が次の all-gather を明示的にプリフェッチするかどうか。静的グラフでのみ使用してください。 - activation_checkpointing (
bool、デフォルトはFalse) — 特定の層のアクティベーションをクリアし、バックワードパス時に再計算することでメモリ使用量を削減する技術です。実質的に、追加の計算時間を引き換えにメモリ使用量を削減します。 - cpu_ram_efficient_loading (
bool、デフォルトはNone) — True の場合、最初のプロセスのみが事前学習済みモデルのチェックポイントをロードし、その他のすべてのプロセスは重みが空になります。Transformers の場合にのみ適用されます。これを使用する場合は、sync_module_statesをTrueにする必要があります。 - transformer_cls_names_to_wrap (
Optional[List[str]]、デフォルトはNone) — ラップする Transformer レイヤーのクラス名のリストです。auto_wrap_policyがtransformer_based_wrapの場合にのみ適用されます。 - min_num_params (
Optional[int]、デフォルトはNone) — モジュールをラップするために必要な最小のパラメータ数です。auto_wrap_policyがsize_based_wrapの場合にのみ適用されます。
このプラグインは、フルシャードデータ並列性を有効にするために使用されます。
modelが与えられた場合、渡されたポリシーに基づいてauto_wrap_policyを作成し、transformer_cls_to_wrapを使用できるかどうかを判断します。
FSDPの混合精度ポリシーを設定します
StateDictTypeに基づいてステートディクトの構成を設定します。
を検証します。必要ない場合はインポートを持ち込まないよう、抽象化されています。
fsdp2_load_full_state_dict
accelerate.utils.fsdp2_load_full_state_dict
< source >( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )
パラメータ
- accelerator (
Accelerator) — アクセラレータのインスタンス - model (
torch.nn.Module) — state dict を読み込む対象のモデルです。meta device 上に配置されていることが期待されます。そうでない場合、VRAM のスパイクが発生する可能性があります。 - full_sd (
dict) — 読み込む完全な state dict。rank 0 でのみ使用できます - cpu_offload (
bool、デフォルトはFalse) — True の場合、パラメータの分散後にシャードされたパラメータを CPU に移動します。FSDP の CPU オフロードが有効な場合に必要です。バッファと無視されるパラメータは、アクセラレータデバイス上に保持されます。
完全な state dict(rank 0 のみで保持されている場合もあります)を、シャード化されたモデルに読み込みます。これは、rank 0 から他のすべての rank へパラメータをブロードキャストすることによって行われます。この関数は、モデルをインプレースで変更します。
fsdp2_switch_optimizer_parameters
accelerate.utils.fsdp2_switch_optimizer_parameters
< source >( optimizer: Optimizermapping: dict )
オプティマイザーのパラメータを新しいもの(通常はシャード化されたパラメータ)に切り替えます。この関数はオプティマイザーをインプレースで変更します。
fsdp2_prepare_model
accelerate.utils.fsdp2_prepare_model
< source >( acceleratormodel: Module ) → torch.nn.Module
FSDP2用にモデルをインプレースで準備します。元のモデルの誤用を避けるため、モデルも返します。