Accelerate documentation

Fully Sharded Data Parallel ユーティリティ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Fully Sharded Data Parallel ユーティリティ

enable_fsdp_ram_efficient_loading

accelerate.utils.enable_fsdp_ram_efficient_loading

< >

( )

環境内でFSDP用のHugging FaceモデルのRAM効率の良い読み込みを有効にします。

disable_fsdp_ram_efficient_loading

accelerate.utils.disable_fsdp_ram_efficient_loading

< >

( )

環境内で、FSDPによるHugging FaceモデルのRAM効率の良い読み込みを無効にします。

merge_fsdp_weights

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )

パラメータ

  • checkpoint_dir (str) — FSDPのチェックポイント(モデルまたはオプティマイザー)を含むディレクトリ。
  • output_path (str) — マージされたチェックポイントを保存するパス。
  • safe_serialization (bool、任意、デフォルトは True) — マージされた重みを safetensors で保存するかどうか(推奨)。
  • remove_checkpoint_dir (bool、省略可能、デフォルトはFalse) — マージ後にチェックポイントディレクトリを削除するかどうかを指定します。

SHARDED_STATE_DICT をモデルに使用した場合に使用する、シャーディングされた FSDP モデルのチェックポイントから重みを単一の統合チェックポイントにマージする処理です。safe_serialization が設定されている場合は {output_path}/model.safetensors に、それ以外の場合は pytorch_model.bin に重みが保存されます。

注: これは CPU 依存のプロセスです。

FullyShardedDataParallelPlugin

クラス accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

パラメータ

  • fsdp_version (int、デフォルトは 1) — 使用する FSDP のバージョンです。デフォルトは 1 です。2 に設定すると、ランチャーは設定が FSDP2 形式に変換されていることを期待します。
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy]、デフォルトは 'FULL_SHARD') — 使用するシャーディング戦略です。str または torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy のインスタンスである必要があります。reshard_after_forward に置き換えられるため、非推奨です。
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool]、fsdp_version=1 の場合は 'FULL_SHARD'、fsdp_version=2 の場合は True がデフォルト) — 使用するシャーディング戦略です。fsdp_version が 2 に設定されている場合は bool 型、それ以外の場合は str または torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy のインスタンスである必要があります。
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch]、デフォルトは 'NO_PREFETCH') — 使用するバックワードプリフェッチ戦略です。str または torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch のインスタンスのいずれかである必要があります。
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]]、デフォルトは None) — FullyShardedDataParallel による混合精度学習を有効にするための設定です。dict を渡す場合は、param_dtype、reduce_dtype、buffer_dtype というキーを持つ必要があります。fsdp_version が 2 に設定されている場合、torch.distributed.fsdp.MixedPrecisionPolicy のインスタンスを渡すこともできます。str を渡す場合は、fp8、fp16、bf16、fp32 のいずれかの値である必要があり、param_dtype、reduce_dtype、buffer_dtype を設定するために使用されます。
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy]、デフォルトはFalse) — パラメータをCPUにオフロードするかどうか。bool、またはfsdp_versionが2に設定されている場合はtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadまたはtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyのインスタンスである必要があります。
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]]、デフォルトはNone) — FSDPでラップする際に無視するモジュールのリストです。文字列を渡す場合、正規表現のfullmatchを使用してモジュール名に一致させます。fsdp_versionが2に設定されている場合、モジュールはパラメータに変換されて使用されます。
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType]、デフォルトは 'FULL_STATE_DICT') — 使用する State dict のタイプです。文字列の場合、full_state_dict、local_state_dict、または sharded_state_dict のいずれかである必要があります。
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig]、デフォルトはNone) — 使用する state dict の設定です。指定されない場合、state_dict_type に基づいて決定されます。
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig]、デフォルトはNone) — 使用する Optim state dict の設定です。指定されない場合は、state_dict_typeに基づいて決定されます。
  • limit_all_gathers (bool、デフォルトはTrue) — FSDPがCPUスレッドを明示的に同期させ、進行中のall-gatherが過多になるのを防ぐかどうかを指定します。このboolは、all-gatherをスケジュールするシャーディング戦略にのみ影響します。これを有効にすると、CUDA mallocのリトライ回数を減らすのに役立つ場合があります。
  • use_orig_params (bool、デフォルトはFalse) — オプティマイザーに元のパラメータを使用するかどうか。
  • param_init_fn (Optional[Callable[[torch.nn.Module], None]、デフォルトは None) — メタデバイス上に現在存在するモジュールを実際のデバイスに初期化する方法を指定する Callable[torch.nn.Module] -> None です。 sync_module_states が True の場合にのみ適用されます。デフォルトでは、モジュールに対して to_empty を呼び出す lambda です。
  • sync_module_states (bool、デフォルトはFalse) — 個別にラップされた各 FSDP ユニットが、初期化後にすべてのランクでモジュールのパラメータが同一であることを保証するために、ランク 0 からモジュールのパラメータをブロードキャストすべきかどうかを指定します。cpu_ram_efficient_loading がTrueの場合を除き、デフォルトはFalseです。その場合は、強制的に有効化されます。
  • forward_prefetch (bool、デフォルトはFalse) — フォワードパスの実行中に、FSDP が次の all-gather を明示的にプリフェッチするかどうか。静的グラフでのみ使用してください。
  • activation_checkpointing (bool、デフォルトはFalse) — 特定の層のアクティベーションをクリアし、バックワードパス時に再計算することでメモリ使用量を削減する技術です。実質的に、追加の計算時間を引き換えにメモリ使用量を削減します。
  • cpu_ram_efficient_loading (bool、デフォルトはNone) — True の場合、最初のプロセスのみが事前学習済みモデルのチェックポイントをロードし、その他のすべてのプロセスは重みが空になります。Transformers の場合にのみ適用されます。これを使用する場合は、sync_module_states を True にする必要があります。
  • transformer_cls_names_to_wrap (Optional[List[str]]、デフォルトは None) — ラップする Transformer レイヤーのクラス名のリストです。auto_wrap_policy が transformer_based_wrap の場合にのみ適用されます。
  • min_num_params (Optional[int]、デフォルトは None) — モジュールをラップするために必要な最小のパラメータ数です。auto_wrap_policy が size_based_wrap の場合にのみ適用されます。

このプラグインは、フルシャードデータ並列性を有効にするために使用されます。

set_auto_wrap_policy

< >

( model )

modelが与えられた場合、渡されたポリシーに基づいてauto_wrap_policyを作成し、transformer_cls_to_wrapを使用できるかどうかを判断します。

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

FSDPの混合精度ポリシーを設定します

set_state_dict_type

< >

( state_dict_type = None )

StateDictTypeに基づいてステートディクトの構成を設定します。

validate_mixed_precision_policy

< >

( )

を検証します。必要ない場合はインポートを持ち込まないよう、抽象化されています。

fsdp2_load_full_state_dict

accelerate.utils.fsdp2_load_full_state_dict

< >

( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )

パラメータ

  • accelerator (Accelerator) — アクセラレータのインスタンス
  • model (torch.nn.Module) — state dict を読み込む対象のモデルです。meta device 上に配置されていることが期待されます。そうでない場合、VRAM のスパイクが発生する可能性があります。
  • full_sd (dict) — 読み込む完全な state dict。rank 0 でのみ使用できます
  • cpu_offload (bool、デフォルトはFalse) — True の場合、パラメータの分散後にシャードされたパラメータを CPU に移動します。FSDP の CPU オフロードが有効な場合に必要です。バッファと無視されるパラメータは、アクセラレータデバイス上に保持されます。

完全な state dict(rank 0 のみで保持されている場合もあります)を、シャード化されたモデルに読み込みます。これは、rank 0 から他のすべての rank へパラメータをブロードキャストすることによって行われます。この関数は、モデルをインプレースで変更します。

fsdp2_switch_optimizer_parameters

accelerate.utils.fsdp2_switch_optimizer_parameters

< >

( optimizer: Optimizermapping: dict )

パラメータ

  • optimizer (torch.optim.Optimizer) — 元のモデルのパラメータを含む Optimizer インスタンス
  • mapping (dict) — 元のパラメータのデータポインタ(メタパラメータの場合は同一性)から、シャード化されたパラメータへのマッピング。

例外

KeyError

  • KeyError — オプティマイザーのパラメーターをシャード版に切り替えることができなかった場合。これは本来発生すべきではなく、バグを示しています。例外を発生させる代わりに元のパラメーターを保持した場合、トレーニングは数値的に正しくなくなり、重みが更新されなくなります。

オプティマイザーのパラメータを新しいもの(通常はシャード化されたパラメータ)に切り替えます。この関数はオプティマイザーをインプレースで変更します。

fsdp2_prepare_model

accelerate.utils.fsdp2_prepare_model

< >

( acceleratormodel: Module ) → torch.nn.Module

パラメータ

  • accelerator (Accelerator) — アクセラレータのインスタンス
  • model (torch.nn.Module) — 準備するモデル

戻り値

torch.nn.Module

準備が整ったモデル

FSDP2用にモデルをインプレースで準備します。元のモデルの誤用を避けるため、モデルも返します。

fsdp2_prepare_auto_wrap_policy

Update on GitHub