Accelerate documentation

Fully Sharded Data Parallel 유틸리티

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Fully Sharded Data Parallel 유틸리티

enable_fsdp_ram_efficient_loading

accelerate.utils.enable_fsdp_ram_efficient_loading

< >

( )

환경에서 FSDP를 위한 Hugging Face 모델의 RAM 효율적 로딩을 활성화합니다.

disable_fsdp_ram_efficient_loading

accelerate.utils.disable_fsdp_ram_efficient_loading

< >

( )

환경에서 FSDP를 위한 Hugging Face 모델의 RAM 효율적 로딩을 비활성화합니다.

merge_fsdp_weights

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )

매개변수

  • checkpoint_dir (str) — FSDP 체크포인트(모델 또는 옵티마이저)가 포함된 디렉터리입니다.
  • output_path (str) — 병합된 체크포인트를 저장할 경로입니다.
  • safe_serialization (bool, 선택 사항, 기본값 True) — 병합된 가중치를 safetensors로 저장할지 여부입니다(권장).
  • remove_checkpoint_dir (bool, 선택 사항, 기본값 False) — 병합 후 체크포인트 디렉토리를 삭제할지 여부입니다.

SHARDED_STATE_DICT을 사용하여 모델을 저장한 경우, 샤드된 FSDP 모델 체크포인트의 가중치를 하나의 통합 체크포인트로 병합합니다. safe_serialization가 True이면 가중치는 {output_path}/model.safetensors에, 그렇지 않으면 pytorch_model.bin에 저장됩니다.

참고: 이는 CPU-bound 프로세스입니다.

FullyShardedDataParallelPlugin

class accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

매개변수

  • fsdp_version (int, 기본값 1) — 사용할 FSDP 버전입니다. 기본값은 1입니다. 2로 설정하면 launcher는 설정이 FSDP2 형식으로 변환되었기를 기대합니다.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], 기본값 'FULL_SHARD') — 사용할 샤딩 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy 인스턴스여야 합니다. reshard_after_forward 사용을 권장하며 비권장(deprecated)되었습니다.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], fsdp_version=1의 경우 기본값은 'FULL_SHARD', fsdp_version=2의 경우 기본값은 True) — 사용할 샤딩 전략입니다. fsdp_version이 2로 설정된 경우 bool이어야 하고, 그렇지 않은 경우 str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy의 인스턴스여야 합니다.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], 기본값 'NO_PREFETCH') — 사용할 Backward prefetch 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch 인스턴스여야 합니다.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], 기본값 None) — FullyShardedDataParallel을 사용하여 혼합 정밀도 훈련을 활성화하기 위한 설정입니다. dict를 전달하는 경우, 다음 키를 가져야 합니다: param_dtype, reduce_dtype, buffer_dtype. fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.MixedPrecisionPolicy의 인스턴스일 수 있습니다. str을 전달하는 경우, 다음 값 중 하나여야 합니다: fp8, fp16, bf16, fp32. 이 값은 param_dtype, reduce_dtype, buffer_dtype를 설정하는 데 사용됩니다.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], 기본값 False) — 파라미터를 CPU로 오프로드할지 여부입니다. bool 또는 fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload 또는 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy의 인스턴스여야 합니다.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], 기본값 None) — FSDP로 래핑할 때 무시할 모듈 목록입니다. 문자열을 전달하면 정규식 fullmatch를 사용하여 모듈 이름을 기준으로 일치시킵니다. fsdp_version이 2로 설정되어 있으면, 해당 모듈은 파라미터로 변환되어 사용됩니다.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], 기본값 'FULL_STATE_DICT') — 사용할 state dict 유형입니다. 문자열인 경우 full_state_dict, local_state_dict, 또는 sharded_state_dict 중 하나여야 합니다.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], 기본값 None) — 사용할 state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], 기본값 None) — 사용할 Optim state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • limit_all_gathers (bool, 기본값 True) — FSDP가 CPU 스레드를 명시적으로 동기화하여 과도한 in-flight all-gather를 방지할지 여부입니다. 이 bool은 all-gather를 스케줄링하는 sharded 전략에만 영향을 줍니다. 이 옵션을 활성화하면 CUDA malloc 재시도 횟수를 줄이는 데 도움이 될 수 있습니다.
  • use_orig_params (bool, 기본값 False) — 옵티마이저에 원래 파라미터를 사용할지 여부입니다.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None], 기본값 None) — 현재 meta device에 있는 모듈을 실제 device로 초기화하는 방법을 지정하는 Callable[torch.nn.Module] -> None입니다. sync_module_states가 True인 경우에만 적용됩니다. 기본적으로 모듈에 to_empty를 호출하는 lambda입니다.
  • sync_module_states (bool, 기본값 False) — 개별적으로 래핑된 각 FSDP 유닛이 초기화 후 모든 랭크에서 모듈 파라미터가 동일하도록 rank 0에서 모듈 파라미터를 브로드캐스트할지 여부입니다. cpu_ram_efficient_loading이 True인 경우를 제외하고 기본값은 False이며, 이 경우 해당 옵션은 강제로 활성화됩니다.
  • forward_prefetch (bool, 기본값 False) — forward pass 실행 중에 FSDP가 다음 all-gather를 명시적으로 미리 가져오도록 할지 여부입니다. Static graphs와 함께만 사용하세요.
  • activation_checkpointing (bool, 기본값 False) — 일부 레이어의 activations를 해제하고 backward pass 중에 다시 계산하여 메모리 사용량을 줄이는 기법입니다. 즉, 추가적인 계산 시간을 희생하여 메모리 사용량을 줄이는 방식입니다.
  • cpu_ram_efficient_loading (bool, 기본값 None) — True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 나머지 모든 프로세스는 빈 가중치를 가집니다. Transformers에만 적용됩니다. 이 옵션을 사용할 때 sync_module_states는 True여야 합니다.
  • transformer_cls_names_to_wrap (Optional[List[str]], 기본값 None) — 래핑할 transformer 레이어 클래스 이름 목록입니다. auto_wrap_policy가 transformer_based_wrap인 경우에만 적용됩니다.
  • min_num_params (Optional[int], 기본값 None) — 래핑될 모듈이 가져야 하는 최소 매개변수 수입니다. auto_wrap_policy가 size_based_wrap인 경우에만 적용됩니다.

이 플러그인은 완전 샤딩 데이터 병렬성을 활성화하는 데 사용됩니다.

set_auto_wrap_policy

< >

( model )

model을 기반으로 전달된 정책에 따라 auto_wrap_policy를 생성하고, transformer_cls_to_wrap를 사용할 수 있는지 확인합니다.

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

FSDP의 혼합 정밀도 정책을 설정합니다

set_state_dict_type

< >

( state_dict_type = None )

StateDictType에 따라 state dict 구성을 설정합니다.

validate_mixed_precision_policy

< >

( )

필요하지 않을 경우 가져오기를 피하기 위해 추상화되어 있는 혼합 정밀도 정책을 검증합니다.

fsdp2_load_full_state_dict

accelerate.utils.fsdp2_load_full_state_dict

< >

( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )

매개변수

  • accelerator (Accelerator) — accelerator 인스턴스
  • model (torch.nn.Module) — state dict를 로드할 모델입니다. meta device에 있어야 하며, 그렇지 않으면 VRAM 스파이크가 발생할 수 있습니다
  • full_sd (dict) — 로드할 전체 state dict입니다. rank 0에서만 사용할 수 있습니다
  • cpu_offload (bool, 기본값 False) — True인 경우, 분배 후 샤드된 파라미터를 CPU로 이동합니다. FSDP CPU 오프로딩이 활성화된 경우 필수입니다. 버퍼와 무시된 파라미터는 가속기 디바이스에 유지됩니다.

전체 state dict(0번 rank에만 있을 수 있음)를 sharded model에 로드합니다. 이는 0번 rank에서 모든 다른 rank로 매개변수를 브로드캐스트하는 방식으로 수행됩니다. 이 함수는 모델을 in-place로 수정합니다.

fsdp2_switch_optimizer_parameters

accelerate.utils.fsdp2_switch_optimizer_parameters

< >

( optimizer: Optimizermapping: dict )

매개변수

  • optimizer (torch.optim.Optimizer) — 원래 모델 파라미터를 포함하는 Optimizer 인스턴스
  • mapping (dict) — 원래 파라미터의 데이터 포인터(또는 메타 파라미터의 경우 identity)에서 샤드된 파라미터로 매핑합니다.

Raises

KeyError

  • KeyError — 옵티마이저의 파라미터를 샤드된 버전으로 전환할 수 없는 경우 발생합니다. 이는 절대 발생해서는 안 되며 버그를 나타냅니다. 예외를 발생시키지 않고 원래의 파라미터를 유지하는 경우, 학습이 수치적으로 정확하지 않게 되고 가중치가 업데이트되지 않습니다.

optimizer의 매개변수를 새로운 매개변수(일반적인 경우 샤드된 매개변수)로 전환합니다. 이 함수는 optimizer를 인플레이스(in-place)로 수정합니다.

fsdp2_prepare_model

accelerate.utils.fsdp2_prepare_model

< >

( acceleratormodel: Module ) → torch.nn.Module

매개변수

  • accelerator (Accelerator) — accelerator 인스턴스
  • model (torch.nn.Module) — 준비할 모델

반환값

torch.nn.Module

준비된 모델

모델을 FSDP2를 위해 인플레이스로 준비합니다. 원본 모델의 오용을 방지하기 위해 모델도 반환합니다.

fsdp2_prepare_auto_wrap_policy

Update on GitHub