Accelerate documentation
Fully Sharded Data Parallel 유틸리티
Fully Sharded Data Parallel 유틸리티
enable_fsdp_ram_efficient_loading
환경에서 FSDP를 위한 Hugging Face 모델의 RAM 효율적 로딩을 활성화합니다.
disable_fsdp_ram_efficient_loading
환경에서 FSDP를 위한 Hugging Face 모델의 RAM 효율적 로딩을 비활성화합니다.
merge_fsdp_weights
accelerate.utils.merge_fsdp_weights
< source >( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )
SHARDED_STATE_DICT을 사용하여 모델을 저장한 경우, 샤드된 FSDP 모델 체크포인트의 가중치를 하나의 통합 체크포인트로 병합합니다. safe_serialization가 True이면 가중치는 {output_path}/model.safetensors에, 그렇지 않으면 pytorch_model.bin에 저장됩니다.
참고: 이는 CPU-bound 프로세스입니다.
FullyShardedDataParallelPlugin
class accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
매개변수
- fsdp_version (
int, 기본값1) — 사용할 FSDP 버전입니다. 기본값은 1입니다. 2로 설정하면 launcher는 설정이 FSDP2 형식으로 변환되었기를 기대합니다. - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy], 기본값'FULL_SHARD') — 사용할 샤딩 전략입니다.str또는torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy인스턴스여야 합니다.reshard_after_forward사용을 권장하며 비권장(deprecated)되었습니다. - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool],fsdp_version=1의 경우 기본값은'FULL_SHARD',fsdp_version=2의 경우 기본값은True) — 사용할 샤딩 전략입니다.fsdp_version이 2로 설정된 경우 bool이어야 하고, 그렇지 않은 경우str또는torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy의 인스턴스여야 합니다. - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch], 기본값'NO_PREFETCH') — 사용할 Backward prefetch 전략입니다.str또는torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch인스턴스여야 합니다. - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], 기본값None) — FullyShardedDataParallel을 사용하여 혼합 정밀도 훈련을 활성화하기 위한 설정입니다.dict를 전달하는 경우, 다음 키를 가져야 합니다:param_dtype,reduce_dtype,buffer_dtype.fsdp_version이 2로 설정된 경우torch.distributed.fsdp.MixedPrecisionPolicy의 인스턴스일 수 있습니다.str을 전달하는 경우, 다음 값 중 하나여야 합니다: fp8, fp16, bf16, fp32. 이 값은param_dtype,reduce_dtype,buffer_dtype를 설정하는 데 사용됩니다. - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], 기본값False) — 파라미터를 CPU로 오프로드할지 여부입니다.bool또는fsdp_version이 2로 설정된 경우torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload또는torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy의 인스턴스여야 합니다. - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]], 기본값None) — FSDP로 래핑할 때 무시할 모듈 목록입니다. 문자열을 전달하면 정규식 fullmatch를 사용하여 모듈 이름을 기준으로 일치시킵니다.fsdp_version이 2로 설정되어 있으면, 해당 모듈은 파라미터로 변환되어 사용됩니다. - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType], 기본값'FULL_STATE_DICT') — 사용할 state dict 유형입니다. 문자열인 경우full_state_dict,local_state_dict, 또는sharded_state_dict중 하나여야 합니다. - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], 기본값None) — 사용할 state dict config입니다. 전달되지 않으면state_dict_type에 따라 결정됩니다. - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], 기본값None) — 사용할 Optim state dict config입니다. 전달되지 않으면state_dict_type에 따라 결정됩니다. - limit_all_gathers (
bool, 기본값True) — FSDP가 CPU 스레드를 명시적으로 동기화하여 과도한 in-flight all-gather를 방지할지 여부입니다. 이 bool은 all-gather를 스케줄링하는 sharded 전략에만 영향을 줍니다. 이 옵션을 활성화하면 CUDA malloc 재시도 횟수를 줄이는 데 도움이 될 수 있습니다. - use_orig_params (
bool, 기본값False) — 옵티마이저에 원래 파라미터를 사용할지 여부입니다. - param_init_fn (
Optional[Callable[[torch.nn.Module], None], 기본값None) — 현재 meta device에 있는 모듈을 실제 device로 초기화하는 방법을 지정하는Callable[torch.nn.Module] -> None입니다.sync_module_states가True인 경우에만 적용됩니다. 기본적으로 모듈에to_empty를 호출하는lambda입니다. - sync_module_states (
bool, 기본값False) — 개별적으로 래핑된 각 FSDP 유닛이 초기화 후 모든 랭크에서 모듈 파라미터가 동일하도록 rank 0에서 모듈 파라미터를 브로드캐스트할지 여부입니다.cpu_ram_efficient_loading이True인 경우를 제외하고 기본값은False이며, 이 경우 해당 옵션은 강제로 활성화됩니다. - forward_prefetch (
bool, 기본값False) — forward pass 실행 중에 FSDP가 다음 all-gather를 명시적으로 미리 가져오도록 할지 여부입니다. Static graphs와 함께만 사용하세요. - activation_checkpointing (
bool, 기본값False) — 일부 레이어의 activations를 해제하고 backward pass 중에 다시 계산하여 메모리 사용량을 줄이는 기법입니다. 즉, 추가적인 계산 시간을 희생하여 메모리 사용량을 줄이는 방식입니다. - cpu_ram_efficient_loading (
bool, 기본값None) — True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 나머지 모든 프로세스는 빈 가중치를 가집니다. Transformers에만 적용됩니다. 이 옵션을 사용할 때sync_module_states는True여야 합니다. - transformer_cls_names_to_wrap (
Optional[List[str]], 기본값None) — 래핑할 transformer 레이어 클래스 이름 목록입니다.auto_wrap_policy가transformer_based_wrap인 경우에만 적용됩니다. - min_num_params (
Optional[int], 기본값None) — 래핑될 모듈이 가져야 하는 최소 매개변수 수입니다.auto_wrap_policy가size_based_wrap인 경우에만 적용됩니다.
이 플러그인은 완전 샤딩 데이터 병렬성을 활성화하는 데 사용됩니다.
model을 기반으로 전달된 정책에 따라 auto_wrap_policy를 생성하고, transformer_cls_to_wrap를 사용할 수 있는지 확인합니다.
FSDP의 혼합 정밀도 정책을 설정합니다
StateDictType에 따라 state dict 구성을 설정합니다.
필요하지 않을 경우 가져오기를 피하기 위해 추상화되어 있는 혼합 정밀도 정책을 검증합니다.
fsdp2_load_full_state_dict
accelerate.utils.fsdp2_load_full_state_dict
< source >( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )
매개변수
- accelerator (
Accelerator) — accelerator 인스턴스 - model (
torch.nn.Module) — state dict를 로드할 모델입니다. meta device에 있어야 하며, 그렇지 않으면 VRAM 스파이크가 발생할 수 있습니다 - full_sd (
dict) — 로드할 전체 state dict입니다. rank 0에서만 사용할 수 있습니다 - cpu_offload (
bool, 기본값False) — True인 경우, 분배 후 샤드된 파라미터를 CPU로 이동합니다. FSDP CPU 오프로딩이 활성화된 경우 필수입니다. 버퍼와 무시된 파라미터는 가속기 디바이스에 유지됩니다.
전체 state dict(0번 rank에만 있을 수 있음)를 sharded model에 로드합니다. 이는 0번 rank에서 모든 다른 rank로 매개변수를 브로드캐스트하는 방식으로 수행됩니다. 이 함수는 모델을 in-place로 수정합니다.
fsdp2_switch_optimizer_parameters
accelerate.utils.fsdp2_switch_optimizer_parameters
< source >( optimizer: Optimizermapping: dict )
매개변수
- optimizer (
torch.optim.Optimizer) — 원래 모델 파라미터를 포함하는 Optimizer 인스턴스 - mapping (
dict) — 원래 파라미터의 데이터 포인터(또는 메타 파라미터의 경우 identity)에서 샤드된 파라미터로 매핑합니다.
Raises
KeyError
KeyError— 옵티마이저의 파라미터를 샤드된 버전으로 전환할 수 없는 경우 발생합니다. 이는 절대 발생해서는 안 되며 버그를 나타냅니다. 예외를 발생시키지 않고 원래의 파라미터를 유지하는 경우, 학습이 수치적으로 정확하지 않게 되고 가중치가 업데이트되지 않습니다.
optimizer의 매개변수를 새로운 매개변수(일반적인 경우 샤드된 매개변수)로 전환합니다. 이 함수는 optimizer를 인플레이스(in-place)로 수정합니다.
fsdp2_prepare_model
accelerate.utils.fsdp2_prepare_model
< source >( acceleratormodel: Module ) → torch.nn.Module
모델을 FSDP2를 위해 인플레이스로 준비합니다. 원본 모델의 오용을 방지하기 위해 모델도 반환합니다.