Accelerate documentation

Handlers de Kwargs

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Handlers de Kwargs

Os seguintes objetos podem ser passados para o Accelerator principal para personalizar a forma como alguns objetos do PyTorch relacionados ao treinamento distribuído ou à precisão mista são criados.

AutocastKwargs

classe accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

Use este objeto em seu Accelerator para personalizar o comportamento de torch.autocast. Consulte a documentação deste context manager para mais informações sobre cada argumento.

Exemplo:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

DistributedDataParallelKwargs

classe accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

Use este objeto em seu Accelerator para personalizar como seu modelo é envolvido em um torch.nn.parallel.DistributedDataParallel. Consulte a documentação deste wrapper para mais informações sobre cada argumento.

Exemplo:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

ProfileKwargs

classe accelerate.ProfileKwargs

< >

( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )

Parâmetros

  • activities (List[str], opcional, padrão None) — A lista de grupos de atividades a serem usados no profiling. Deve ser um dos valores "cpu", "xpu", "mtia", “hpu” ou "cuda".
  • schedule_option (Dict[str, int], opcional, padrão None) — A opção de agendamento a ser usada pelo profiler. As chaves disponíveis são wait, warmup, active, repeat e skip_first. O profiler ignorará os primeiros skip_first passos, em seguida aguardará por wait passos, depois realizará o warmup nos próximos warmup passos, em seguida fará o registro ativo nos próximos active passos e depois repetirá o ciclo começando com wait passos. O número opcional de ciclos é especificado com o parâmetro repeat; o valor zero significa que os ciclos continuarão até que o profiling seja finalizado.
  • on_trace_ready (Callable, opcional, padrão None) — Callable que é chamado a cada etapa quando o schedule retorna ProfilerAction.RECORD_AND_SAVE durante o perfilamento.
  • record_shapes (bool, opcional, padrão False) — Salva informações sobre as formas de entrada dos operadores.
  • profile_memory (bool, opcional, padrão False) — Rastreia a alocação/liberação de memória de tensores
  • with_stack (bool, opcional, padrão False) — Registra informações de origem (arquivo e número da linha) para as operações.
  • with_flops (bool, opcional, padrão False) — Use a fórmula para estimar os FLOPS de operadores específicos
  • with_modules (bool, opcional, padrão False) — Registra a hierarquia de módulos (incluindo nomes de funções) correspondente à pilha de chamadas do op.
  • output_trace_dir (str, opcional, padrão None) — Exporta o trace coletado no formato JSON do Chrome. O Chrome usa a visualização ‘chrome://tracing’ para arquivos json. O padrão é None, o que significa que o profiling não armazena arquivos json.

Use este objeto em seu Accelerator para personalizar a inicialização do profiler. Consulte a documentação deste context manager para mais informações sobre cada argumento.

Exemplo:

from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])

build

< >

( ) → torch.profiler.profile

Retorna

torch.profiler.profile

O objeto do profiler.

Crie um objeto de profiler com a configuração atual.

GradScalerKwargs

classe accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

Use este objeto em seu Accelerator para personalizar o comportamento da precisão mista, especificamente como o torch.amp.GradScaler ou torch.cuda.amp.GradScaler utilizado é criado. Consulte a documentação deste scaler para mais informações sobre cada argumento.

Exemplo:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

InitProcessGroupKwargs

classe accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

Use este objeto em seu Accelerator para personalizar a inicialização dos processos distribuídos. Consulte a documentação deste método para mais informações sobre cada argumento.

Observação: Se timeout for definido como None, o valor padrão será baseado em como backend está configurado.

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

KwargsHandler

classe accelerate.utils.KwargsHandler

< >

( )

Mixin interno que implementa um método to_kwargs() para uma dataclass.

to_kwargs

< >

( )

Retorna um dicionário contendo os atributos com valores diferentes dos padrões desta classe.

Update on GitHub