Accelerate documentation
Handlers de Kwargs
Handlers de Kwargs
Os seguintes objetos podem ser passados para o Accelerator principal para personalizar a forma como alguns objetos do PyTorch relacionados ao treinamento distribuído ou à precisão mista são criados.
AutocastKwargs
classe accelerate.AutocastKwargs
< source >( enabled: bool = Truecache_enabled: bool | None = None )
Use este objeto em seu Accelerator para personalizar o comportamento de torch.autocast. Consulte a
documentação deste context manager para mais
informações sobre cada argumento.
DistributedDataParallelKwargs
classe accelerate.DistributedDataParallelKwargs
< source >( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )
Use este objeto em seu Accelerator para personalizar como seu modelo é envolvido em um torch.nn.parallel.DistributedDataParallel. Consulte a documentação deste wrapper para mais informações sobre cada argumento.
ProfileKwargs
classe accelerate.ProfileKwargs
< source >( activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = Noneschedule_option: dict[str, int] | None = Noneon_trace_ready: typing.Callable | None = Nonerecord_shapes: bool = Falseprofile_memory: bool = Falsewith_stack: bool = Falsewith_flops: bool = Falsewith_modules: bool = Falseoutput_trace_dir: str | None = None )
Parâmetros
- activities (
List[str], opcional, padrãoNone) — A lista de grupos de atividades a serem usados no profiling. Deve ser um dos valores"cpu","xpu","mtia", “hpu” ou"cuda". - schedule_option (
Dict[str, int], opcional, padrãoNone) — A opção de agendamento a ser usada pelo profiler. As chaves disponíveis sãowait,warmup,active,repeateskip_first. O profiler ignorará os primeirosskip_firstpassos, em seguida aguardará porwaitpassos, depois realizará o warmup nos próximoswarmuppassos, em seguida fará o registro ativo nos próximosactivepassos e depois repetirá o ciclo começando comwaitpassos. O número opcional de ciclos é especificado com o parâmetrorepeat; o valor zero significa que os ciclos continuarão até que o profiling seja finalizado. - on_trace_ready (
Callable, opcional, padrãoNone) — Callable que é chamado a cada etapa quando o schedule retornaProfilerAction.RECORD_AND_SAVEdurante o perfilamento. - record_shapes (
bool, opcional, padrãoFalse) — Salva informações sobre as formas de entrada dos operadores. - profile_memory (
bool, opcional, padrãoFalse) — Rastreia a alocação/liberação de memória de tensores - with_stack (
bool, opcional, padrãoFalse) — Registra informações de origem (arquivo e número da linha) para as operações. - with_flops (
bool, opcional, padrãoFalse) — Use a fórmula para estimar os FLOPS de operadores específicos - with_modules (
bool, opcional, padrãoFalse) — Registra a hierarquia de módulos (incluindo nomes de funções) correspondente à pilha de chamadas do op. - output_trace_dir (
str, opcional, padrãoNone) — Exporta o trace coletado no formato JSON do Chrome. O Chrome usa a visualização ‘chrome://tracing’ para arquivos json. O padrão é None, o que significa que o profiling não armazena arquivos json.
Use este objeto em seu Accelerator para personalizar a inicialização do profiler. Consulte a documentação deste context manager para mais informações sobre cada argumento.
Exemplo:
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs
kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])Crie um objeto de profiler com a configuração atual.
GradScalerKwargs
classe accelerate.GradScalerKwargs
< source >( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )
Use este objeto em seu Accelerator para personalizar o comportamento da precisão mista, especificamente como o torch.amp.GradScaler ou torch.cuda.amp.GradScaler utilizado é criado. Consulte a documentação deste scaler para mais informações sobre cada argumento.
InitProcessGroupKwargs
classe accelerate.InitProcessGroupKwargs
< source >( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )
Use este objeto em seu Accelerator para personalizar a inicialização dos processos distribuídos. Consulte a documentação deste método para mais informações sobre cada argumento.
Observação: Se timeout for definido como None, o valor padrão será baseado em como backend está configurado.
KwargsHandler
Mixin interno que implementa um método to_kwargs() para uma dataclass.
Retorna um dicionário contendo os atributos com valores diferentes dos padrões desta classe.