Accelerate documentation
Mecanismos internos do Accelerate
Mecanismos internos do Accelerate
Internamente, o Accelerate funciona analisando primeiro o ambiente em que o script é iniciado para determinar qual tipo de configuração distribuída é usada, quantos processos diferentes existem e em qual deles o script atual está. Todas essas informações são armazenadas no ~AcceleratorState.
Esta classe é inicializada pela primeira vez ao instanciar um ~Accelerator, bem como ao executar qualquer inicialização específica que sua configuração distribuída necessite. Seu estado é então compartilhado de forma única entre todas as instâncias de AcceleratorState. (O mesmo também pode ser feito com o PartialState, uma versão mais básica da qual ele herda)
Em seguida, ao chamar prepare(), a biblioteca:
- envolve seu(s) modelo(s) no contêiner adaptado para a configuração distribuída,
- envolve seu(s) otimizador(es) em um AcceleratedOptimizer,
- envolve seu(s) agendador(es) em um AcceleratedScheduler
- cria uma nova versão do(s) seu(s) dataloader(s) em um DataLoaderShard ou DataLoaderDispatcher
Embora os modelos, otimizadores e agendadores sejam apenas colocados em wrappers simples, os dataloaders são recriados. Isso ocorre principalmente porque o PyTorch não permite que o usuário altere o batch_sampler de um dataloader após sua criação e a biblioteca gerencia o sharding dos seus dados entre processos alterando esse batch_sampler para render cada num_processes lotes (se habilitado).
O DataLoaderShard é uma subclasse de DataLoader que adiciona as seguintes funcionalidades:
- ele sincroniza o gerador de números aleatórios apropriado de todos os processos a cada nova iteração, para garantir que qualquer aleatorização (como a embaralhamento) seja feita da mesma forma exata entre os processos.
- ele coloca os lotes no dispositivo adequado antes de retorná-los (a menos que você tenha optado por
device_placement=True).
As subclasses do DataLoaderDispatcher diferem do DataLoaderShard no fato de que, ao iterar pelo DataLoader, os dados começam todos no processo 0 e depois são divididos e enviados para cada processo, em vez de isso ocorrer no nível do dataset.
A sincronização do gerador de números aleatórios sincronizará por padrão:
- o atributo
generatorde um determinado sampler (como oRandomSamplerdo PyTorch) para PyTorch >= 1.6 - o principal gerador de números aleatórios no PyTorch <=1.5.1
Você pode escolher qual(ais) gerador(es) de números aleatórios sincronizar com o argumento rng_types do principal Accelerator. No PyTorch >= 1.6, é recomendado confiar em um generator local para evitar definir a mesma semente no gerador principal de números aleatórios em todos os processos.
A sincronização do gerador principal de números aleatórios do torch (ou CUDA ou XLA) afetará quaisquer outros artefatos aleatórios potenciais que você possa ter no seu conjunto de dados (como aumento de dados aleatório), no sentido de que todos os processos receberão os mesmos números aleatórios dos módulos aleatórios do torch (portanto, aplicarão o mesmo aumento de dados aleatório, se for controlado pelo torch).
A parte de randomização do seu sampler personalizado, batch sampler ou dataset iterável deve ser feita usando um objeto local
torch.Generator(no PyTorch >= 1.6), veja o tradicionalRandomSamplercomo exemplo.
Se você tiver torchdata>=0.8.0 instalado e tiver passado use_stateful_dataloader=True para o seu DataLoaderConfiguration, essas classes herdarão diretamente de StatefulDataLoader, em vez disso, e manterão um state_dict.
Para mais detalhes sobre os detalhes internos, consulte a página de detalhes internos.
Update on GitHub