Accelerate documentation

Compilação

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Compilação

Visão geral

O Pytorch 2.0 introduziu o torch.compile, um recurso poderoso que faz o código do PyTorch executar mais rápido ao compilar o código do PyTorch em kernels otimizados via JIT. Os principais recursos do torch.compile incluem:

  • Melhoria de desempenho: Acelera significativamente a execução do modelo ao otimizar o grafo de computação.
  • Facilidade de uso: Exige alterações mínimas de código para implementação, tornando-o altamente acessível.
  • Compatibilidade: Funciona perfeitamente com o código e os modelos existentes do PyTorch.

Quando usado com Accelerate, torch.compile se integra de forma suave aos fluxos de trabalho de treinamento distribuído, permitindo que você se beneficie simultaneamente da execução distribuída e das otimizações de compilação.

A primeira execução do código compilado geralmente leva mais tempo, pois inclui o tempo de compilação, mas as execuções subsequentes são significativamente mais rápidas. Para desempenho ideal em diferentes cenários, torch.compile oferece vários modos, como "default", "reduce-overhead" (que usa CUDA graphs para reduzir ainda mais o overhead) e "max-autotune" (que realiza autotuning extensivo para encontrar os melhores kernels para o seu modelo).

Usando torch.compile com Accelerate

O Accelerate fornece o TorchDynamoPlugin para uma integração fácil e transparente do torch.compile nos seus scripts de treinamento.

from accelerate import Accelerator
from accelerate.utils import TorchDynamoPlugin

# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
    backend="inductor",  # Options: "inductor", "aot_eager", "aot_nvfuser", etc.
    mode="default",      # Options: "default", "reduce-overhead", "max-autotune"
    fullgraph=True,
    dynamic=False
)

# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply torch.compile to your model
model = accelerator.prepare(model)

É compatível com todos os outros recursos e plugins do Accelerate, incluindo precisão mista, treinamento distribuído (DDP, FSDP, Deepspeed), etc.

Compilação Regional

Em vez de tentar compilar o modelo inteiro, o que geralmente apresenta um grande espaço de problemas para otimização. A compilação regional visa blocos repetidos da mesma classe e os compila sequencialmente para aproveitar o cache do compilador. Por exemplo, em GPT2LMHeadModel, o bloco/classe repetido é GPT2Block, e pode ser acessado como model.transformer.h[0]. O restante do modelo (por exemplo, model.lm_head) é compilado separadamente.

Isso nos permite acelerar o overhead de compilação / cold start de modelos como LLMs e Transformers em geral. Veja https://pytorch.org/tutorials/recipes/regional_compilation.html para mais detalhes.

Como Usar Compilação Regional

Ele pode ser ativado definindo use_regional_compilation=True na configuração do TorchDynamoPlugin:

# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
    use_regional_compilation=True,
    ... # other parameters
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply compile_regions to your model
model = accelerator.prepare(model)

Você também pode usar o utilitário accelerate.utils.compile_regions diretamente da mesma forma que usaria o torch.compile.

Benefícios da Compilação Regional

Realizamos benchmarks extensos comparando a compilação completa e a compilação regional usando o recurso torch.compile no PyTorch. Os resultados completos estão disponíveis no repositório accelerate. As principais conclusões dos nossos benchmarks são:

  1. Desempenho comparável: A compilação regional oferece acelerações de desempenho semelhantes às da compilação completa, especialmente para modelos maiores.
  2. Compilação mais rápida: A compilação regional reduz significativamente o tempo necessário para compilar modelos, tornando-a uma escolha mais eficiente para implantação.
  3. Impacto do tamanho do lote: A diferença de desempenho entre as estratégias de compilação diminui com tamanhos de lote maiores, indicando que o sobrecusto da compilação tem menos impacto nesses cenários.
  4. Consideração sobre o tamanho do modelo: Os benefícios da compilação regional são mais evidentes em modelos maiores, onde a economia de tempo de compilação pode ser substancial.
  5. Aplicação prática: Para aplicações do mundo real, a compilação regional é uma escolha prática para otimizar os tempos de inicialização fria do treinamento, especialmente ao trabalhar com modelos grandes.

Conclusão

Tanto a compilação completa quanto a regional podem acelerar significativamente seus modelos. A compilação regional oferece um equilíbrio prático entre o tempo de compilação e o desempenho em tempo de execução, especialmente para o treinamento de modelos grandes com tamanhos de lote substanciais.

Update on GitHub