Accelerate documentation
Compilação
Compilação
Visão geral
O Pytorch 2.0 introduziu o torch.compile, um recurso poderoso que faz o código do PyTorch executar mais rápido ao compilar o código do PyTorch em kernels otimizados via JIT. Os principais recursos do torch.compile incluem:
- Melhoria de desempenho: Acelera significativamente a execução do modelo ao otimizar o grafo de computação.
- Facilidade de uso: Exige alterações mínimas de código para implementação, tornando-o altamente acessível.
- Compatibilidade: Funciona perfeitamente com o código e os modelos existentes do PyTorch.
Quando usado com Accelerate, torch.compile se integra de forma suave aos fluxos de trabalho de treinamento distribuído, permitindo que você se beneficie simultaneamente da execução distribuída e das otimizações de compilação.
A primeira execução do código compilado geralmente leva mais tempo, pois inclui o tempo de compilação, mas as execuções subsequentes são significativamente mais rápidas. Para desempenho ideal em diferentes cenários, torch.compile oferece vários modos, como "default", "reduce-overhead" (que usa CUDA graphs para reduzir ainda mais o overhead) e "max-autotune" (que realiza autotuning extensivo para encontrar os melhores kernels para o seu modelo).
Usando torch.compile com Accelerate
O Accelerate fornece o TorchDynamoPlugin para uma integração fácil e transparente do torch.compile nos seus scripts de treinamento.
from accelerate import Accelerator
from accelerate.utils import TorchDynamoPlugin
# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
backend="inductor", # Options: "inductor", "aot_eager", "aot_nvfuser", etc.
mode="default", # Options: "default", "reduce-overhead", "max-autotune"
fullgraph=True,
dynamic=False
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply torch.compile to your model
model = accelerator.prepare(model)É compatível com todos os outros recursos e plugins do Accelerate, incluindo precisão mista, treinamento distribuído (DDP, FSDP, Deepspeed), etc.
Compilação Regional
Em vez de tentar compilar o modelo inteiro, o que geralmente apresenta um grande espaço de problemas para otimização. A compilação regional visa blocos repetidos da mesma classe e os compila sequencialmente para aproveitar o cache do compilador. Por exemplo, em GPT2LMHeadModel, o bloco/classe repetido é GPT2Block, e pode ser acessado como model.transformer.h[0]. O restante do modelo (por exemplo, model.lm_head) é compilado separadamente.
Isso nos permite acelerar o overhead de compilação / cold start de modelos como LLMs e Transformers em geral. Veja https://pytorch.org/tutorials/recipes/regional_compilation.html para mais detalhes.
Como Usar Compilação Regional
Ele pode ser ativado definindo use_regional_compilation=True na configuração do TorchDynamoPlugin:
# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
use_regional_compilation=True,
... # other parameters
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply compile_regions to your model
model = accelerator.prepare(model)Você também pode usar o utilitário accelerate.utils.compile_regions diretamente da mesma forma que usaria o torch.compile.
Benefícios da Compilação Regional
Realizamos benchmarks extensos comparando a compilação completa e a compilação regional usando o recurso torch.compile no PyTorch. Os resultados completos estão disponíveis no repositório accelerate. As principais conclusões dos nossos benchmarks são:
- Desempenho comparável: A compilação regional oferece acelerações de desempenho semelhantes às da compilação completa, especialmente para modelos maiores.
- Compilação mais rápida: A compilação regional reduz significativamente o tempo necessário para compilar modelos, tornando-a uma escolha mais eficiente para implantação.
- Impacto do tamanho do lote: A diferença de desempenho entre as estratégias de compilação diminui com tamanhos de lote maiores, indicando que o sobrecusto da compilação tem menos impacto nesses cenários.
- Consideração sobre o tamanho do modelo: Os benefícios da compilação regional são mais evidentes em modelos maiores, onde a economia de tempo de compilação pode ser substancial.
- Aplicação prática: Para aplicações do mundo real, a compilação regional é uma escolha prática para otimizar os tempos de inicialização fria do treinamento, especialmente ao trabalhar com modelos grandes.
Conclusão
Tanto a compilação completa quanto a regional podem acelerar significativamente seus modelos. A compilação regional oferece um equilíbrio prático entre o tempo de compilação e o desempenho em tempo de execução, especialmente para o treinamento de modelos grandes com tamanhos de lote substanciais.
Update on GitHub