Accelerate documentation

Treinamento em CPU Intel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Treinamento em CPU Intel

Como Funciona Para otimização de treinamento em CPU

O Accelerate tem suporte completo a CPU Intel; tudo o que você precisa fazer é ativá-lo por meio da configuração.

Cenário 1: Aceleração do treinamento de CPU sem distribuição

Execute accelerate config na sua máquina:

$ accelerate config
-----------------------------------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
No distributed training
Do you want to run your training on CPU only (even if a GPU / Apple Silicon device is available)? [yes/NO]:yes
Do you wish to optimize your script with torch dynamo?[yes/NO]:NO
Do you want to use DeepSpeed? [yes/NO]: NO
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Do you wish to use FP16 or BF16 (mixed precision)?
bf16

Isso gerará um arquivo de configuração que será usado automaticamente para definir corretamente as opções padrão ao executar

accelerate launch my_script.py --args_to_my_script

Por exemplo, é assim que você executaria o exemplo de NLP examples/nlp_example.py (a partir da raiz do repositório) com default_config.yaml, que é gerado por accelerate config

compute_environment: LOCAL_MACHINE
distributed_type: 'NO'
downcast_bf16: 'no'
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 1
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: true
accelerate launch examples/nlp_example.py

accelerator.prepare atualmente só consegue preparar simultaneamente vários modelos (e nenhum otimizador) OU um único par modelo-otimizador para treinamento. Outras tentativas (por exemplo, dois pares modelo-otimizador) levantarão um erro detalhado. Para contornar essa limitação, considere usar accelerator.prepare separadamente para cada par modelo-otimizador.

Cenário 2: Aceleração do treinamento distribuído em CPU usamos o Intel oneCCL para comunicação, combinado com a biblioteca Intel® MPI para fornecer mensagens de cluster flexíveis, eficientes e escaláveis na arquitetura Intel®. você pode consultar aqui para o guia de instalação

Execute accelerate config na sua máquina (node0):

$ accelerate config
-----------------------------------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-CPU
How many different machines will you use (use more than 1 for multi-node training)? [1]: 4
-----------------------------------------------------------------------------------------------------------------------------------------------------------
What is the rank of this machine?
0
What is the IP address of the machine that will host the main process? 36.112.23.24
What is the port you will use to communicate with the main process? 29500
Are all the machines on the same local network? Answer `no` if nodes are on the cloud and/or on different network hosts [YES/no]: yes
Do you want accelerate to launch mpirun? [yes/NO]: yes
Please enter the path to the hostfile to use with mpirun [~/hostfile]: ~/hostfile
Enter the number of oneCCL worker threads [1]: 1
Do you wish to optimize your script with torch dynamo?[yes/NO]:NO
How many processes should be used for distributed training? [1]:16
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Do you wish to use FP16 or BF16 (mixed precision)?
bf16

Por exemplo, é assim que você executaria o exemplo de NLP examples/nlp_example.py (a partir da raiz do repositório) para treinamento distribuído em CPU.

default_config.yaml, que é gerado por accelerate config

compute_environment: LOCAL_MACHINE
distributed_type: MULTI_CPU
downcast_bf16: 'no'
machine_rank: 0
main_process_ip: 36.112.23.24
main_process_port: 29500
main_training_function: main
mixed_precision: bf16
mpirun_config:
  mpirun_hostfile: /home/user/hostfile
num_machines: 4
num_processes: 16
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: true

Defina as variáveis de ambiente a seguir e use o MPI da Intel para iniciar o treinamento

Em node0, você precisa criar um arquivo de configuração que contenha os endereços IP de cada nó (por exemplo, hostfile) e passar o caminho desse arquivo de configuração como argumento.

Se você selecionou a opção de deixar o Accelerate iniciar o mpirun, verifique se a localização do seu hostfile corresponde ao caminho na configuração.

$ cat hostfile
xxx.xxx.xxx.xxx #node0 ip
xxx.xxx.xxx.xxx #node1 ip
xxx.xxx.xxx.xxx #node2 ip
xxx.xxx.xxx.xxx #node3 ip
accelerate launch examples/nlp_example.py

Você também pode iniciar diretamente o treinamento distribuído com o comando mpirun. É necessário executar o seguinte comando no node0 e o 16DDP será habilitado em node0, node1, node2 e node3 com precisão mista BF16. Ao usar este método, o script Python, o ambiente Python e o arquivo de configuração do accelerate precisam estar disponíveis em todas as máquinas usadas para o treinamento multi-CPU.

export MASTER_ADDR=xxx.xxx.xxx.xxx #node0 ip
mpirun -f hostfile -n 16 -ppn 4 accelerate launch examples/nlp_example.py
Update on GitHub