Accelerate documentation
Estimador de memória do modelo
Estimador de memória do modelo
Um aspecto muito difícil ao explorar modelos potenciais para usar em sua máquina é saber exatamente o tamanho de modelo que caberá na memória com seu dispositivo atual (como carregar o modelo na CUDA ou XPU).
Para ajudar a aliviar isso, o Accelerate possui uma interface de linha de comando por meio de accelerate estimate-memory. Este tutorial
vai guiá-lo passo a passo no uso da ferramenta, no que esperar e, ao final, fornecerá um link para a demonstração interativa hospedada no Hub, que
ainda permite publicar esses resultados diretamente no repositório do modelo!
Atualmente, oferecemos suporte à busca por modelos que podem ser usados em timm e transformers.
Essa API carregará o modelo na memória no dispositivo
meta, portanto, não estamos baixando e carregando os pesos completos do modelo na memória, nem precisamos disso. Como resultado, é perfeitamente viável medir modelos com 8 bilhões de parâmetros (ou mais), sem se preocupar se sua CPU consegue lidar com isso!
Demonstrações do Gradio
Abaixo estão alguns demos do gradio relacionados ao que foi descrito acima. O primeiro é o espaço oficial de estimativa de memória do Hugging Face, que utiliza o Accelerate diretamente:
Um membro da comunidade pegou a ideia e a expandiu ainda mais, permitindo que você filtre modelos diretamente e veja se consegue executar um LLM específico, considerando as restrições de GPU e as configurações de LoRA. Para experimentá-lo, veja aqui para mais detalhes.
O Comando
Ao usar accelerate estimate-memory, você precisa passar o nome do modelo que deseja usar, potencialmente o framework que esse modelo utiliza (caso não seja encontrado automaticamente) e os tipos de dados em que deseja que o modelo seja carregado.
Por exemplo, veja como podemos calcular a pegada de memória para bert-base-cased:
accelerate estimate-memory bert-base-cased
Isso baixará o config.json para o bert-based-cased, carregará o modelo no dispositivo meta e reportará quanto espaço ele usará:
Uso de memória para carregar bert-base-cased:
| dtype | Camada Mais Grande | Tamanho Total | Treinamento usando Adam |
|---|---|---|---|
| float32 | 84.95 MB | 418.18 MB | 1,61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
| int8 | 21.24 MB | 103,29 MB | 413.18 MB |
| int4 | 10.62 MB | 51,65 MB | 206.59 MB |
Por padrão, ele retornará todos os dtypes suportados (de int4 a float32), mas, se você estiver interessado em tipos específicos, eles podem ser filtrados.
Bibliotecas específicas
Se a biblioteca de origem não puder ser determinada automaticamente (como no caso de bert-base-cased), é possível passar o nome da biblioteca.
accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers
Uso de memória para carregar HuggingFaceM4/idefics-80b-instruct:
| dtype | Camada Mais Grande | Tamanho Total | Treinamento usando Adam |
|---|---|---|---|
| float32 | 3.02 GB | 297.12 GB | 1.16 TB |
| float16 | 1,51 GB | 148.56 GB | 594.24 GB |
| int8 | 772.52 MB | 74.28 GB | 297.12 GB |
| int4 | 386.26 MB | 37.14 GB | 148.56 GB |
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm
Uso de memória para carregar timm/resnet50.a1_in1k:
| dtype | Camada Mais Grande | Tamanho Total | Treinamento usando Adam |
|---|---|---|---|
| float32 | 9,0 MB | 97,7 MB | 390.78 MB |
| float16 | 4,5 MB | 48.85 MB | 195.39 MB |
| int8 | 2.25 MB | 24.42 MB | 97,7 MB |
| int4 | 1.12 MB | 12.21 MB | 48.85 MB |
Dtypes específicos
Conforme mencionado anteriormente, embora retornemos int4 até float32 por padrão, qualquer dtype pode ser usado a partir de float32, float16, int8 e int4.
Para isso, passe-os após especificar --dtypes:
accelerate estimate-memory bert-base-cased --dtypes float32 float16
Uso de memória para carregar bert-base-cased:
| dtype | Camada Mais Grande | Tamanho Total | Treinamento usando Adam |
|---|---|---|---|
| float32 | 84.95 MB | 413.18 MB | 1,61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
Observações sobre esta calculadora
Esta calculadora informará a quantidade de memória necessária apenas para carregar o modelo, sem executar a inferência.
Esse cálculo é preciso dentro de alguns % do valor real, portanto é uma visão muito boa de quanto memória será necessária. Por exemplo, carregar o bert-base-cased realmente consome 413.68 MB quando carregado em CUDA em precisão completa, e a calculadora estima 413.18 MB.
Ao realizar inferência, é possível esperar um acréscimo de até 20%, conforme encontrado por EleutherAI. Realizaremos pesquisas para encontrar uma estimativa mais precisa para esses valores e atualizaremos esta calculadora assim que concluídas.
Update on GitHub