Accelerate documentation

Estimador de memória do modelo

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Estimador de memória do modelo

Um aspecto muito difícil ao explorar modelos potenciais para usar em sua máquina é saber exatamente o tamanho de modelo que caberá na memória com seu dispositivo atual (como carregar o modelo na CUDA ou XPU).

Para ajudar a aliviar isso, o Accelerate possui uma interface de linha de comando por meio de accelerate estimate-memory. Este tutorial vai guiá-lo passo a passo no uso da ferramenta, no que esperar e, ao final, fornecerá um link para a demonstração interativa hospedada no Hub, que ainda permite publicar esses resultados diretamente no repositório do modelo!

Atualmente, oferecemos suporte à busca por modelos que podem ser usados em timm e transformers.

Essa API carregará o modelo na memória no dispositivo meta, portanto, não estamos baixando e carregando os pesos completos do modelo na memória, nem precisamos disso. Como resultado, é perfeitamente viável medir modelos com 8 bilhões de parâmetros (ou mais), sem se preocupar se sua CPU consegue lidar com isso!

Demonstrações do Gradio

Abaixo estão alguns demos do gradio relacionados ao que foi descrito acima. O primeiro é o espaço oficial de estimativa de memória do Hugging Face, que utiliza o Accelerate diretamente:

Um membro da comunidade pegou a ideia e a expandiu ainda mais, permitindo que você filtre modelos diretamente e veja se consegue executar um LLM específico, considerando as restrições de GPU e as configurações de LoRA. Para experimentá-lo, veja aqui para mais detalhes.

O Comando

Ao usar accelerate estimate-memory, você precisa passar o nome do modelo que deseja usar, potencialmente o framework que esse modelo utiliza (caso não seja encontrado automaticamente) e os tipos de dados em que deseja que o modelo seja carregado.

Por exemplo, veja como podemos calcular a pegada de memória para bert-base-cased:

accelerate estimate-memory bert-base-cased

Isso baixará o config.json para o bert-based-cased, carregará o modelo no dispositivo meta e reportará quanto espaço ele usará:

Uso de memória para carregar bert-base-cased:

dtypeCamada Mais GrandeTamanho TotalTreinamento usando Adam
float3284.95 MB418.18 MB1,61 GB
float1642.47 MB206.59 MB826.36 MB
int821.24 MB103,29 MB413.18 MB
int410.62 MB51,65 MB206.59 MB

Por padrão, ele retornará todos os dtypes suportados (de int4 a float32), mas, se você estiver interessado em tipos específicos, eles podem ser filtrados.

Bibliotecas específicas

Se a biblioteca de origem não puder ser determinada automaticamente (como no caso de bert-base-cased), é possível passar o nome da biblioteca.

accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers

Uso de memória para carregar HuggingFaceM4/idefics-80b-instruct:

dtypeCamada Mais GrandeTamanho TotalTreinamento usando Adam
float323.02 GB297.12 GB1.16 TB
float161,51 GB148.56 GB594.24 GB
int8772.52 MB74.28 GB297.12 GB
int4386.26 MB37.14 GB148.56 GB
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm

Uso de memória para carregar timm/resnet50.a1_in1k:

dtypeCamada Mais GrandeTamanho TotalTreinamento usando Adam
float329,0 MB97,7 MB390.78 MB
float164,5 MB48.85 MB195.39 MB
int82.25 MB24.42 MB97,7 MB
int41.12 MB12.21 MB48.85 MB

Dtypes específicos

Conforme mencionado anteriormente, embora retornemos int4 até float32 por padrão, qualquer dtype pode ser usado a partir de float32, float16, int8 e int4.

Para isso, passe-os após especificar --dtypes:

accelerate estimate-memory bert-base-cased --dtypes float32 float16

Uso de memória para carregar bert-base-cased:

dtypeCamada Mais GrandeTamanho TotalTreinamento usando Adam
float3284.95 MB413.18 MB1,61 GB
float1642.47 MB206.59 MB826.36 MB

Observações sobre esta calculadora

Esta calculadora informará a quantidade de memória necessária apenas para carregar o modelo, sem executar a inferência.

Esse cálculo é preciso dentro de alguns % do valor real, portanto é uma visão muito boa de quanto memória será necessária. Por exemplo, carregar o bert-base-cased realmente consome 413.68 MB quando carregado em CUDA em precisão completa, e a calculadora estima 413.18 MB.

Ao realizar inferência, é possível esperar um acréscimo de até 20%, conforme encontrado por EleutherAI. Realizaremos pesquisas para encontrar uma estimativa mais precisa para esses valores e atualizaremos esta calculadora assim que concluídas.

Update on GitHub