Accelerate documentation
模型内存估算器
模型内存估算器
在探索可用于您机器的潜在模型时,一个非常困难的方面是了解在当前设备(例如将模型加载到 CUDA 或 XPU 上)的内存中,能容纳多大的模型。
为了帮助缓解这一问题,Accelerate 提供了一个通过 accelerate estimate-memory 访问的命令行界面。本教程将指导你如何使用该工具、预期会看到什么,并在最后链接到托管在 Hub 上的交互式演示,你甚至可以将这些结果直接发布到模型仓库中!
目前,我们支持搜索可用于 timm 和 transformers 的模型。
该 API 会将模型加载到
meta设备上,因此我们实际上并未下载并将模型的完整权重加载到内存中,也不需要这样做。因此,测量 80 亿参数(或更多)的模型完全没问题,无需担心 CPU 是否能处理!
Gradio 演示
以下是几个与上述内容相关的 gradio 演示。第一个是 Hugging Face 官方的内存估算空间,直接使用了 Accelerate:
一位社区成员采纳了这一想法并进一步扩展,使您可以直接筛选模型,并查看在特定的 GPU 限制和 LoRA 配置下能否运行某个 LLM。要试用该功能,请参阅此处以获取更多详细信息。
该命令
使用 accelerate estimate-memory 时,您需要传入要使用的模型名称,可能还需要传入该模型所使用的框架(如果无法自动检测),以及您希望模型加载时使用的数据类型。
例如,以下是如何计算bert-base-cased的内存占用:
accelerate estimate-memory bert-base-cased
这将下载 bert-based-cased 的 config.json,在 meta 设备上加载模型,并报告其将占用的空间:
加载 bert-base-cased 的内存使用情况:
| dtype | 最大层 | 总大小 | 使用 Adam 进行训练 |
|---|---|---|---|
| float32 | 84.95 MB | 418.18 MB | 1.61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
| int8 | 21.24 MB | 103.29 MB | 413.18 MB |
| int4 | 10.62 MB | 51.65 MB | 206.59 MB |
默认情况下,它会返回所有支持的 dtype(从 int4 到 float32),但如果你只关注其中特定的几种,可以进行筛选。
特定库
如果无法自动确定源库(例如 bert-base-cased 的情况),则可以传入库名称。
accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers
加载 HuggingFaceM4/idefics-80b-instruct 的内存使用情况:
| dtype | 最大层 | 总大小 | 使用 Adam 进行训练 |
|---|---|---|---|
| float32 | 3.02 GB | 297.12 GB | 1.16 TB |
| float16 | 1.51 GB | 148.56 GB | 594.24 GB |
| int8 | 772.52 MB | 74.28 GB | 297.12 GB |
| int4 | 386.26 MB | 37.14 GB | 148.56 GB |
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm
加载 timm/resnet50.a1_in1k 的内存使用情况:
| dtype | 最大层 | 总大小 | 使用 Adam 进行训练 |
|---|---|---|---|
| float32 | 9.0 MB | 97.7 MB | 390.78 MB |
| float16 | 4.5 MB | 48.85 MB | 195.39 MB |
| int8 | 2.25 MB | 24.42 MB | 97.7 MB |
| int4 | 1.12 MB | 12.21 MB | 48.85 MB |
特定的 dtype
如前所述,虽然默认情况下我们返回 int4 到 float32 之间的数据类型,但可以使用 float32、float16、int8 和 int4 中的任意一种数据类型。
为此,请在指定 --dtypes 之后传入它们:
accelerate estimate-memory bert-base-cased --dtypes float32 float16
加载 bert-base-cased 的内存使用情况:
| dtype | 最大层 | 总大小 | 使用 Adam 进行训练 |
|---|---|---|---|
| float32 | 84.95 MB | 413.18 MB | 1.61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
此计算器的注意事项
此计算器将告诉您仅加载模型所需的内存量,而非执行推理所需的内存量。
该计算结果与实际值相差不超过百分之几,因此能非常准确地反映所需的内存量。例如,在 CUDA 上以全精度加载 bert-base-cased 时,实际占用 413.68 MB,而计算器估算为 413.18 MB。
在执行推理时,根据 EleutherAI 的研究结果,预计最多会增加 20% 的额外开销。我们将开展研究,以找到这些数值的更准确估算值,并在完成后更新此计算器。
Update on GitHub