Accelerate documentation

Accelerate 的内部机制

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerate 的内部机制

在内部,Accelerate 首先通过分析脚本启动时的环境来确定所使用的分布式设置类型、进程总数以及当前脚本所在的进程。所有这些信息都存储在 ~AcceleratorState 中。

该类在您首次实例化 ~Accelerator 时进行初始化,同时也会执行您的分布式设置所需的任何特定初始化。随后,其状态会通过所有 AcceleratorState 实例唯一地共享。(使用 PartialState 也可以实现相同的功能,它是继承自该类的更精简版本)

然后,在调用 prepare() 时,该库会:

虽然模型、优化器和调度器只是被放入简单的包装器中,但数据加载器会被重新创建。这主要是因为 PyTorch 不允许用户在创建数据加载器后更改其 batch_sampler,而该库通过修改 batch_sampler 来在进程间分片数据,使其每隔 num_processes 个批次产出一个批次(如果已启用)。

DataLoaderShard 继承自 DataLoader,并添加了以下功能:

  • 它会在每次新的迭代中同步所有进程相应的随机数生成器,以确保任何随机化操作(例如洗牌)在所有进程中以完全相同的方式执行。
  • 它会在返回批次之前将其放置到正确的设备上(除非你已选择禁用 device_placement=True)。

DataLoaderDispatcher 子类与 DataLoaderShard 的区别在于,在遍历 DataLoader 时,数据全部从进程 0 开始,然后再拆分并发送到各个进程,而不是在数据集层面进行拆分。

随机数生成器同步默认会同步以下内容:

  • PyTorch >= 1.6 中,给定采样器(例如 PyTorch 的 RandomSampler)的 generator 属性
  • PyTorch <=1.5.1 中的主要随机数生成器

您可以通过主 Accelerator 的 rng_types 参数来选择要同步的随机数生成器。在 PyTorch >= 1.6 中,建议依赖本地的 generator,以避免在所有进程中为主随机数生成器设置相同的种子。

主 torch(或 CUDA 或 XLA)随机数生成器的同步会影响数据集中可能存在的其他随机元素(例如随机数据增强),因为所有进程都会从 torch 随机模块中获取相同的随机数(因此,如果随机数据增强由 torch 控制,它们将应用相同的随机数据增强)。

自定义采样器、批采样器或可迭代数据集中的随机化部分应使用本地的 torch.Generator 对象(在 PyTorch >= 1.6 中)来完成,例如传统的 RandomSampler。

如果您已安装 torchdata>=0.8.0,并在 DataLoaderConfiguration 中传入了 use_stateful_dataloader=True,这些类将直接继承自 StatefulDataLoader,并维护一个 state_dict。

有关内部机制的更多详细信息,请参阅内部机制页面。

Update on GitHub