Accelerate documentation
Accelerate 的内部机制
Accelerate 的内部机制
在内部,Accelerate 首先通过分析脚本启动时的环境来确定所使用的分布式设置类型、进程总数以及当前脚本所在的进程。所有这些信息都存储在 ~AcceleratorState 中。
该类在您首次实例化 ~Accelerator 时进行初始化,同时也会执行您的分布式设置所需的任何特定初始化。随后,其状态会通过所有 AcceleratorState 实例唯一地共享。(使用 PartialState 也可以实现相同的功能,它是继承自该类的更精简版本)
然后,在调用 prepare() 时,该库会:
- 将您的模型包装到适配分布式设置的容器中,
- 将你的优化器包装在 AcceleratedOptimizer 中,
- 将你的调度器包装在 AcceleratedScheduler 中
- 在 DataLoaderShard 或 DataLoaderDispatcher 中创建您的 dataloader 的新版本
虽然模型、优化器和调度器只是被放入简单的包装器中,但数据加载器会被重新创建。这主要是因为 PyTorch 不允许用户在创建数据加载器后更改其 batch_sampler,而该库通过修改 batch_sampler 来在进程间分片数据,使其每隔 num_processes 个批次产出一个批次(如果已启用)。
DataLoaderShard 继承自 DataLoader,并添加了以下功能:
- 它会在每次新的迭代中同步所有进程相应的随机数生成器,以确保任何随机化操作(例如洗牌)在所有进程中以完全相同的方式执行。
- 它会在返回批次之前将其放置到正确的设备上(除非你已选择禁用
device_placement=True)。
DataLoaderDispatcher 子类与 DataLoaderShard 的区别在于,在遍历 DataLoader 时,数据全部从进程 0 开始,然后再拆分并发送到各个进程,而不是在数据集层面进行拆分。
随机数生成器同步默认会同步以下内容:
- PyTorch >= 1.6 中,给定采样器(例如 PyTorch 的
RandomSampler)的generator属性 - PyTorch <=1.5.1 中的主要随机数生成器
您可以通过主 Accelerator 的 rng_types 参数来选择要同步的随机数生成器。在 PyTorch >= 1.6 中,建议依赖本地的 generator,以避免在所有进程中为主随机数生成器设置相同的种子。
主 torch(或 CUDA 或 XLA)随机数生成器的同步会影响数据集中可能存在的其他随机元素(例如随机数据增强),因为所有进程都会从 torch 随机模块中获取相同的随机数(因此,如果随机数据增强由 torch 控制,它们将应用相同的随机数据增强)。
自定义采样器、批采样器或可迭代数据集中的随机化部分应使用本地的
torch.Generator对象(在 PyTorch >= 1.6 中)来完成,例如传统的RandomSampler。
如果您已安装 torchdata>=0.8.0,并在 DataLoaderConfiguration 中传入了 use_stateful_dataloader=True,这些类将直接继承自 StatefulDataLoader,并维护一个 state_dict。
有关内部机制的更多详细信息,请参阅内部机制页面。
Update on GitHub