Accelerate documentation
分散環境間のパフォーマンス比較
分散環境間のパフォーマンス比較
異なるセットアップからのパフォーマンスを評価・比較するには、何を確認すべきかを知っておくことが重要です。 例えば、AccelerateでTPU、マルチGPU、シングルGPUのそれぞれで同じスクリプトを同じバッチサイズで実行しても、結果が一致するとは限りません。
では、なぜでしょうか?
このチュートリアルでは、以下の3つの理由について説明します:
- 適切なシードの設定
- 観測されたバッチサイズ
- 学習率
シードの設定
この問題はこれほど多く発生していませんが、分散環境のすべてのケースでシードを完全に設定し、トレーニングを再現可能にするために、utils.set_seed()を使用することを確認してください。
from accelerate.utils import set_seed
set_seed(42)なぜこれが重要なのでしょうか? 内部では、5つの異なるシード設定が設定されます:
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
# ^^ safe to call this function even if cuda is not available
if is_torch_xla_available():
xm.set_rng_state(seed)ランダム状態、numpyの状態、torch、torchのデバイス状態、そしてTPUが利用可能な場合のtorch_xlaのcuda状態。
観測されたバッチサイズ
Accelerate を使用して学習を行う場合、dataloader に渡されるバッチサイズは GPU 1 台あたりのバッチサイズです。つまり、2 台の GPU でバッチサイズ 64 を指定すると、実際のバッチサイズは 128 になります。そのため、単一 GPU でのテスト時にはこの点を考慮する必要があります。TPU についても同様です。
以下の表は、異なるバッチサイズを試す際のクイックリファレンスとして使用できます。
この例では、マルチGPUには2つのGPU、TPUポッドには8つのワーカーがあります
| シングルGPUバッチサイズ | マルチGPU等価バッチサイズ | TPU 相当バッチサイズ |
|---|---|---|
| 256 | 128 | 32 |
| 128 | 64 | 16 |
| 64 | 32 | 8 |
| 32 | 16 | 4 |
学習率
複数のソース[1][2]で述べられているように、学習率は、存在するデバイスの数に基づいて線形にスケーリングされるべきです。以下のスニペットは、Accelerate を用いてこれを行う方法を示しています。
ユーザーが独自の学習率スケジューラを定義できるため、学習率をスケーリングするかどうかはユーザーの判断に委ねています。
learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes
optimizer = AdamW(params=model.parameters(), lr=learning_rate)また、accelerateは、学習に使用されているプロセス数に基づいて学習率をステップさせることも確認できます。これは、前述した観測バッチサイズによるものです。したがって、2つのGPUを使用する場合、単一GPUのバッチサイズに変更がない場合、バッチサイズが2倍になることを考慮して、学習率は単一GPUの場合の2倍の頻度でステップされます。
勾配の蓄積と混合精度
勾配蓄積と混合精度を使用する場合、勾配平均化の仕組み(蓄積)と精度の低下(混合精度)により、パフォーマンスの若干の劣化が予想されます。これは、異なる計算環境間のバッチごとの損失を比較した際に明確に確認できます。ただし、トレーニング終了時点の全体損失、メトリック、および一般的なパフォーマンスは、ほぼ同じになるはずです。
Update on GitHub