Accelerate documentation

TPUでのトレーニング

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TPUでのトレーニング

Accelerate を使用する場合でも、TPU でのトレーニングはマルチ GPU でのトレーニングとわずかに異なる場合があります。このガイドでは、注意すべき点とその理由、および一般的なベストプラクティスについて説明します。

ノートブックでの学習

TPUでの学習における主な注意点は、notebook_launcher()から生じます。notebookチュートリアルで述べたように、学習コードを関数に再構成し、notebook_launcher()関数に渡せるようにする必要があります。また、GPU上にテンソルを宣言しないよう注意してください。

TPU の場合、最後の部分はそれほど重要ではありませんが、理解すべき重要な点は、ノートブックからコードを起動する際は、フォークと呼ばれるプロセスを通じて行われるという点です。 コマンドラインから起動する場合は、スポーンが行われます。これは、現在 Python プロセスが実行されていない状態で、スポーンによって新しいプロセスを生成するものです。Jupyter ノートブックはすでに Python プロセスを利用しているため、コードを起動するには、そこから新しいプロセスをフォークする必要があります。

この点が重要になるのは、モデルの宣言に関わる場面です。フォークされたTPUプロセスでは、モデルを一度だけインスタンス化し、そのインスタンスをトレーニング関数に渡すことをお勧めします。これはGPUでのトレーニングとは異なり、n個のモデルを作成し、特定のタイミングで勾配を同期して逆伝播させるというアプローチとは異なります。代わりに、1つのモデルインスタンスがすべてのノード間で共有され、ノード間でやり取りされます。これは、KaggleカーネルやGoogle Colaboratoryで提供されるようなリソースが限られたTPUでのトレーニングにおいて、特に重要です。

CPUまたはGPUでトレーニングする場合にnotebook_launcher()に渡されるトレーニング関数の例を以下に示します。

このコードスニペットは、こちらにあるsimple_nlp_exampleノートブックのものをベースに、簡潔さを優先してわずかに修正したものです。

def training_function():
    # Initialize accelerator
    accelerator = Accelerator()
    model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
    train_dataloader, eval_dataloader = create_dataloaders(
        train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
    )

    # Instantiate optimizer
    optimizer = AdamW(params=model.parameters(), lr=hyperparameters["learning_rate"])

    # Prepare everything
    # There is no specific order to remember, we just need to unpack the objects in the same order we gave them to the
    # prepare method.
    model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
        model, optimizer, train_dataloader, eval_dataloader
    )

    num_epochs = hyperparameters["num_epochs"]
    # Now we train the model
    for epoch in range(num_epochs):
        model.train()
        for step, batch in enumerate(train_dataloader):
            outputs = model(**batch)
            loss = outputs.loss
            accelerator.backward(loss)

            optimizer.step()
            optimizer.zero_grad()
from accelerate import notebook_launcher

notebook_launcher(training_function)

AccelerateがTPU用に設定されている場合、notebook_launcherはデフォルトで8つのプロセスを使用します。

この例を使用し、モデルをトレーニングループの内部で宣言した場合、リソースが限られたシステムでは、次のようなエラーが発生する可能性があります:

ProcessExitedException: process 0 terminated with signal SIGSEGV

このエラーは極めて難解ですが、基本的な説明としては、システムRAMが不足したことを意味します。学習関数を単一のmodel引数を受け取るように再構成し、外部セルで宣言することで、これを完全に回避できます。

# In another Jupyter cell
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
+ def training_function(model):
      # Initialize accelerator
      accelerator = Accelerator()
-     model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
      train_dataloader, eval_dataloader = create_dataloaders(
          train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
      )
  ...

最後に、以下を引数として学習関数を呼び出します。

  from accelerate import notebook_launcher
- notebook_launcher(training_function)
+ notebook_launcher(training_function, (model,))

上記のワークアラウンドは、Google ColaboratoryやKaggleなどのリソースが限られたサーバー上のJupyter NotebookからTPUインスタンスを起動する場合にのみ必要です。スクリプトを使用する場合、またはより高性能なサーバーで起動する場合は、事前にモデルを宣言する必要はありません。

混合精度とグローバル変数

移行チュートリアルの混合精度セクションで述べたように、Accelerate は fp16 と bf16 の両方をサポートしており、どちらも TPU で使用できます。 ただし、bf16 は非常に効率的に使用できるため、理想的にはこれを利用すべきです。

bf16とAccelerateをTPUで使用する際には、ベースレベルとオペレーションレベルの2つの「レイヤー」があります。

基本的なレベルでは、Acceleratorにmixed_precision="bf16"を渡すことで有効になります。例えば、以下のように:

accelerator = Accelerator(mixed_precision="bf16")

デフォルトでは、TPU上でtorch.floatとtorch.doubleをbfloat16にキャストします。 設定される具体的な構成は、環境変数XLA_USE_BF16が1に設定されることです。

さらに、XLA_DOWNCAST_BF16 環境変数を設定することもできます。1 に設定すると、torch.float は bfloat16 になり、torch.double は float32 になります。

これは、downcast_bf16=True を渡す際に Accelerator オブジェクト内で実行されます:

accelerator = Accelerator(mixed_precision="bf16", downcast_bf16=True)

bf16をすべての箇所で使用せず、ダウンキャストを使用することは、生(raw)のbf16テンソルでは使用できない指標の計算や値のログ出力などを行う際に有効です。

TPUでのトレーニング時間

スクリプトを実行すると、最初はトレーニングが非常に遅く感じられるかもしれません。これは、TPUが最初に数バッチのデータを処理してメモリ割り当て量を決定し、その後、設定されたメモリ割り当てを極めて効率的に利用するためです。

モデルのメトリクスを計算する評価コードが、より大きなバッチサイズが使用されることで実行時間が長くなっていることに気づいた場合は、処理が遅すぎる場合は、バッチサイズをトレーニングデータと同じに保つことをお勧めします。そうしないと、最初の数回のイテレーション後にメモリがこの新しいバッチサイズ用に再割り当てされます。

メモリが割り当てられたからといって、それが実際に使用されるわけでも、トレーニング用データローダーに戻った際にバッチサイズが増加するわけでもありません。

Update on GitHub