Accelerate documentation

Создание контрольных точек

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Создание контрольных точек

При обучении модели PyTorch с помощью Accelerate часто возникает необходимость сохранить текущее состояние обучения и продолжить его с этого места. Для этого требуется сохранить и загрузить модель, оптимизатор, генераторы случайных чисел (RNG) и GradScaler. В Accelerate есть две удобные функции, позволяющие сделать это быстро:

  • Используйте save_state() для сохранения всего перечисленного выше в указанную папку
  • Используйте load_state() для загрузки всего, что было сохранено ранее с помощью save_state

Чтобы дополнительно настроить, где и как сохраняются состояния с помощью save_state(), можно использовать класс ProjectConfiguration. Например, если включён automatic_checkpoint_naming, каждый сохранённый чекпоинт будет находиться по пути Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.

Следует отметить, что ожидается, что эти состояния получены из одного и того же скрипта обучения; они не должны происходить из двух разных скриптов.

  • Используя register_for_checkpointing(), вы можете зарегистрировать пользовательские объекты для их автоматического сохранения или загрузки с помощью двух описанных выше функций, при условии, что объект поддерживает state_dict и load_state_dict. К таким объектам, например, может относиться планировщик скорости обучения.

Ниже приведён краткий пример использования checkpointing для сохранения и загрузки состояния во время обучения:

from accelerate import Accelerator
import torch

accelerator = Accelerator(project_dir="my/save/path")

my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)

# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)

# Save the starting state
accelerator.save_state()

device = accelerator.device
my_model.to(device)

# Perform training
for epoch in range(num_epochs):
    for batch in my_training_dataloader:
        my_optimizer.zero_grad()
        inputs, targets = batch
        inputs = inputs.to(device)
        targets = targets.to(device)
        outputs = my_model(inputs)
        loss = my_loss_function(outputs, targets)
        accelerator.backward(loss)
        my_optimizer.step()
    my_scheduler.step()

# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")

Восстановление состояния DataLoader

После возобновления из контрольной точки может быть целесообразно также продолжить с определённого места в активном DataLoader, если состояние было сохранено в середине эпохи. Для этого можно использовать skip_first_batches().

from accelerate import Accelerator

accelerator = Accelerator(project_dir="my/save/path")

train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")

# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)

# After the first iteration, go back to `train_dataloader`

# First epoch
for batch in skipped_dataloader:
    # Do something
    pass

# Second epoch
for batch in train_dataloader:
    # Do something
    pass
Update on GitHub