Accelerate documentation
Thực thi và trì hoãn các tác vụ
Thực thi và trì hoãn các tác vụ
Khi bạn chạy script thông thường, các lệnh được thực hiện theo thứ tự. Việc sử dụng Accelerate để triển khai script của bạn trên nhiều GPU cùng lúc tạo ra một điểm phức tạp: trong khi mỗi tiến trình thực hiện tất cả các lệnh theo thứ tự, một số tiến trình có thể chạy nhanh hơn những tiến trình khác.
Bạn có thể cần chờ cho đến khi tất cả các tiến trình đạt đến một điểm nhất định trước khi thực thi một chỉ thị cụ thể. Ví dụ, bạn không nên lưu mô hình trước khi chắc chắn rằng mọi tiến trình đã hoàn tất huấn luyện, và bạn cũng không muốn tiếp tục huấn luyện trước khi tất cả trọng số mô hình đã được nạp vào. Để làm điều này, chỉ cần viết dòng sau trong mã của bạn:
accelerator.wait_for_everyone()Lệnh này sẽ chặn tất cả các tiến trình đến trước cho đến khi tất cả các tiến trình khác đều đã đạt đến điểm đó (nếu bạn chạy script trên chỉ một GPU hoặc CPU, lệnh này sẽ không có tác dụng gì).
Dưới đây là một số trường hợp ví dụ về thời điểm nên sử dụng tiện ích này:
Một số trong số này được sử dụng cùng với trình quản lý ngữ cảnh main_process_first(), vốn sử dụng wait_for_everyone() để chạy một tập hợp mã cụ thể trên tiến trình chính trước khi kích hoạt và khởi chạy các tiến trình khác
Tải xuống một Bộ dữ liệu
Khi tải xuống một bộ dữ liệu, bạn nên tải nó xuống trước trên tiến trình chính, sau đó mới nạp bộ dữ liệu đã được lưu trong bộ nhớ đệm
load_datasetsẽ thực hiện một khóa ở bên trong để ngăn nhiều lượt tải xuống xảy ra đồng thời, nhưng nếu bạn đang tải xuống thứ gì đó mà không sử dụng thư viện này, bạn nên dùng phương pháp này.
with accelerator.main_process_first():
datasets = load_dataset("glue", "mrpc")Bên trong, điều này tương đương với việc gọi:
# First do something on the main process
if accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()
# And then send it to the rest of them
if not accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()Lưu state_dict
Khi lưu state_dict của mô hình, vì thông thường bạn chỉ lưu một tệp trên tiến trình chính nên bạn cần chỉ định điều đó:
if accelerator.is_main_process:
model = accelerator.unwrap_model(model)
torch.save(model.state_dict(), "weights.pth")Tải state_dict
Khi nạp state_dict vào mô hình, optimizer hoặc scheduler, bạn nên chờ cho đến khi tất cả các worker đã nạp xong trọng số trước khi chuyển sang huấn luyện
with accelerator.main_process_first():
state = torch.load("weights.pth")
model.load_state_dict(state)Áp dụng thao tác CPU đa worker
Việc áp dụng thao tác map() trên nhiều worker, chẳng hạn như tokenizing, nên được thực hiện trước trên tiến trình chính, sau đó mới lan truyền đến từng worker.
datasets = load_dataset("glue", "mrpc")
with accelerator.main_process_first():
tokenized_datasets = datasets.map(
tokenize_function,
batched=True,
remove_columns=["idx", "sentence1", "sentence2"],
)Áp dụng các kiểm tra như Early Stopping
Để có một phép kiểm tra hoạt động với cờ được đặt bởi một tiến trình cụ thể, cần sử dụng API set_trigger và check_trigger. Các ví dụ hữu ích cho việc này có thể bao gồm các tình huống như sử dụng early stopping và giám sát loss (vì mỗi loss hơi khác nhau trên từng tiến trình).
Gọi Accelerator.set_trigger() khi điều kiện của bạn đã được đáp ứng, và Accelerator.check_trigger() khi kiểm tra xem điều kiện đó đã được đáp ứng trong bất kỳ tiến trình nào:
for (x,y) in data_loader:
logits = model(x)
loss = loss_func(logits, y)
# Assume `should_do_early_stopping` is a custom defined function that returns a conditional
if should_do_early_stopping(loss):
accelerator.set_trigger()
# Later in the training script when we need to check for the breakpoint
if accelerator.check_trigger():
break