Accelerate documentation
Các phương pháp huấn luyện độ chính xác thấp
Các phương pháp huấn luyện độ chính xác thấp
Việc ra mắt các loại phần cứng mới đã dẫn đến sự xuất hiện của các phương pháp huấn luyện mới, giúp khai thác chúng hiệu quả hơn. Hiện tại, điều này thể hiện ở việc huấn luyện với độ chính xác 8-bit bằng các gói như TransformersEngine (TE) hoặc torchao (FP8 PyTorch bản địa).
Để có cái nhìn tổng quan về các chủ đề được thảo luận hôm nay, chúng tôi khuyên bạn nên xem lại hướng dẫn sử dụng độ chính xác thấp vì tài liệu này sẽ thường xuyên tham chiếu đến nó.
Một biểu đồ nhanh
Dưới đây là biểu đồ nhanh cho thấy các mức độ chính xác bit khác nhau cho từng giải pháp trong quá trình huấn luyện:
| Mức độ tối ưu | Tính toán (GEMM) | Giao tiếp | Trọng số | Trọng số chính | Gradient của trọng số | Trạng thái của bộ tối ưu |
|---|---|---|---|---|---|---|
| FP16 AMP | FP16 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
| Nvidia TE | FP8 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
TransformersEngine
TransformersEngine là giải pháp đầu tiên thử nghiệm việc huấn luyện bằng số thực 8-bit. Nó hoạt động bằng cách sử dụng các lớp thay thế trực tiếp cho một số lớp nhất định trong mô hình, tận dụng động cơ FP8 của chúng để giảm số lượng bit (ví dụ từ 32 xuống 8) mà không làm giảm độ chính xác cuối cùng của mô hình.
Cụ thể, Accelerate sẽ tìm và thay thế các lớp sau bằng các phiên bản TransformersEngine:
nn.LayerNormthànhte.LayerNormnn.Linearthànhte.Linear
Kết quả là chúng ta có được một mô hình mà phần lớn các lớp của nó ở dạng BF16, trong khi một số lớp ở dạng FP8, giúp giảm bớt một phần bộ nhớ.
Theo kinh nghiệm thực tế, chúng tôi nhận thấy rằng lợi ích về hiệu suất khi sử dụng TransformerEngine thực sự bắt đầu thể hiện chỉ khi phần lớn các lớp trong mô hình được cấu thành từ hai lớp cần thay thế đó. Do đó, chỉ các mô hình lớn hơn mới cho thấy cải thiện hiệu suất khi số lượng tham số đạt khoảng vài tỷ trở lên.
TransformerEngine có thể nhận nhiều đối số khác nhau để tùy chỉnh cách thực hiện các phép tính FP8 và mục đích của chúng. Danh sách đầy đủ các đối số có sẵn bên dưới:
margin: Biên độ cần sử dụng cho việc điều chỉnh tỷ lệ gradient.interval: Khoảng thời gian sử dụng để xác định tần suất tính lại hệ số tỷ lệ.fp8_format``: The format to use for the FP8 recipe. Must be one ofHYBRIDorE4M3. (GenerallyHYBRIDfor training,E4M3` for evaluation)amax_history_len: Độ dài của lịch sử được sử dụng để tính hệ số tỷ lệamax_compute_algo: Thuật toán được sử dụng để tính hệ số tỷ lệ. Phải là một trongmaxhoặcmost_recent.override_linear_precision: Xác định có thực hiện các GEMMfprop,dgradvàwgradở độ chính xác cao hơn hay không.
Bạn có thể tùy chỉnh từng mục trong số này như một phần của utils.TERecipeKwargs để giúp tối ưu hóa hiệu suất của các mô hình của bạn.
Nếu để ý đến biểu đồ được đề cập ở trên, TE chỉ chuyển các lớp tính toán sang FP8, trong khi mọi thứ khác đều ở FP32. Kết quả là phương pháp này sử dụng nhiều bộ nhớ nhất, nhưng bù lại đảm bảo mức độ suy giảm độ chính xác cuối cùng trong quá trình huấn luyện là thấp nhất.
Update on GitHub