Accelerate documentation
FSDP vs DeepSpeed
FSDP vs DeepSpeed
Accelerate menawarkan fleksibilitas framework pelatihan dengan mengintegrasikan dua alat yang sangat kuat untuk pelatihan terdistribusi, yaitu Pytorch FSDP dan Microsoft DeepSpeed. Tujuan tutorial ini adalah untuk menguraikan persamaan serta perbedaan potensial di antara keduanya, sehingga pengguna dapat beralih secara mulus antara kedua framework ini.
Untuk beralih antar framework, kami merekomendasikan menjalankan kode
accelerate launchdengan meneruskan file konfigurasi yang benar menggunakan--config_file, atau meneruskan argumen yang sesuai secara langsung untuk FSDP dan DeepSpeed.Contoh konfigurasi Accelerate dapat ditemukan di sini untuk DeepSpeed dan FSDP, atau di example zoo di bawah “Launch Configurations”
Tutorial ini hanya untuk skenario single-node, multi-GPU.
Mengonfigurasi Fungsionalitas
Tensor model dibagi ke GPU yang berbeda dalam upaya untuk memperbesar ukuran model; hal ini disebut sharding di FSDP, dan partitioning di DeepSpeed. Sharding FSDP dan tahap ZeRO (partitioning) DeepSpeed dikonfigurasi oleh --fsdp_sharding_strategy, dan --zero_stage, masing-masing. Secara khusus, FULL_SHARD FSDP dipetakan ke tahap ZeRO DeepSpeed 3; lihat pemetaan komprehensif antara sharding FSDP dan pengaturan ZeRO DeepSpeed ini. Tabel di bawah ini merangkum dan mengelompokkan pengaturan yang serupa:
| Grup | Framework | Konfigurasi | Contoh | Batasan (jika ada) |
|---|---|---|---|---|
| sharding / partisi | FSDP DeepSpeed | --fsdp_sharding_strategy--zero_stage | 1 (FULL_SHARD) 3 | |
| offload | FSDP DeepSpeed | --fsdp_offload_params--offload_param_device--offload_optimizer_device | truecpucpu | semua atau tidak sama sekali |
| pemuatan model | FSDP DeepSpeed | --fsdp_cpu_ram_efficient_loading--zero3_init_flag | truetrue | hanya ZeRO 3 |
| checkpointing yang efisien | FSDP DeepSpeed | --fsdp_state_dict_type--zero3_save_16bit_model | SHARDED_STATE_DICTtrue | hanya ZeRO 3 |
| prefetching bobot | FSDP DeepSpeed | --fsdp_forward_prefetch--fsdp_backward_prefetchNone | trueBACKWARD_PRE | |
| model | FSDP DeepSpeed | --fsdp_auto_wrap_policy--fsdp_transformer_layer_cls_to_wrapNone | TRANSFORMER_BASED_WRAP<Kelas Layer> | Biasanya tidak diperlukan Transparan bagi pengguna. |
| parameter summoning | FSDP DeepSpeed | --fsdp_use_orig_paramsTidak ada | true | diperlukan untuk torch.compileTransparan bagi pengguna |
| sinkronisasi parameter | FSDP DeepSpeed | --fsdp_sync_module_statesTidak ada | true | |
| pelatihan | FSDP DeepSpeed | Tidak ada--gradient_accumulation_steps--gradient_clipping | autoauto | Transparan bagi pengguna |
Untuk deskripsi rinci dari hal-hal di atas, silakan merujuk ke dokumentasi peluncuran Accelerate.
Untuk mengakses konfigurasi DeepSpeed lainnya, seperti pengaturan presisi campuran, Anda perlu meneruskan
--deepspeed_config_file, lihat dokumentasi.DeepSpeed juga dapat dikonfigurasi melalui DeepSpeedPlugin, misalnya,
DeepSpeedPlugin.zero_stagesetara dengan--zero_stage, danDeepSpeedPlugin.hf_ds_configdapat digunakan untuk meneruskan--deepeed_config_file.
FSDP juga dapat dikonfigurasi melalui FullyShardedDataParallelPlugin, misalnya,
FullyShardedDataParallelPlugin.sharding_strategyadalah ekuivalen dari--fsdp_sharding_strategy.
Checkpointing
Perhatikan bahwa FSDP dapat dikonfigurasi melalui --fsdp_state_dict_type untuk menyimpan checkpoint penuh / sharded.
Untuk DeepSpeed Zero3, seseorang dapat meneruskan
--zero3_save_16bit_model true, yang dengan nyaman mengonsolidasikan model ke satu rank dan menyimpannya; ini adalah ekuivalen FSDP darifsdp_state_dict_type: FULL_STATE_DICT.
Untuk model besar, mengonsolidasikan model ke satu rank dapat menjadi sangat lambat.
Untuk checkpointing yang lebih cepat, untuk FSDP gunakan
fsdp_state_dict_type: SHARDED_STATE_DICT, dan untuk DeepSpeed Zero3 gunakan skripzero_to_fp32.pyuntuk mengonversi checkpoint yang terpecah setelahnya.
Offloading
FSDP hanya mengizinkan offload all-or-nothing (yaitu, baik offload parameter, gradien, dan optimizer, atau simpan semuanya di GPU), tetapi DeepSpeed dapat melakukan offload parameter dan optimizer secara berbeda. Selain itu, DeepSpeed juga mendukung offloading ke NVME.
Prefetching
FSDP memungkinkan dua konfigurasi prefetching --fsdp_forward_prefetch dan --fsdp_backward_prefetch untuk meningkatkan overlap komputasi/komunikasi dengan biaya memori tambahan, lihat dokumentasi FSDP.
Untuk DeepSpeed, prefetching akan diaktifkan saat diperlukan, dan pengaktifannya bergantung pada hyper-param tertentu seperti stage3_param_persistence_threshold, stage3_max_reuse_distance, dll, yang dapat dikonfigurasi untuk Zero3; accelerate mungkin mengatur hyper-param ini secara otomatis jika Anda tidak menyetelnya secara eksplisit di file konfigurasi deepspeed.
Untuk FSDP, atur
fsdp_backward_prefetch: BACKWARD_PREuntuk meningkatkan throughput jika memori memungkinkan.
Memuat Model
Meskipun FSDP memerlukan --fsdp_cpu_ram_efficient_loading true secara eksplisit untuk mengaktifkan pemuatan model yang efisien, transformers akan mengaktifkan fitur serupa setiap kali DeepSpeed Zero3 digunakan.
Untuk FSDP, setiap kali
--fsdp_cpu_ram_efficient_loading truedisetel,accelerateakan secara otomatis mengatursync_module_statesmenjadi true. Untuk pemuatan yang efisien RAM, bobot hanya akan dimuat pada satu rank, sehingga memerlukansync_module_statesuntuk menyiarkan bobot ke rank lainnya.
Model
FSDP memerlukan --fsdp_auto_wrap_policy yang eksplisit agar algoritma dapat memutuskan bagaimana menjadwalkan operasi all-gather dan reduce-scatter. Namun, untuk DeepSpeed, hal ini transparan bagi pengguna.
Untuk FSDP, cukup atur
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. Dengan versitransformersterbaru, kami berusaha semaksimal mungkin untuk menentukanfsdp_transformer_layer_cls_to_wrapyang sesuai untuk model HF transformers. Namun, jika Anda mendapatkan error terkait hal tersebut, silakan tentukan secara eksplisit.
Parameter Pemanggilan
FSDP memerlukan flag --fsdp_use_orig_params secara eksplisit jika menggunakan torch.compile, lihat dokumentasi pytorch. Untuk DeepSpeed, hal ini transparan bagi pengguna.
Untuk FSDP, saat menggunakan
torch.compilesilakan aturfsdp_use_orig_params: True.
Pelatihan
Deepspeed memerlukan flag --gradient_accumulation_steps dan --gradient_clipping secara eksplisit. Untuk FSDP, hal ini transparan bagi pengguna.
Saat menggunakan DeepSpeed, atur
gradient_accumulation_steps: "auto"dangradient_clipping: "auto"untuk secara otomatis mengambil nilai yang diatur di Accelerator atauTrainingArguments(jika menggunakantransformers).
Tentang Perbedaan dalam Penanganan Presisi Data
Untuk membahas bagaimana presisi data ditangani di FSDP dan DeepSpeed, akan lebih jelas jika kita terlebih dahulu memberikan gambaran tentang bagaimana parameter model ditangani dalam framework-framework ini. Sebelum parameter model / optimizer didistribusikan ke GPU, terdapat proses persiapan parameter untuk terlebih dahulu “meratakan” (flatten) mereka menjadi torch.Tensor satu dimensi. Implementasi FSDP / DeepSpeed berbeda dalam hal dtype di mana parameter “diratakan” ini disimpan, dan hal ini memiliki implikasi terhadap bagaimana torch.Optimizer mengalokasikan dtype mereka. Tabel di bawah ini merangkum proses untuk kedua framework; kolom “Local” menunjukkan proses yang terjadi pada level per-GPU, sehingga overhead memori akibat upcasting harus dipahami sebagai sesuatu yang teramortisasi oleh jumlah GPU yang digunakan.
Sebagai aturan umum, untuk pelatihan yang stabil dengan presisi campuran otomatis, semua parameter yang dapat dilatih harus berada dalam
torch.float32.
| Proses | Lokal | Framework | Detail |
|---|---|---|---|
Memuat, yaitu AutoModel.from_pretrained(..., torch_dtype=torch_dtype) | |||
| Persiapan, yaitu pembuatan “flat params” | ✅ | FSDP DeepSpeed | dibuat dalam torch_dtype.mengabaikan torch_dtype, dibuat dalam float32. |
| Inisialisasi optimizer | ✅ | FSDP DeepSpeed | membuat parameter dalam torch_dtypemembuat parameter dalam float32 |
| Langkah Pelatihan, yaitu, maju, mundur, reduksi | FSDP DeepSpeed | mengikuti MixedPrecisionmengikuti pengaturan mixed precision dari deepspeed_config_file. | |
| Optimizer (Pra-Langkah) | ✅ | FSDP DeepSpeed | upcasting (jika ada) ke torch_dtypedi-upcast ke float32 |
| Optimizer (Langkah Aktual) | ✅ | FSDP DeepSpeed | terjadi dalam torch_dtype terjadi dalam float32. |
Oleh karena itu, saat menggunakan DeepSpeed dengan sejumlah kecil GPU, perhatikan potensi overhead memori yang signifikan akibat upcasting selama persiapan.
Dengan FSDP, jika tidak ada mixed precision, dimungkinkan untuk menjalankan
torch.Optimizerdalam presisi rendahtorch_dtype, yang mungkin berguna saat menggunakan jumlah GPU yang sedikit.
Dengan presisi campuran, FSDP dan DeepSpeed akan melakukan upcast pada langkah persiapan model (lihat tabel di atas). Namun, perhatikan bahwa FSDP kemudian akan menyimpan checkpoint dalam presisi yang sudah di-upcast; DeepSpeed mungkin masih menyimpan checkpoint berpresisi rendah jika
--zero3_save_16bit_modelditentukan.
Untuk memperjelas tabel di atas, perhatikan contoh konkret berikut; langkah pra-optimizer dan langkah aktual digabungkan demi ringkas. Dengan FSDP, Anda dapat beroperasi dalam dua mode yang ditunjukkan di bawah, tetapi DeepSpeed hanya dapat beroperasi dalam satu mode.
| Framework | Memuat Model (torch_dtype) | Presisi Campuran | Persiapan (Lokal) | Pelatihan | Optimizer (Lokal) |
|---|---|---|---|---|---|
| FSDP | bf16 | default (tidak ada) | bf16 | bf16 | bf16 |
| FSDP | bf16 | bf16 | fp32 | bf16 | fp32 |
| DeepSpeed | bf16 | bf16 | fp32 | bf16 | fp32 |