Accelerate documentation

FSDP vs DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP vs DeepSpeed

Accelerate menawarkan fleksibilitas framework pelatihan dengan mengintegrasikan dua alat yang sangat kuat untuk pelatihan terdistribusi, yaitu Pytorch FSDP dan Microsoft DeepSpeed. Tujuan tutorial ini adalah untuk menguraikan persamaan serta perbedaan potensial di antara keduanya, sehingga pengguna dapat beralih secara mulus antara kedua framework ini.

Untuk beralih antar framework, kami merekomendasikan menjalankan kode accelerate launch dengan meneruskan file konfigurasi yang benar menggunakan --config_file, atau meneruskan argumen yang sesuai secara langsung untuk FSDP dan DeepSpeed.

Contoh konfigurasi Accelerate dapat ditemukan di sini untuk DeepSpeed dan FSDP, atau di example zoo di bawah “Launch Configurations”

Tutorial ini hanya untuk skenario single-node, multi-GPU.

Mengonfigurasi Fungsionalitas

Tensor model dibagi ke GPU yang berbeda dalam upaya untuk memperbesar ukuran model; hal ini disebut sharding di FSDP, dan partitioning di DeepSpeed. Sharding FSDP dan tahap ZeRO (partitioning) DeepSpeed dikonfigurasi oleh --fsdp_sharding_strategy, dan --zero_stage, masing-masing. Secara khusus, FULL_SHARD FSDP dipetakan ke tahap ZeRO DeepSpeed 3; lihat pemetaan komprehensif antara sharding FSDP dan pengaturan ZeRO DeepSpeed ini. Tabel di bawah ini merangkum dan mengelompokkan pengaturan yang serupa:

GrupFrameworkKonfigurasiContohBatasan (jika ada)
sharding / partisiFSDP
DeepSpeed
--fsdp_sharding_strategy
--zero_stage
1 (FULL_SHARD)
3
offloadFSDP
DeepSpeed
--fsdp_offload_params
--offload_param_device
--offload_optimizer_device
true
cpu
cpu
semua atau tidak sama sekali

pemuatan modelFSDP
DeepSpeed
--fsdp_cpu_ram_efficient_loading
--zero3_init_flag
true
true

hanya ZeRO 3
checkpointing yang efisienFSDP
DeepSpeed
--fsdp_state_dict_type
--zero3_save_16bit_model
SHARDED_STATE_DICT
true

hanya ZeRO 3
prefetching bobotFSDP

DeepSpeed
--fsdp_forward_prefetch
--fsdp_backward_prefetch
None
true
BACKWARD_PRE


modelFSDP

DeepSpeed
--fsdp_auto_wrap_policy
--fsdp_transformer_layer_cls_to_wrap
None
TRANSFORMER_BASED_WRAP
<Kelas Layer>

Biasanya tidak diperlukan
Transparan bagi pengguna.
parameter summoningFSDP
DeepSpeed
--fsdp_use_orig_params
Tidak ada
truediperlukan untuk torch.compile
Transparan bagi pengguna
sinkronisasi parameterFSDP
DeepSpeed
--fsdp_sync_module_states
Tidak ada
true
pelatihanFSDP
DeepSpeed
Tidak ada
--gradient_accumulation_steps
--gradient_clipping

auto
auto
Transparan bagi pengguna

Untuk deskripsi rinci dari hal-hal di atas, silakan merujuk ke dokumentasi peluncuran Accelerate.

Untuk mengakses konfigurasi DeepSpeed lainnya, seperti pengaturan presisi campuran, Anda perlu meneruskan --deepspeed_config_file, lihat dokumentasi.

DeepSpeed juga dapat dikonfigurasi melalui DeepSpeedPlugin, misalnya, DeepSpeedPlugin.zero_stage setara dengan --zero_stage, dan DeepSpeedPlugin.hf_ds_config dapat digunakan untuk meneruskan --deepeed_config_file.

FSDP juga dapat dikonfigurasi melalui FullyShardedDataParallelPlugin, misalnya, FullyShardedDataParallelPlugin.sharding_strategy adalah ekuivalen dari --fsdp_sharding_strategy.

Checkpointing

Perhatikan bahwa FSDP dapat dikonfigurasi melalui --fsdp_state_dict_type untuk menyimpan checkpoint penuh / sharded.

Untuk DeepSpeed Zero3, seseorang dapat meneruskan --zero3_save_16bit_model true, yang dengan nyaman mengonsolidasikan model ke satu rank dan menyimpannya; ini adalah ekuivalen FSDP dari fsdp_state_dict_type: FULL_STATE_DICT.

Untuk model besar, mengonsolidasikan model ke satu rank dapat menjadi sangat lambat.

Untuk checkpointing yang lebih cepat, untuk FSDP gunakan fsdp_state_dict_type: SHARDED_STATE_DICT, dan untuk DeepSpeed Zero3 gunakan skrip zero_to_fp32.py untuk mengonversi checkpoint yang terpecah setelahnya.

Offloading

FSDP hanya mengizinkan offload all-or-nothing (yaitu, baik offload parameter, gradien, dan optimizer, atau simpan semuanya di GPU), tetapi DeepSpeed dapat melakukan offload parameter dan optimizer secara berbeda. Selain itu, DeepSpeed juga mendukung offloading ke NVME.

Prefetching

FSDP memungkinkan dua konfigurasi prefetching --fsdp_forward_prefetch dan --fsdp_backward_prefetch untuk meningkatkan overlap komputasi/komunikasi dengan biaya memori tambahan, lihat dokumentasi FSDP. Untuk DeepSpeed, prefetching akan diaktifkan saat diperlukan, dan pengaktifannya bergantung pada hyper-param tertentu seperti stage3_param_persistence_threshold, stage3_max_reuse_distance, dll, yang dapat dikonfigurasi untuk Zero3; accelerate mungkin mengatur hyper-param ini secara otomatis jika Anda tidak menyetelnya secara eksplisit di file konfigurasi deepspeed.

Untuk FSDP, atur fsdp_backward_prefetch: BACKWARD_PRE untuk meningkatkan throughput jika memori memungkinkan.

Memuat Model

Meskipun FSDP memerlukan --fsdp_cpu_ram_efficient_loading true secara eksplisit untuk mengaktifkan pemuatan model yang efisien, transformers akan mengaktifkan fitur serupa setiap kali DeepSpeed Zero3 digunakan.

Untuk FSDP, setiap kali --fsdp_cpu_ram_efficient_loading true disetel, accelerate akan secara otomatis mengatur sync_module_states menjadi true. Untuk pemuatan yang efisien RAM, bobot hanya akan dimuat pada satu rank, sehingga memerlukan sync_module_states untuk menyiarkan bobot ke rank lainnya.

Model

FSDP memerlukan --fsdp_auto_wrap_policy yang eksplisit agar algoritma dapat memutuskan bagaimana menjadwalkan operasi all-gather dan reduce-scatter. Namun, untuk DeepSpeed, hal ini transparan bagi pengguna.

Untuk FSDP, cukup atur fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. Dengan versi transformers terbaru, kami berusaha semaksimal mungkin untuk menentukan fsdp_transformer_layer_cls_to_wrap yang sesuai untuk model HF transformers. Namun, jika Anda mendapatkan error terkait hal tersebut, silakan tentukan secara eksplisit.

Parameter Pemanggilan

FSDP memerlukan flag --fsdp_use_orig_params secara eksplisit jika menggunakan torch.compile, lihat dokumentasi pytorch. Untuk DeepSpeed, hal ini transparan bagi pengguna.

Untuk FSDP, saat menggunakan torch.compile silakan atur fsdp_use_orig_params: True.

Pelatihan

Deepspeed memerlukan flag --gradient_accumulation_steps dan --gradient_clipping secara eksplisit. Untuk FSDP, hal ini transparan bagi pengguna.

Saat menggunakan DeepSpeed, atur gradient_accumulation_steps: "auto" dan gradient_clipping: "auto" untuk secara otomatis mengambil nilai yang diatur di Accelerator atau TrainingArguments (jika menggunakan transformers).

Tentang Perbedaan dalam Penanganan Presisi Data

Untuk membahas bagaimana presisi data ditangani di FSDP dan DeepSpeed, akan lebih jelas jika kita terlebih dahulu memberikan gambaran tentang bagaimana parameter model ditangani dalam framework-framework ini. Sebelum parameter model / optimizer didistribusikan ke GPU, terdapat proses persiapan parameter untuk terlebih dahulu “meratakan” (flatten) mereka menjadi torch.Tensor satu dimensi. Implementasi FSDP / DeepSpeed berbeda dalam hal dtype di mana parameter “diratakan” ini disimpan, dan hal ini memiliki implikasi terhadap bagaimana torch.Optimizer mengalokasikan dtype mereka. Tabel di bawah ini merangkum proses untuk kedua framework; kolom “Local” menunjukkan proses yang terjadi pada level per-GPU, sehingga overhead memori akibat upcasting harus dipahami sebagai sesuatu yang teramortisasi oleh jumlah GPU yang digunakan.

Sebagai aturan umum, untuk pelatihan yang stabil dengan presisi campuran otomatis, semua parameter yang dapat dilatih harus berada dalam torch.float32.

ProsesLokalFrameworkDetail
Memuat, yaitu AutoModel.from_pretrained(..., torch_dtype=torch_dtype)
Persiapan, yaitu pembuatan “flat params”✅FSDP
DeepSpeed
dibuat dalam torch_dtype.
mengabaikan torch_dtype, dibuat dalam float32.
Inisialisasi optimizer✅FSDP
DeepSpeed
membuat parameter dalam torch_dtype
membuat parameter dalam float32
Langkah Pelatihan, yaitu, maju, mundur, reduksiFSDP
DeepSpeed
mengikuti MixedPrecision
mengikuti pengaturan mixed precision dari deepspeed_config_file.
Optimizer (Pra-Langkah)✅FSDP
DeepSpeed
upcasting (jika ada) ke torch_dtype
di-upcast ke float32
Optimizer (Langkah Aktual)✅FSDP
DeepSpeed
terjadi dalam torch_dtype
terjadi dalam float32.

Oleh karena itu, saat menggunakan DeepSpeed dengan sejumlah kecil GPU, perhatikan potensi overhead memori yang signifikan akibat upcasting selama persiapan.

Dengan FSDP, jika tidak ada mixed precision, dimungkinkan untuk menjalankan torch.Optimizer dalam presisi rendah torch_dtype, yang mungkin berguna saat menggunakan jumlah GPU yang sedikit.

Dengan presisi campuran, FSDP dan DeepSpeed akan melakukan upcast pada langkah persiapan model (lihat tabel di atas). Namun, perhatikan bahwa FSDP kemudian akan menyimpan checkpoint dalam presisi yang sudah di-upcast; DeepSpeed mungkin masih menyimpan checkpoint berpresisi rendah jika --zero3_save_16bit_model ditentukan.

Untuk memperjelas tabel di atas, perhatikan contoh konkret berikut; langkah pra-optimizer dan langkah aktual digabungkan demi ringkas. Dengan FSDP, Anda dapat beroperasi dalam dua mode yang ditunjukkan di bawah, tetapi DeepSpeed hanya dapat beroperasi dalam satu mode.

FrameworkMemuat Model (torch_dtype)Presisi CampuranPersiapan (Lokal)PelatihanOptimizer (Lokal)
FSDPbf16default (tidak ada)bf16bf16bf16
FSDPbf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32
Update on GitHub