Accelerate documentation
Полностью шардированная параллельная обработка данных
Полностью шардированная параллельная обработка данных
Чтобы ускорить обучение огромных моделей с большими размерами батчей, можно использовать модель с полным шардированием данных (fully sharded data parallel). Этот тип параллельной парадигмы позволяет размещать больше данных и более крупные модели за счёт шардирования состояний оптимизатора, градиентов и параметров. Чтобы узнать об этом подробнее и о преимуществах, ознакомьтесь с блогом о Fully Sharded Data Parallel. Мы интегрировали новейшую функцию обучения PyTorch — Fully Sharded Data Parallel (FSDP). Вам нужно лишь включить её через конфигурацию.
Как это работает из коробки
На вашем(их) компьютере(ах) просто выполните:
accelerate config
и отвечайте на задаваемые вопросы. Это создаст файл конфигурации, который будет автоматически использоваться для корректной настройки параметров по умолчанию при выполнении
accelerate launch my_script.py --args_to_my_script
Например, вот как запустить examples/nlp_example.py (из корня репозитория) с включённым FSDP:
compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_backward_prefetch_policy: BACKWARD_PRE
fsdp_forward_prefetch: false
fsdp_cpu_ram_efficient_loading: true
fsdp_offload_params: false
fsdp_sharding_strategy: FULL_SHARD
fsdp_state_dict_type: SHARDED_STATE_DICT
fsdp_sync_module_states: true
fsdp_transformer_layer_cls_to_wrap: BertLayer
fsdp_use_orig_params: true
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: falseaccelerate launch examples/nlp_example.py
В настоящее время Accelerate поддерживает следующие конфигурации через CLI:
fsdp_sharding_strategy: [1] FULL_SHARD (разбивает состояния оптимизатора, градиенты и параметры), [2] SHARD_GRAD_OP (разбивает состояния оптимизатора и градиенты), [3] NO_SHARD (DDP), [4] HYBRID_SHARD (разбивает состояния оптимизатора, градиенты и параметры внутри каждого узла, при этом каждый узел хранит полную копию), [5] HYBRID_SHARD_ZERO2 (разбивает состояния оптимизатора и градиенты внутри каждого узла, при этом каждый узел хранит полную копию). Подробнее см. в официальной документации PyTorch.
fsdp_offload_params : Определяет, следует ли выгружать параметры и градиенты на CPU
fsdp_auto_wrap_policy: [1] TRANSFORMER_BASED_WRAP, [2] SIZE_BASED_WRAP, [3] NO_WRAP
fsdp_transformer_layer_cls_to_wrap: Применимо только для Transformers. При использовании fsdp_auto_wrap_policy=TRANSFORMER_BASED_WRAP пользователь может указать строку с именами классов слоев трансформера (с учетом регистра), разделенными запятыми, для упаковки, например, BertLayer, GPTJBlock, T5Block, BertLayer,BertEmbeddings,BertSelfOutput. Это важно, так как подмодули, разделяющие веса (например, слои эмбеддингов), не должны попадать в разные единицы упаковки FSDP. При использовании этой политики упаковка выполняется для каждого блока, содержащего Multi-Head Attention, за которым следуют несколько слоев MLP. Остальные слои, включая общие эмбеддинги, удобно упаковываются в ту же внешнюю единицу FSDP. Следовательно, используйте это для моделей на основе трансформеров. Вы можете использовать model._no_split_modules для моделей Transformers, ответив yes на вопрос Do you want to use the model's_no_split_modulesto wrap. It will try to usemodel._no_split_modules` when possible.
fsdp_min_num_params: минимальное количество параметров при использовании fsdp_auto_wrap_policy=SIZE_BASED_WRAP.
fsdp_backward_prefetch_policy: [1] BACKWARD_PRE, [2] BACKWARD_POST, [3] NO_PREFETCH
fsdp_forward_prefetch: если True, FSDP явно предзагружает следующий all-gather во время выполнения прямого прохода. Следует использовать только для моделей со статическим графом, так как предзагрузка следует порядку выполнения первой итерации. То есть, если порядок подмодулей динамически меняется во время выполнения модели, не включайте эту функцию.
fsdp_state_dict_type: [1] FULL_STATE_DICT, [2] LOCAL_STATE_DICT, [3] SHARDED_STATE_DICT
fsdp_use_orig_params: Если установлено в True, разрешает неравномерное requires_grad при инициализации, что означает поддержку чередующихся замороженных и обучаемых параметров. Эта настройка полезна в таких случаях, как параметрически эффективная дообучение, описанная в этом посте. Этот параметр также позволяет иметь несколько групп параметров оптимизатора. Он должен быть True при создании оптимизатора до подготовки/обёртки модели с помощью FSDP.
fsdp_cpu_ram_efficient_loading: Применимо только к моделям Transformers. Если установлено значение True, предобученную контрольную точку модели загружает только первый процесс, а все остальные процессы имеют пустые веса. Если при загрузке предобученной модели Transformers с помощью метода from_pretrained возникают ошибки, установите для этого параметра значение False. Если для этого параметра установлено значение True, для fsdp_sync_module_states также должно быть установлено значение True, иначе все процессы, кроме основного, будут иметь случайные веса, что приведёт к непредсказуемому поведению во время обучения. Чтобы это работало, убедитесь, что группа распределённых процессов инициализирована до вызова метода from_pretrained в Transformers. При использовании API Trainer группа распределённых процессов инициализируется при создании экземпляра класса TrainingArguments.
fsdp_sync_module_states: если True, каждая индивидуально обернутая единица FSDP будет рассылать параметры модуля с ранга 0.
Для дополнительного и более тонкого управления вы можете указать другие параметры FSDP через FullyShardedDataParallelPlugin.
При создании объекта FullyShardedDataParallelPlugin передайте ему параметры, которые не входили в конфигурацию accelerate, или те, которые вы хотите переопределить.
Параметры FSDP будут выбраны на основе файла конфигурации accelerate или аргументов команды запуска, а другие параметры, которые вы передадите непосредственно через объект FullyShardedDataParallelPlugin, установят или переопределят их.
Ниже приведен пример:
from accelerate import FullyShardedDataParallelPlugin
from torch.distributed.fsdp.fully_sharded_data_parallel import FullOptimStateDictConfig, FullStateDictConfig
fsdp_plugin = FullyShardedDataParallelPlugin(
state_dict_config=FullStateDictConfig(offload_to_cpu=False, rank0_only=False),
optim_state_dict_config=FullOptimStateDictConfig(offload_to_cpu=False, rank0_only=False),
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)Сохранение и загрузка
Новый рекомендуемый способ создания контрольных точек при использовании моделей FSDP — использовать SHARDED_STATE_DICT в качестве StateDictType при настройке конфигурации accelerate.
Ниже приведён фрагмент кода для сохранения с использованием утилиты save_state accelerate.
accelerator.save_state("ckpt")Осмотрите папку контрольной точки, чтобы увидеть модель и оптимизатор в виде фрагментов для каждого процесса:
ls ckpt
# optimizer_0 pytorch_model_0 random_states_0.pkl random_states_1.pkl scheduler.bin
cd ckpt
ls optimizer_0
# __0_0.distcp __1_0.distcp
ls pytorch_model_0
# __0_0.distcp __1_0.distcpЧтобы загрузить их обратно для возобновления обучения, используйте утилиту load_state из accelerate
accelerator.load_state("ckpt")При использовании save_pretrained из transformers передайте state_dict=accelerator.get_state_dict(model), чтобы сохранить state dict модели.
Пример:
unwrapped_model.save_pretrained(
args.output_dir,
is_main_process=accelerator.is_main_process,
save_function=accelerator.save,
+ state_dict=accelerator.get_state_dict(model),
)State Dict
accelerator.get_state_dict вызывает базовую реализацию model.state_dict, используя контекстный менеджер FullStateDictConfig(offload_to_cpu=True, rank0_only=True), чтобы получить state dict только для rank 0, который будет выгружен в CPU.
Затем вы можете передать state в метод save_pretrained. Для StateDictType и FullStateDictConfig существует несколько режимов, которые позволяют управлять поведением state_dict. Подробнее см. в документации PyTorch.
Если вы выберете использование StateDictType.SHARDED_STATE_DICT, веса модели при вызове Accelerator.save_state будут разделены на n файлов для каждого под-раздела модели. Чтобы объединить их обратно в единый словарь для последующей загрузки в модель после обучения, вы можете использовать утилиту merge_weights:
from accelerate.utils import merge_fsdp_weights
# Our weights are saved usually in a `pytorch_model_fsdp_{model_number}` folder
merge_fsdp_weights("pytorch_model_fsdp_0", "output_path", safe_serialization=True)Итоговый результат будет сохранён в model.safetensors или pytorch_model.bin (если передано safe_serialization=False).
Это также можно выполнить с помощью CLI:
accelerate merge-weights pytorch_model_fsdp_0/ output_path
Соответствие между стратегиями шардирования FSDP и этапами ZeRO DeepSpeed
FULL_SHARDсоответствуетZeRO Stage-3в DeepSpeed. Разделяет состояния оптимизатора, градиенты и параметры.SHARD_GRAD_OPсоответствуетZeRO Stage-2в DeepSpeed. Разделяет состояния оптимизатора и градиенты.NO_SHARDсоответствуетZeRO Stage-0. Шундирование отсутствует: на каждом GPU хранится полная копия модели, состояний оптимизатора и градиентов.HYBRID_SHARDсоответствуетZeRO++ Stage-3, гдеzero_hpz_partition_size=<num_gpus_per_node>. В этом случае состояния оптимизатора, градиенты и параметры разделяются внутри каждого узла, при этом каждый узел хранит полную копию.
Несколько важных оговорок
- Если используется несколько моделей, передавайте оптимизаторы в вызов prepare в том же порядке, что и соответствующие модели, иначе
accelerator.save_state()иaccelerator.load_state()приведут к неправильному или непредсказуемому поведению. - Эта функция несовместима с
--predict_with_generateв скриптеrun_translation.pyбиблиотекиTransformers.
Для более тонкого управления пользователи могут использовать FullyShardedDataParallelPlugin. После создания экземпляра этого класса его можно передать при инициализации класса Accelerator.
Подробнее об этих вариантах см. в коде PyTorch FullyShardedDataParallel.
Update on GitHubДля тех, кто интересуется сходствами и различиями между FSDP и DeepSpeed, ознакомьтесь с концептуальным руководством здесь!