Accelerate documentation
Начните здесь!
Начало работы
Учебные материалы
ОбзорДобавление Accelerate в ваш кодПроцесс выполненияОбучение на TPUЗапуск скриптов AccelerateЗапуск распределённого обучения из Jupyter Notebooks
Руководства
Accelerate
Начните здесь!Оценщик памяти моделиКвантование моделейТрекеры экспериментовПрофилировщикСоздание контрольных точекУстранение неполадокПримеры Zoo
Обучение
Накопление градиентовЛокальный SGDОбучение с низкой точностью (FP8)DeepSpeedИспользование нескольких моделей с DeepSpeedDDP Communication HooksПолностью шардированная параллельная обработка данныхMegatron-LMAmazon SageMakerApple M1 GPUsIntel CPUIntel GaudiКомпиляция
Вывод
Концепции и основы
Внутренний механизм AccelerateЗагрузка больших моделей в памятьСравнение производительности в распределённых конфигурацияхВыполнение и откладывание заданийСинхронизация градиентовFSDP и DeepSpeedFSDP1 и FSDP2Параллелизм контекстаПараллелизм последовательностейМетоды обучения с низкой точностьюОбучение на TPU
Справочник
УскорительКлассы с состояниемКомандная строкаDataLoaders, Оптимизаторы, ПланировщикиСистемы отслеживания экспериментовЗапускУтилиты DeepSpeedЛогированиеРабота с большими моделямиОбработчики аргументов KwargsFP8Вспомогательные функции и классыУтилиты Megatron-LMУтилиты полностью шардированного параллелизма данных
Начните здесь!
Пользуйтесь интерактивным инструментом ниже, чтобы начать изучение конкретного функционала Accelerate и научиться им пользоваться! Он предоставит вам diff кода, объяснение того, что происходит, а также полезные ссылки для дальнейшего изучения документации!
Большинство примеров кода начинаются со следующего кода на Python перед интеграцией Accelerate тем или иным способом:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()