Accelerate documentation
여기서 시작하세요!
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
여기서 시작하세요!
Accelerate의 특정 기능에 대해 배우고 이를 활용하는 방법을 익히기 위해 아래 인터랙티브 도구를 사용해 보세요! 이 도구는 코드 diff, 해당 동작에 대한 설명, 그리고 문서 내에서 더 깊이 탐구할 수 있는 유용한 링크를 제공합니다!
대부분의 코드 예제는 Accelerate를 어떤 방식으로든 통합하기 전에 다음 Python 코드로 시작합니다:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()