Transformers documentation
하드웨어
하드웨어
Transformers는 PyTorch 백엔드를 통해 CPU, NVIDIA GPU, AMD GPU, Apple Silicon, Google TPU, AWS Trainium 인스턴스 등에서 실행됩니다.
- 학습을 위해 TrainingArguments는 백엔드를 자동으로 감지합니다.
- 추론의 경우, 자동 감지가 모든 백엔드를 지원하지 않으므로 디바이스 문자열을 전달하여 명시적으로 선택해야 합니다. 이 페이지에서는 각 백엔드에 대한 디바이스 문자열과 패키지를 나열하고, TrainingArguments가 이를 위해 무엇을 구성하는지, 그리고 Transformers가 어떤 디바이스를 사용할지 어떻게 결정하는지를 설명합니다.
하드웨어 찾기
각 백엔드는 device_map 또는 device에 전달하는 장치 문자열을 가집니다. CPU와 Apple Silicon은 표준 torch 패키지로 작동합니다. 다른 백엔드는 PyTorch에 백엔드를 등록하는 PyTorch 확장 패키지가 필요합니다.
| 하드웨어 | Device 문자열 | 패키지 |
|---|---|---|
| CPU | cpu | torch |
| NVIDIA GPU | cuda | torch |
| AMD GPU | cuda | torch (ROCm 빌드) |
| AWS Trainium | neuron | torch-neuronx |
| Google TPU | tpu | torch-tpu |
| Intel GPU | xpu | torch |
| Apple Silicon | mps | torch |
| Intel Gaudi | hpu | habana-torch-plugin |
| Huawei Ascend NPU | npu | torch-npu |
| Cambricon MLU | mlu | torch-mlu |
| Moore Threads GPU | musa | torch-musa |
이 표에 하드웨어 백엔드가 누락되어 있고 Transformers가 이를 지원한다고 생각되면, 이슈를 열어 주세요.
Transformers가 장치를 선택하는 방법
Transformers는 학습과 추론에 대해 각각 다른 장치를 선택합니다.
학습
TrainingArguments는 Accelerate를 통해 백엔드를 자동으로 감지합니다. 분산 실행 시 각 프로세스는 Accelerate가 할당하는 장치를 사용합니다. 단일 프로세스에서는 TrainingArguments가 첫 번째 사용 가능한 백엔드를 선택하며, 사용 가능한 백엔드가 없으면 CPU로 폴백합니다. CPU에서 훈련을 강제하려면 use_cpu=True를 설정하세요.
추론
from_pretrained()는 기본적으로 모델을 CPU에 로드합니다.
device_map="auto"를 설정하면 사용 가능한 가속기에 배치됩니다. 자동 배치는 Accelerate에 의존하여 CUDA, Intel XPU, Intel Gaudi (HPU), Apple Silicon (MPS) 등을 감지하지만, 모든 백엔드를 지원하지는 않습니다. AWS Trainium, Google TPU와 같은 다른 백엔드의 경우, device_map에 디바이스 문자열을 명시적으로 전달해야 합니다.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="neuron")