Accelerate documentation

Ускоренная тренировка PyTorch на Mac

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ускоренная тренировка PyTorch на Mac

С выходом PyTorch v1.12 разработчики и исследователи могут использовать GPU на базе Apple silicon для значительно более быстрого обучения моделей. Это открывает возможность выполнять рабочие процессы машинного обучения, такие как прототипирование и дообучение, локально, прямо на Mac. Для этого используется Metal Performance Shaders (MPS) от Apple в качестве бэкенда для PyTorch, доступного через новое устройство "mps". Вычислительные графы и примитивы будут отображаться на фреймворк MPS Graph и оптимизированные ядра, предоставляемые MPS. Подробнее см. официальную документацию Introducing Accelerated PyTorch Training on Mac и MPS BACKEND.

Преимущества обучения и вывода с использованием чипов Apple Silicon

  1. Позволяет пользователям обучать более крупные сети или использовать большие размеры пакетов локально
  2. Снижает задержку при получении данных и обеспечивает прямой доступ GPU к полному хранилищу памяти благодаря архитектуре унифицированной памяти. Следовательно, повышает производительность системы в целом.
  3. Снижает затраты, связанные с облачной разработкой, или необходимость в дополнительных локальных GPU.

Предварительные требования: чтобы установить torch с поддержкой mps, следуйте этой полезной статье на medium GPU-Acceleration Comes to PyTorch on M1 Macs.

Как это работает из коробки

По умолчанию он включён на машинах MacOs с GPU Apple Silicon, поддерживающими MPS. Чтобы отключить его, передайте флаг --cpu команде accelerate launch или ответьте на соответствующий вопрос при заполнении анкеты accelerate config.

Вы можете напрямую выполнить следующий скрипт, чтобы протестировать его на машинах Apple Silicon с поддержкой MPS:

accelerate launch /examples/cv_example.py --data_dir images

Несколько важных оговорок

  1. Распределённые конфигурации gloo и nccl не работают с устройством mps. Это означает, что в настоящее время можно использовать только один GPU типа устройства mps.

Наконец, помните, что Accelerate интегрирует только бэкенд MPS, поэтому, если у вас возникнут проблемы или вопросы, связанные с использованием бэкенда MPS, пожалуйста, создайте issue в PyTorch GitHub.

Update on GitHub