Accelerate documentation
Ускоренная тренировка PyTorch на Mac
Ускоренная тренировка PyTorch на Mac
С выходом PyTorch v1.12 разработчики и исследователи могут использовать GPU на базе Apple silicon для значительно более быстрого обучения моделей.
Это открывает возможность выполнять рабочие процессы машинного обучения, такие как прототипирование и дообучение, локально, прямо на Mac.
Для этого используется Metal Performance Shaders (MPS) от Apple в качестве бэкенда для PyTorch, доступного через новое устройство "mps".
Вычислительные графы и примитивы будут отображаться на фреймворк MPS Graph и оптимизированные ядра, предоставляемые MPS.
Подробнее см. официальную документацию Introducing Accelerated PyTorch Training on Mac и MPS BACKEND.
Преимущества обучения и вывода с использованием чипов Apple Silicon
- Позволяет пользователям обучать более крупные сети или использовать большие размеры пакетов локально
- Снижает задержку при получении данных и обеспечивает прямой доступ GPU к полному хранилищу памяти благодаря архитектуре унифицированной памяти. Следовательно, повышает производительность системы в целом.
- Снижает затраты, связанные с облачной разработкой, или необходимость в дополнительных локальных GPU.
Предварительные требования: чтобы установить torch с поддержкой mps, следуйте этой полезной статье на medium GPU-Acceleration Comes to PyTorch on M1 Macs.
Как это работает из коробки
По умолчанию он включён на машинах MacOs с GPU Apple Silicon, поддерживающими MPS.
Чтобы отключить его, передайте флаг --cpu команде accelerate launch или ответьте на соответствующий вопрос при заполнении анкеты accelerate config.
Вы можете напрямую выполнить следующий скрипт, чтобы протестировать его на машинах Apple Silicon с поддержкой MPS:
accelerate launch /examples/cv_example.py --data_dir images
Несколько важных оговорок
- Распределённые конфигурации
glooиncclне работают с устройствомmps. Это означает, что в настоящее время можно использовать только один GPU типа устройстваmps.
Наконец, помните, что Accelerate интегрирует только бэкенд MPS, поэтому, если у вас возникнут проблемы или вопросы, связанные с использованием бэкенда MPS, пожалуйста, создайте issue в PyTorch GitHub.