# 在 Mac 上加速 PyTorch 训练

随着 PyTorch v1.12 的发布，开发者和研究人员可以利用 Apple 硅 GPU 实现显著更快的模型训练。这使得在 Mac 上本地执行机器学习工作流（如原型设计和微调）成为可能。Apple 的 Metal Performance Shaders (MPS) 作为 PyTorch 的后端实现了这一功能，并可通过新的 `"mps"` 设备使用。这将把计算图和原语映射到 MPS 图框架以及 MPS 提供的调优内核上。有关更多信息，请参阅官方文档 [Introducing Accelerated PyTorch Training on Mac](https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/) 和 [MPS BACKEND](https://pytorch.org/docs/stable/notes/mps.html)。

### 使用 Apple Silicon 芯片进行训练和推理的优势

1. 允许用户在本地训练更大的网络或更大的批次大小
2. 由于采用统一内存架构，降低了数据检索延迟，并使 GPU 能够直接访问完整的内存存储。
因此，提升了端到端性能。
3. 降低了与基于云的开发相关的成本，或减少了对额外本地 GPU 的需求。

**先决条件**：要安装支持 mps 的 torch，请遵循这篇优质的 medium 文章 [GPU-Acceleration Comes to PyTorch on M1 Macs](https://medium.com/towards-data-science/gpu-acceleration-comes-to-pytorch-on-m1-macs-195c399efcc1)。

## 开箱即用的工作原理
在启用 MPS 的 Apple Silicon GPU 的 MacOs 机器上，此功能默认启用。若要禁用它，请在 `accelerate launch` 命令中传入 `--cpu` 标志，或在回答 `accelerate config` 问卷时选择相应的选项。

您可以直接运行以下脚本，在支持 MPS 的 Apple Silicon 机器上进行测试：
```bash
accelerate launch /examples/cv_example.py --data_dir images
```

## 需要注意的几个问题

1. 分布式设置 `gloo` 和 `nccl` 无法与 `mps` 设备配合使用。
这意味着目前只能使用 `mps` 设备类型的单个 GPU。

最后，请记住，`Accelerate` 仅集成了 MPS 后端，因此如果您在使用 MPS 后端时遇到任何问题或疑问，请在 [PyTorch GitHub](https://github.com/pytorch/pytorch/issues) 上提交 issue。

