Accelerate documentation
Büyük Model Çıkarımı
Büyük Model Çıkarımı
Accelerate'in sağladığı en büyük yeniliklerden biri, grafik kartınıza tam olarak sığmayan modellerle çıkarım yapmanızı sağlayan Big Model Inference'dir.
Bu eğitim, Accelerate ve Hugging Face ekosisteminde Big Model Inference'ı nasıl kullanacağınızı gösterecektir.
Accelerate
Bir PyTorch modelinin yüklenmesi için tipik bir iş akışı aşağıda gösterilmektedir. ModelClass, cihazınızın (mps veya cuda veya xpu) GPU belleğini aşan bir modeldir.
import torch
my_model = ModelClass(...)
state_dict = torch.load(checkpoint_file)
my_model.load_state_dict(state_dict)Big Model Inference ile ilk adım, init_empty_weights bağlam yöneticisiyle modelin boş iskeletini başlatmaktır. Bu, my_model “parametresiz” olduğu için bellek gerektirmez.
from accelerate import init_empty_weights
with init_empty_weights():
my_model = ModelClass(...)Ardından, çıkarım için ağırlıklar modele yüklenir.
load_checkpoint_and_dispatch() metodu, boş modelinizin içinde bir checkpoint yükler ve her katman için ağırlıkları tüm kullanılabilir cihazlara dağıtır; en hızlı cihazlardan (GPU, MPS, XPU, NPU, MLU, SDAA, MUSA) başlayarak daha yavaş olanlara (CPU ve sabit disk) geçer.
device_map="auto" ayarlandığında, önce GPU(lar) üzerindeki tüm kullanılabilir alan, ardından CPU ve hâlâ yeterli bellek yoksa son olarak sabit disk (mutlak anlamda en yavaş seçenek) otomatik olarak doldurulur.
Kendi cihaz haritanızı nasıl tasarlayacağınızla ilgili daha fazla ayrıntı için Designing a device map kılavuzuna başvurun.
from accelerate import load_checkpoint_and_dispatch
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)Belirli katman “parçalarının” bölünmemesi gerekiyorsa, bunları no_split_module_classes parametresine iletin (daha fazla ayrıntı için buraya bakın).
Bir modelin ağırlıkları, örneğin state_dict belleğe sığmadığında belleği tasarruflu kullanmak için birden çok kontrol noktasına bölünebilir (daha fazla ayrıntı için buraya bakın).
Model artık tamamen dağıtıldığına göre, çıkarım (inference) gerçekleştirebilirsiniz.
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)Her giriş bir katmandan geçirildiğinde, CPU'dan GPU'ya (veya diskten CPU'ya, oradan GPU'ya) gönderilir, çıktı hesaplanır ve katman GPU'dan kaldırılarak sıranın geri kalanına doğru inilir. Bu, çıkarım sırasında bazı ek yükler getirse de, en büyük katman GPU'nuzda sığdığı sürece sisteminizde herhangi bir boyutta model çalıştırmanızı sağlar.
Birden fazla GPU, yani “model paralelliği” kullanılabilir ancak herhangi bir anda yalnızca bir GPU aktif olur. Bu durum, GPU’nun önceki GPU’dan çıktıyı almasını beklemesini zorunlu kılar. Scriptinizi torchrun ve accelerate launch gibi diğer araçlar yerine Python ile normal şekilde başlatmalısınız.
Aşağıda Big Model Inference'in tam bir örneğine göz atın.
import torch
from accelerate import init_empty_weights, load_checkpoint_and_dispatch
with init_empty_weights():
model = MyModel(...)
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)Hugging Face ekosistemi
Transformers veya Diffusers gibi Hugging Face ekosistemindeki diğer kütüphaneler, from_pretrained yapılandırıcılarında Big Model Inference'i destekler.
Big Model Inference'i etkinleştirmek için from_pretrained içinde device_map="auto" eklemeniz yeterlidir.
Örneğin, Big Model Inference ile Big Sciences T0pp 11 milyar parametreli modeli yükleyin.
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto")Model yüklendikten sonra, önceki boş init ve akıllı dağıtım adımları çalıştırılır ve model, makinenizdeki tüm kaynaklardan yararlanmaya tamamen hazır hale gelir. Bu yapılandırıcılar aracılığıyla, torch_dtype parametresini belirleyerek modeli daha düşük bir hassasiyette yüklemek için daha fazla bellek de tasarruf edebilirsiniz.
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto", torch_dtype=torch.float16)Sonraki adımlar
Big Model Inference hakkında daha ayrıntılı bir açıklama için kavramsal kılavuza göz atmayı unutmayın!
Update on GitHub