Accelerate documentation

Başlatıcılar

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Başlatıcılar

Dağıtık süreçlerde eğitimi başlatmak için işlevler.

notebook_launcher

accelerate.notebook_launcher

< >

( functionargs = ()num_processes = Nonemixed_precision = 'no'use_port = '29500'master_addr = '127.0.0.1'node_rank = 0num_nodes = 1rdzv_backend = 'static'rdzv_endpoint = ''rdzv_conf = Nonerdzv_id = 'none'max_restarts = 0monitor_interval = 0.1log_line_prefix_template = None )

Parametreler

  • function (Callable) — Çalıştırılacak eğitim işlevi. Argüman kabul ediyorsa, ilk argüman çalıştırılan sürecin indeksi olmalıdır.
  • args (Tuple) — Fonksiyona iletilecek argümanların tuple'ı (fonksiyon *args olarak alacaktır).
  • num_processes (int, isteğe bağlı) — Eğitim için kullanılacak süreç sayısı. TPU mevcut ise Colab/Kaggle'da varsayılan olarak 8, aksi halde kullanılabilir cihaz sayısına ayarlanır.
  • mixed_precision (str, isteğe bağlı, varsayılan "no") — fp16 veya bf16 ise, çoklu cihazda karma hassasiyetli eğitim kullanılır.
  • use_port (str, isteğe bağlı, varsayılan "29500") — Çoklu cihaz eğitimini başlatırken süreçler arasında iletişim için kullanılacak port.
  • master_addr (str, isteğe bağlı, varsayılan "127.0.0.1") — Süreçler arası iletişim için kullanılacak adres.
  • node_rank (int, isteğe bağlı, varsayılan 0) — Mevcut düğümün rütbesi.
  • num_nodes (int, isteğe bağlı, varsayılan 1) — Eğitim için kullanılacak düğüm sayısı.
  • rdzv_backend (str, isteğe bağlı, varsayılan "static") — Kullanılacak buluşma yöntemi, örneğin ‘static’ (varsayılan) veya ‘c10d’
  • rdzv_endpoint (str, isteğe bağlı, varsayılan "") — rdzv senkronizasyon depolamasının uç noktası.
  • rdzv_conf (Dict, isteğe bağlı, varsayılan None) — Ek buluşma yapılandırması.
  • rdzv_id (str, isteğe bağlı, varsayılan "none") — İşin benzersiz çalıştırma kimliği.
  • max_restarts (int, isteğe bağlı, varsayılan 0) — Başarısızlık durumunda elastic agent'ın işçilerde gerçekleştireceği maksimum yeniden başlatma sayısı.
  • monitor_interval (float, isteğe bağlı, varsayılan 0.1) — Elastic_agent'ın işçileri izleme periyodu olarak kullandığı saniye cinsinden aralık.
  • log_line_prefix_template (str, isteğe bağlı, varsayılan None) — Elastic başlatma günlükleme için önek şablonu. PyTorch 2.2.0 sürümünden itibaren kullanılabilir.

Mevcut ortamda mümkünse (örneğin, birden fazla çekirdeğe sahip TPU) birden fazla işlem veya birden fazla düğüm kullanarak bir eğitim işlevi başlatır.

Bu fonksiyonu kullanmak için, çağrıdan önce notebook oturumunda bir cihaza yönelik mutlak surette sıfır çağrı yapılmalıdır. Herhangi bir çağrı yapıldıysa, notebook'u yeniden başlatmanız ve hiçbir hücrenin cihaz yeteneği kullanmadığından emin olmanız gerekir.

Ortamınızda ACCELERATE_DEBUG_MODE="1" değerini ayarlamak, bu çağrıların hiçbirisinin yapılmadığından emin olmak için gerçek başlatma işleminden önce bir test çalıştırır.

Örnek:

# Assume this is defined in a Jupyter Notebook on an instance with two devices
from accelerate import notebook_launcher


def train(*args):
    # Your training function here
    ...


notebook_launcher(train, args=(arg1, arg2), num_processes=2, mixed_precision="fp16")

debug_launcher

accelerate.debug_launcher

< >

( functionargs = ()num_processes = 2 )

Parametreler

  • function (Callable) — Çalıştırılacak eğitim işlevi.
  • args (Tuple) — Fonksiyona iletilecek argümanların tuple'ı (fonksiyon *args olarak alacaktır).
  • num_processes (int, isteğe bağlı, varsayılan 2) — Eğitim için kullanılacak süreç sayısı.

Hata ayıklama amaçlı olarak CPU üzerinde birden fazla süreç kullanarak bir eğitim işlevi başlatır.

Bu fonksiyon dahili test ve hata ayıklama için sağlanmıştır, ancak gerçek eğitimler için tasarlanmamıştır. Yalnızca CPU kullanacaktır.

Update on GitHub