Accelerate documentation
Başlatıcılar
Başlatıcılar
Dağıtık süreçlerde eğitimi başlatmak için işlevler.
notebook_launcher
accelerate.notebook_launcher
< source >( functionargs = ()num_processes = Nonemixed_precision = 'no'use_port = '29500'master_addr = '127.0.0.1'node_rank = 0num_nodes = 1rdzv_backend = 'static'rdzv_endpoint = ''rdzv_conf = Nonerdzv_id = 'none'max_restarts = 0monitor_interval = 0.1log_line_prefix_template = None )
Parametreler
- function (
Callable) — Çalıştırılacak eğitim işlevi. Argüman kabul ediyorsa, ilk argüman çalıştırılan sürecin indeksi olmalıdır. - args (
Tuple) — Fonksiyona iletilecek argümanların tuple'ı (fonksiyon*argsolarak alacaktır). - num_processes (
int, isteğe bağlı) — Eğitim için kullanılacak süreç sayısı. TPU mevcut ise Colab/Kaggle'da varsayılan olarak 8, aksi halde kullanılabilir cihaz sayısına ayarlanır. - mixed_precision (
str, isteğe bağlı, varsayılan"no") —fp16veyabf16ise, çoklu cihazda karma hassasiyetli eğitim kullanılır. - use_port (
str, isteğe bağlı, varsayılan"29500") — Çoklu cihaz eğitimini başlatırken süreçler arasında iletişim için kullanılacak port. - master_addr (
str, isteğe bağlı, varsayılan"127.0.0.1") — Süreçler arası iletişim için kullanılacak adres. - node_rank (
int, isteğe bağlı, varsayılan 0) — Mevcut düğümün rütbesi. - num_nodes (
int, isteğe bağlı, varsayılan 1) — Eğitim için kullanılacak düğüm sayısı. - rdzv_backend (
str, isteğe bağlı, varsayılan"static") — Kullanılacak buluşma yöntemi, örneğin ‘static’ (varsayılan) veya ‘c10d’ - rdzv_endpoint (
str, isteğe bağlı, varsayılan"") — rdzv senkronizasyon depolamasının uç noktası. - rdzv_conf (
Dict, isteğe bağlı, varsayılanNone) — Ek buluşma yapılandırması. - rdzv_id (
str, isteğe bağlı, varsayılan"none") — İşin benzersiz çalıştırma kimliği. - max_restarts (
int, isteğe bağlı, varsayılan 0) — Başarısızlık durumunda elastic agent'ın işçilerde gerçekleştireceği maksimum yeniden başlatma sayısı. - monitor_interval (
float, isteğe bağlı, varsayılan 0.1) — Elastic_agent'ın işçileri izleme periyodu olarak kullandığı saniye cinsinden aralık. - log_line_prefix_template (
str, isteğe bağlı, varsayılanNone) — Elastic başlatma günlükleme için önek şablonu. PyTorch 2.2.0 sürümünden itibaren kullanılabilir.
Mevcut ortamda mümkünse (örneğin, birden fazla çekirdeğe sahip TPU) birden fazla işlem veya birden fazla düğüm kullanarak bir eğitim işlevi başlatır.
Bu fonksiyonu kullanmak için, çağrıdan önce notebook oturumunda bir cihaza yönelik mutlak surette sıfır çağrı yapılmalıdır. Herhangi bir çağrı yapıldıysa, notebook'u yeniden başlatmanız ve hiçbir hücrenin cihaz yeteneği kullanmadığından emin olmanız gerekir.
Ortamınızda
ACCELERATE_DEBUG_MODE="1"değerini ayarlamak, bu çağrıların hiçbirisinin yapılmadığından emin olmak için gerçek başlatma işleminden önce bir test çalıştırır.
debug_launcher
accelerate.debug_launcher
< source >( functionargs = ()num_processes = 2 )
Hata ayıklama amaçlı olarak CPU üzerinde birden fazla süreç kullanarak bir eğitim işlevi başlatır.
Bu fonksiyon dahili test ve hata ayıklama için sağlanmıştır, ancak gerçek eğitimler için tasarlanmamıştır. Yalnızca CPU kullanacaktır.