# Megatron-LM yardımcı programları

## MegatronLMPlugin[[accelerate.utils.MegatronLMPlugin]]

#### accelerate.utils.MegatronLMPlugin[[accelerate.utils.MegatronLMPlugin]]

```python
accelerate.utils.MegatronLMPlugin(tp_degree: int = None, pp_degree: int = None, use_custom_fsdp: bool = None, overlap_cpu_optimizer_d2h_h2d: bool = None, no_load_optim: bool = None, eod_mask_loss: bool = None, no_save_optim: bool = None, optimizer_cpu_offload: bool = None, use_precision_aware_optimizer: bool = None, decoder_last_pipeline_num_layers: int = None, recompute_granularity: str = None, recompute_method: str = None, recompute_num_layers: int = None, attention_backend: bool = None, expert_model_parallel_size: int = None, context_parallel_size: int = None, attention_dropout: float = None, hidden_dropout: float = None, attention_softmax_in_fp32: bool = None, expert_tensor_parallel_size: int = None, calculate_per_token_loss: bool = None, use_rotary_position_embeddings: bool = None, num_micro_batches: int = None, gradient_clipping: float = None, sequence_parallelism: bool = None, recompute_activations: bool = None, use_distributed_optimizer: bool = None, pipeline_model_parallel_split_rank: int = None, num_layers_per_virtual_pipeline_stage: int = None, is_train_batch_min: str = True, train_iters: int = None, train_samples: int = None, weight_decay_incr_style: str = 'constant', start_weight_decay: float = None, end_weight_decay: float = None, lr_decay_style: str = 'linear', lr_decay_iters: int = None, lr_decay_samples: int = None, lr_warmup_iters: int = None, lr_warmup_samples: int = None, lr_warmup_fraction: float = None, min_lr: float = 0, consumed_samples: list[int] = None, no_wd_decay_cond: typing.Callable | None = None, scale_lr_cond: typing.Callable | None = None, lr_mult: float = 1.0, megatron_dataset_flag: bool = False, seq_length: int = None, encoder_seq_length: int = None, decoder_seq_length: int = None, tensorboard_dir: str = None, set_all_logging_options: bool = False, eval_iters: int = 100, eval_interval: int = 1000, return_logits: bool = False, custom_train_step_class: typing.Any | None = None, custom_train_step_kwargs: dict[str, typing.Any] | None = None, custom_model_provider_function: typing.Callable | None = None, custom_prepare_model_function: typing.Callable | None = None, custom_megatron_datasets_provider_function: typing.Callable | None = None, custom_get_batch_function: typing.Callable | None = None, custom_loss_function: typing.Callable | None = None, other_megatron_args: dict[str, typing.Any] | None = None)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/dataclasses.py#L2211)

**Parametreler:**

tp_degree (`int`, varsayılan `None`) : Tensor paralelliği derecesi.

pp_degree (`int`, varsayılan `None`) : Pipeline paralelliği derecesi.

num_micro_batches (`int`, varsayılan `None`) : Mikro toplu iş sayısı.

gradient_clipping (`float`, varsayılan `None`) : Küresel L2 Normuna dayalı gradyan kırpma değeri (devre dışı bırakmak için 0).

sequence_parallelism (`bool`, varsayılan `None`) : Sıralı paralelliği etkinleştirir.

recompute_activations (`bool`, varsayılan `None`) : Seçici aktivasyon yeniden hesaplama özelliğini etkinleştirir.

use_distributed_optimizer (`bool`, varsayılan `None`) : Dağıtık optimizasyonu etkinleştirir.

pipeline_model_parallel_split_rank (`int`, varsayılan `None`) : Kodlayıcının ve çözücünün ayrılacağı sıra.

num_layers_per_virtual_pipeline_stage (`int`, varsayılan `None`) : Sanal boru hattı aşaması başına katman sayısı.

is_train_batch_min (`str`, varsayılan `True`) : Hem tran hem de eval dataloader'ları belirtilirse, bu parametre `micro_batch_size` değerini belirler.

train_iters (`int`, varsayılan `None`) : Tüm eğitim çalışmaları boyunca eğitilecek toplam örnek sayısı. `MegatronLMDummyScheduler` kullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın.

train_samples (`int`, varsayılan `None`) : Tüm eğitim çalışmaları boyunca eğitilecek toplam örnek sayısı. `MegatronLMDummyScheduler` kullanırken train-iters veya train-samples parametrelerinden birinin sağlanması gerektiğini unutmayın.

weight_decay_incr_style (`str`, varsayılan `'constant'`) : Ağırlık azaltma artışı fonksiyonu. seçenekler=["constant", "linear", "cosine"].

start_weight_decay (`float`, varsayılan `None`) : L2 düzenlemesi için başlangıç ağırlık çürümesi katsayısı.

end_weight_decay (`float`, varsayılan `None`) : L2 düzenlemesi için çalışmanın sonundaki ağırlık çürümesi katsayısı.

lr_decay_style (`str`, varsayılan `'linear'`) : Öğrenme oranı azaltma fonksiyonu. seçenekler=['constant', 'linear', 'cosine'].

lr_decay_iters (`int`, varsayılan `None`) : Öğrenme oranı azalması için yineleme sayısı. None ise varsayılan olarak `train_iters` kullanılır.

lr_decay_samples (`int`, varsayılan `None`) : Öğrenme oranı azalması için örnek sayısı. None ise varsayılan olarak `train_samples` kullanılır.

lr_warmup_iters (`int`, varsayılan `None`) : Öğrenme hızının doğrusal olarak ısınma (warmup) için kaç yineleme boyunca uygulanacağı.

lr_warmup_samples (`int`, varsayılan `None`) : Öğrenme hızının doğrusal olarak ısınma (warmup) için örnek sayısı.

lr_warmup_fraction (`float`, varsayılan `None`) : Öğrenme hızının doğrusal olarak ısınma için kullanıldığı lr-warmup-(iters/samples) oranı.

min_lr (`float`, varsayılan `0`) : Öğrenme hızı için minimum değer. Zamanlayıcı, bu eşiğin altındaki değerleri kırpma (clip) işlemine tabi tutar.

consumed_samples (`List`, varsayılan olarak `None`) : `accelerator.prepare` çağrısına giden dataloader'larla aynı sırada tüketilen örnek sayısı.

no_wd_decay_cond (`Optional`, varsayılan `None`) : Ağırlık çürümesini devre dışı bırakma koşulu.

scale_lr_cond (`Optional`, varsayılan `None`) : Öğrenme hızını ölçeklemek için koşul.

lr_mult (`float`, varsayılan `1.0`) : Öğrenme hızı çarpanı.

megatron_dataset_flag (`bool`, varsayılan `False`) : Veri setinin biçiminin Megatron-LM Indexed/Cached/MemoryMapped biçimini izleyip izlemediğini belirtir.

seq_length (`int`, varsayılan `None`) : İşlenecek maksimum dizi uzunluğu.

encoder_seq_length (`int`, varsayılan `None`) : Kodlayıcı için işlenecek maksimum dizi uzunluğu.

decoder_seq_length (`int`, varsayılan `None`) : Dekoder için işlenecek maksimum dizi uzunluğu.

tensorboard_dir (`str`, varsayılan `None`) : Tensorboard günlüklerinin kaydedileceği yol.

set_all_logging_options (`bool`, varsayılan `False`) : Tüm günlük kaydı seçeneklerinin ayarlanıp ayarlanmayacağı.

eval_iters (`int`, varsayılan `100`) : Doğrulama/test için değerlendirme amacıyla çalıştırılacak yineleme sayısı.

eval_interval (`int`, varsayılan `1000`) : Doğrulama kümesinde değerlendirme çalıştırma aralığı.

return_logits (`bool`, varsayılan `False`) : Modelden logitlerin döndürülüp döndürülmeyeceğini belirtir.

custom_train_step_class (`Optional`, varsayılan `None`) : Özel eğitim adımı sınıfı.

custom_train_step_kwargs (`Optional`, varsayılan `None`) : Özel eğitim adım kwargs'ları.

custom_model_provider_function (`Optional`, varsayılan `None`) : Özel model sağlayıcı işlevi.

custom_prepare_model_function (`Optional`, varsayılan `None`) : Özel model hazırlama işlevi.

custom_megatron_datasets_provider_function (`Optional`, varsayılan `None`) : Özel megatron train_valid_test veri seti sağlayıcı işlevi.

custom_get_batch_function (`Optional`, varsayılan `None`) : Özel get batch işlevi.

custom_loss_function (`Optional`, varsayılan `None`) : Özel kayıp fonksiyonu.

other_megatron_args (`Optional`, varsayılan `None`) : Diğer Megatron-LM argümanları. Lütfen Megatron-LM'e başvurun.

Tensor, pipeline, sequence ve data paralelliğini etkinleştirmek için Megatron-LM eklentisi. Ayrıca seçici aktivasyon yeniden hesaplama ve optimize edilmiş füzyonlu çekirdekleri etkinleştirmek için.

## MegatronLMDummyScheduler[[accelerate.utils.MegatronLMDummyScheduler]]

#### accelerate.utils.MegatronLMDummyScheduler[[accelerate.utils.MegatronLMDummyScheduler]]

```python
accelerate.utils.MegatronLMDummyScheduler(optimizer, total_num_steps = None, warmup_num_steps = 0, **kwargs)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L378)

**Parametreler:**

optimizer (`torch.optim.optimizer.Optimizer`) : Sarılacak optimizasyon algoritması.

total_num_steps (int) : Toplam adım sayısı.

warmup_num_steps (int) : Isınma için adım sayısı.

- ****kwargs** (ek anahtar kelime argümanları, *isteğe bağlı*) : Diğer argümanlar.

Dummy scheduler, model parametrelerini veya parametre gruplarını sunar; bu, derin hızlandırma (deepspeed) yapılandırma dosyasında zamanlayıcı yapılandırması belirtildiğinde geleneksel eğitim döngüsünü izlemek için kullanılır.

## MegatronLMDummyDataLoader[[accelerate.utils.MegatronLMDummyDataLoader]]

#### accelerate.utils.MegatronLMDummyDataLoader[[accelerate.utils.MegatronLMDummyDataLoader]]

```python
accelerate.utils.MegatronLMDummyDataLoader(**dataset_kwargs)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L162)

**Parametreler:**

- ****dataset_kwargs** : Megatron veri argümanları.

Dummy dataloader model parametrelerini veya parametre gruplarını sunar; bu, esas olarak geleneksel eğitimi takip etmek için kullanılır.

## AbstractTrainStep[[accelerate.utils.AbstractTrainStep]]

#### accelerate.utils.AbstractTrainStep[[accelerate.utils.AbstractTrainStep]]

```python
accelerate.utils.AbstractTrainStep(name)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L415)

Toplu işlem, ileri geçiş ve kayıp işleyicisi için soyut sınıf.

## GPTTrainStep[[accelerate.utils.GPTTrainStep]]

#### accelerate.utils.GPTTrainStep[[accelerate.utils.GPTTrainStep]]

```python
accelerate.utils.GPTTrainStep(accelerator, args)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L574)

**Parametreler:**

args (`argparse.Namespace`) : Megatron-LM argümanları.

GPT eğitim adımı sınıfı.

## BertTrainStep[[accelerate.utils.BertTrainStep]]

#### accelerate.utils.BertTrainStep[[accelerate.utils.BertTrainStep]]

```python
accelerate.utils.BertTrainStep(accelerator, args)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L432)

**Parametreler:**

args (`argparse.Namespace`) : Megatron-LM argümanları.

Bert eğitim adımı sınıfı.

## T5TrainStep[[accelerate.utils.T5TrainStep]]

#### accelerate.utils.T5TrainStep[[accelerate.utils.T5TrainStep]]

```python
accelerate.utils.T5TrainStep(accelerator, args)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L718)

**Parametreler:**

args (`argparse.Namespace`) : Megatron-LM argümanları.

T5 eğitim adım sınıfı.

## avg_losses_across_data_parallel_group[[accelerate.utils.avg_losses_across_data_parallel_group]]

#### accelerate.utils.avg_losses_across_data_parallel_group[[accelerate.utils.avg_losses_across_data_parallel_group]]

```python
accelerate.utils.avg_losses_across_data_parallel_group(losses)
```

[Kaynak](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L1217)

**Parametreler:**

losses (List[Tensor]) : Veri paralel grubu boyunca ortalama alınacak kayıpların listesi.

Veri paralel grubu boyunca ortalama kayıplar.

