Accelerate documentation

Amazon SageMaker

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Amazon SageMaker

Hugging Face y Amazon presentaron nuevos contenedores de aprendizaje profundo de Hugging Face (DLC) para facilitar como nunca el entrenamiento de modelos Transformer de Hugging Face en Amazon SageMaker.

Primeros pasos

Configuración e instalación

Antes de poder ejecutar tus scripts de Accelerate en Amazon SageMaker, necesitas registrarte en una cuenta de AWS. Si aún no tienes una cuenta de AWS, puedes obtener más información aquí.

Después de tener su cuenta de AWS, debe instalar el sdk de sagemaker para Accelerate con:

pip install "accelerate[sagemaker]" --upgrade

Accelerate utiliza actualmente los DLC, con transformers, datasets y tokenizers preinstalados. Accelerate aún no está en el DLC (¡se añadirá pronto!), por lo que para usarlo en Amazon SageMaker debes crear un requirements.txt en el mismo directorio donde se encuentra tu script de entrenamiento y añadirlo como dependencia:

accelerate

También debes agregar cualquier otra dependencia que tengas a este requirements.txt.

Configurar Accelerate

Puedes configurar la configuración de lanzamiento para Amazon SageMaker de la misma manera que lo haces para los trabajos de entrenamiento que no son de SageMaker con la CLI de Accelerate:

accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1

Accelerate pasará por un cuestionario sobre tu configuración de Amazon SageMaker y creará un archivo de configuración que puedes editar.

Accelerate no guarda ninguna de tus credenciales.

Prepara un script de ajuste fino de Accelerate

El script de entrenamiento es muy similar a un script de entrenamiento que podrías ejecutar fuera de SageMaker, pero para guardar tu modelo después del entrenamiento necesitas especificar /opt/ml/model o usar os.environ["SM_MODEL_DIR"] como directorio de guardado. Después del entrenamiento, los artefactos de este directorio se suben a S3:

- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')

SageMaker no admite acciones de argparse. Si desea utilizar, por ejemplo, hiperparámetros booleanos, debe especificar type como bool en su script y proporcionar un valor explícito True o False para este hiperparámetro. [REF].

Iniciar el entrenamiento

Puedes iniciar tu entrenamiento con la CLI de Accelerate con:

accelerate launch path_to_script.py --args_to_the_script

Esto iniciará tu script de entrenamiento usando tu configuración. Lo único que tienes que hacer es proporcionar todos los argumentos necesarios para tu script de entrenamiento como argumentos nombrados.

Ejemplos

Si ejecutas uno de los scripts de ejemplo, no olvides añadir accelerator.save('/opt/ml/model') a él.

accelerate launch ./examples/sagemaker_example.py

Salidas:

Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz

Funciones avanzadas

Entrenamiento distribuido: paralelismo de datos

Configura la configuración de accelerate ejecutando accelerate config y responde a las preguntas de SageMaker para configurarlo. Para usar SageMaker DDP, selecciónalo cuando se pregunte What is the distributed mode? ([0] No distributed training, [1] data parallelism):. Configuración de ejemplo a continuación:

base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false

Entrenamiento distribuido: paralelismo de modelos

actualmente en desarrollo, se admitirá pronto.

Paquetes y dependencias de Python

Accelerate utiliza actualmente los DLC, con transformers, datasets y tokenizers preinstalados. Si deseas usar paquetes de Python diferentes u otros, puedes hacerlo añadiéndolos a requirements.txt. Estos paquetes se instalarán antes de que se inicie tu script de entrenamiento.

Entrenamiento local: modo local de SageMaker

El modo local del SDK de SageMaker le permite ejecutar su script de entrenamiento localmente dentro del contenedor de aprendizaje profundo (DLC) de HuggingFace o utilizando su imagen de contenedor personalizada. Esto es útil para depurar y probar su script de entrenamiento dentro del entorno de contenedor final. El modo local utiliza Docker compose (Nota: Docker Compose V2 aún no es compatible). El SDK se encargará de la autenticación con ECR para descargar el DLC a su entorno local. Puede emular trabajos de entrenamiento de SageMaker con CPU (instancia única y multiinstancia) y GPU (instancia única).

Para usar el modo local, debe establecer ec2_instance_type en local.

ec2_instance_type: local

Configuración avanzada

La configuración permite sobrescribir los parámetros del Estimator. Estas configuraciones deben aplicarse en el archivo de configuración y no forman parte de accelerate config. Puede controlar muchos aspectos adicionales del trabajo de entrenamiento, por ejemplo, usar instancias Spot, habilitar el aislamiento de red y mucho más.

additional_args:
  # enable network isolation to restrict internet access for containers
  enable_network_isolation: True

Puedes encontrar todas las configuraciones disponibles aquí.

Usar instancias Spot

Puede usar Spot Instances, por ejemplo, mediante (consulte Configuración avanzada):

additional_args:
  use_spot_instances: True
  max_wait: 86400

Nota: Las Spot Instances pueden ser terminadas y el entrenamiento debe continuar desde un punto de control. Accelerate no gestiona esto de forma predeterminada. Contáctenos si desea esta funcionalidad.

Scripts remotos: use scripts ubicados en Github

Aún no se ha decidido si se necesita esta función. Contáctanos si deseas que se implemente.

Update on GitHub