Accelerate documentation

أداة التحليل

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

أداة التحليل

Profiler هو أداة تتيح جمع مقاييس الأداء أثناء التدريب والاستدلال. يمكن استخدام واجهة مدير السياق الخاصة بـ Profiler لفهم أفضل للمُشغِّلات (operators) الأكثر تكلفة في النموذج، وفحص أشكال مدخلاتها ومسارات المكدس (stack traces)، ودراسة نشاط نواة الجهاز (device kernel)، وتصور مسار التنفيذ. كما يوفر رؤى حول أداء نموذجك، مما يتيح لك تحسينه وتطويره.

يشرح هذا الدليل كيفية استخدام PyTorch Profiler لقياس استهلاك الوقت والذاكرة في عمليات النموذج، وكيفية دمج ذلك مع Accelerate. سنغطي حالات استخدام مختلفة ونقدم أمثلة لكل منها.

استخدام أداة التحليل (Profiler) لتحليل وقت التنفيذ

يتيح لك Profiler التحقق من المشغّلات التي تم استدعاؤها أثناء تنفيذ نطاق كود مُغلَّف بمدير سياق المُحلِّل.

لننظر في كيفية استخدام profiler لتحليل وقت التنفيذ:

PyTorch
Accelerate
import torch
import torchvision.models as models
from torch.profiler import profile, record_function, ProfilerActivity

model = models.resnet18()
inputs = torch.randn(5, 3, 224, 224)

with profile(activities=[ProfilerActivity.CPU], record_shapes=True) as prof:
    model(inputs)

print(prof.key_averages().table(sort_by="cpu_time_total", row_limit=10))

المخرجات الناتجة عن الجدول (مع حذف بعض الأعمدة):

---------------------------------  ------------  ------------  ------------  ------------  
                             Name      Self CPU     CPU total  CPU time avg    # of Calls  
---------------------------------  ------------  ------------  ------------  ------------  
                     aten::conv2d     171.000us      52.260ms       2.613ms            20  
                aten::convolution     227.000us      52.089ms       2.604ms            20  
               aten::_convolution     270.000us      51.862ms       2.593ms            20  
         aten::mkldnn_convolution      51.273ms      51.592ms       2.580ms            20  
                 aten::batch_norm     118.000us       7.059ms     352.950us            20  
     aten::_batch_norm_impl_index     315.000us       6.941ms     347.050us            20  
          aten::native_batch_norm       6.305ms       6.599ms     329.950us            20  
                 aten::max_pool2d      40.000us       4.008ms       4.008ms             1  
    aten::max_pool2d_with_indices       3.968ms       3.968ms       3.968ms             1  
                       aten::add_     780.000us     780.000us      27.857us            28  
---------------------------------  ------------  ------------  ------------  ------------  
Self CPU time total: 67.016ms

للحصول على تفاصيل أدق للنتائج وتشمل أشكال مدخلات العمليات، مرّر group_by_input_shape=True (ملاحظة: يتطلب هذا تشغيل المُحلِّل مع record_shapes=True):

print(prof.key_averages(group_by_input_shape=True).table(sort_by="cpu_time_total", row_limit=10))

استخدام أداة التحليل (Profiler) لتحليل استهلاك الذاكرة

يمكن أيضًا لأداة Profiler إظهار كمية الذاكرة (المُستخدمة بواسطة تينسورات النموذج) التي تم تخصيصها (أو تحريرها) أثناء تنفيذ مشغّلات النموذج. لتفعيل وظيفة تحليل الذاكرة، مرّر profile_memory=True.

PyTorch
Accelerate
model = models.resnet18()
inputs = torch.randn(5, 3, 224, 224)

with profile(activities=[ProfilerActivity.CPU],
        profile_memory=True, record_shapes=True) as prof:
    model(inputs)

print(prof.key_averages().table(sort_by="self_cpu_memory_usage", row_limit=10))

المخرجات الناتجة عن الجدول (مع حذف بعض الأعمدة):

---------------------------------  ------------  ------------  ------------  
                             Name       CPU Mem  Self CPU Mem    # of Calls  
---------------------------------  ------------  ------------  ------------  
                      aten::empty      94.85 Mb      94.85 Mb           205  
    aten::max_pool2d_with_indices      11.48 Mb      11.48 Mb             1  
                      aten::addmm      19.53 Kb      19.53 Kb             1  
                       aten::mean      10.00 Kb      10.00 Kb             1  
              aten::empty_strided         492 b         492 b             5  
                        aten::cat         240 b         240 b             6  
                        aten::abs         480 b         240 b             4  
              aten::masked_select         120 b         112 b             1  
                         aten::ne          61 b          53 b             3  
                         aten::eq          30 b          30 b             1  
---------------------------------  ------------  ------------  ------------  
Self CPU time total: 69.332ms

إذا كنت بحاجة إلى رقم أو رقمين مجمّعين لتتبع التجارب بدلاً من جدول مشغّلات كامل، فاجمع المُحلِّل (profiler) مع إحصاءات الذاكرة وقت التشغيل التي يكشفها PyTorch. وغالبًا ما يكون ذلك كافيًا لتسجيل ذروة استخدام الذاكرة لكل تشغيل:

import torch
from accelerate import Accelerator, PartialState, ProfileKwargs

# Resolve the device type/module (cuda, xpu, ...) instead of hardcoding CUDA
device_type = PartialState().device.type
device_module = getattr(torch, device_type)


def summarize_memory_stats():
    return {
        "peak_allocated_mb": device_module.max_memory_allocated() / 1024**2,
        "peak_reserved_mb": device_module.max_memory_reserved() / 1024**2,
    }


profile_kwargs = ProfileKwargs(
    activities=["cpu", device_type],
    profile_memory=True,
    record_shapes=True,
)

accelerator = Accelerator(kwargs_handlers=[profile_kwargs])

device_module.reset_peak_memory_stats()

with accelerator.profile() as prof:
    model(inputs)

print(prof.key_averages().table(sort_by=f"self_{device_type}_memory_usage", row_limit=10))
print(summarize_memory_stats())

يحافظ هذا النمط على مخرجات أداة التحليل متاحةً لأغراض التصحيح، مع إنتاج قيم مدمجة يمكن تسجيلها في متتبع التجارب.

تصدير أثر كروم

يمكنك فحص تسلسل المشغّلات ونوى CUDA المُحلَّلة في عارض Chrome trace (chrome://tracing):

profile_export

PyTorch
Accelerate
# Pick the available accelerator (cuda, xpu, ...) instead of hardcoding CUDA
device = torch.accelerator.current_accelerator()
device_activity = getattr(ProfilerActivity, device.type.upper())

model = models.resnet18().to(device)
inputs = torch.randn(5, 3, 224, 224).to(device)

with profile(activities=[ProfilerActivity.CPU, device_activity]) as prof:
    model(inputs)

prof.export_chrome_trace("trace.json")

استخدام Profiler لتحليل المهام طويلة الأمد

يوفر Profiler واجهة برمجة تطبيقات إضافية للتعامل مع المهام طويلة الأمد (مثل حلقات التدريب). قد يكون تتبع كل التنفيذ بطيئًا ونتيجته ملفات تتبع كبيرة جدًا. لتجنب ذلك، استخدم الحجوج الاختيارية:

  • schedule_option: تتيح لك خيارات الجدولة التحكم في توقيت تفعيل ملفّ الأداء. وهذا مفيد للمهام طويلة الأمد لتجنّب جمع بيانات زائدة. المفاتيح المتاحة هي wait وwarmup وactive وrepeat وskip_first. سيتخطّى ملفّ الأداء أول skip_first خطوات، ثم ينتظر wait خطوات، ثم يقوم بإجراء الإحماء للخطوات التالية warmup، ثم يسجّل النشاط للخطوات التالية active، ثم يكرر الدورة بدءًا من خطوات wait. يُحدَّد العدد الاختياري للدورات عبر معامل repeat، حيث يعني القيمة صفرًا أن الدورات ستستمر حتى انتهاء ملفّ الأداء.
  • on_trace_ready: يحدد دالة تستقبل مرجعًا إلى المُحَلِّل (profiler) كمدخل، وتُستدعى من قِبَل المُحَلِّل في كل مرة يكون فيها التتبع (trace) الجديد جاهزًا.

لإيضاح كيفية عمل واجهة برمجة التطبيقات، خذ المثال التالي:

PyTorch
Accelerate
from torch.profiler import schedule

my_schedule = schedule(
    skip_first=1,
    wait=5,
    warmup=1,
    active=3,
    repeat=2
)

def trace_handler(p):
    output = p.key_averages().table(sort_by=f"self_{device.type}_time_total", row_limit=10)
    print(output)
    p.export_chrome_trace("/tmp/trace_" + str(p.step_num) + ".json")

with profile(
    activities=[ProfilerActivity.CPU, device_activity],
    schedule=my_schedule,
    on_trace_ready=trace_handler
) as p:
    for idx in range(8):
        model(inputs)
        p.step()

FLOPS

استخدم المعادلة لتقدير عدد عمليات الفاصلة العائمة (FLOPs) للمشغّلات المحدّدة (ضرب المصفوفات والتمشيط ثنائي الأبعاد).

لقياس عمليات الفاصلة العائمة (FLOPS):

PyTorch
Accelerate
with profile(
    activities=[ProfilerActivity.CPU, device_activity],
    with_flops=True
) as prof:
    model(inputs)

print(prof.key_averages().table(sort_by="flops", row_limit=10))

المخرجات الناتجة عن الجدول (مع حذف بعض الأعمدة):

-------------------------------------------------------  ------------  ------------  ------------  
                                                   Name      Self CPU     Self CUDA    Total FLOPs  
-------------------------------------------------------  ------------  ------------  ------------  
                                           aten::conv2d     197.000us       0.000us  18135613440.000  
                                            aten::addmm     103.000us      17.000us     5120000.000  
                                              aten::mul      29.000us       2.000us          30.000  
                                      aten::convolution     409.000us       0.000us            --  
                                     aten::_convolution     253.000us       0.000us            --  
                                aten::cudnn_convolution       5.465ms       2.970ms            --  
                                        cudaEventRecord     138.000us       0.000us            --  
                                  cudaStreamIsCapturing      43.000us       0.000us            --  
                                  cudaStreamGetPriority      40.000us       0.000us            --  
                       cudaDeviceGetStreamPriorityRange      10.000us       0.000us            --  
-------------------------------------------------------  ------------  ------------  ------------  
Self CPU time total: 21.938ms
Self CUDA time total: 4.165ms

الخلاصة والمزيد من المعلومات

يُعد PyTorch Profiler أداة قوية لتحليل أداء نماذجك. من خلال دمجه مع Accelerate، يمكنك بسهولة إجراء ملف تعريف لنماذجك والحصول على رؤى حول أدائها، مما يساعدك على تحسينها وتطويرها.

لمزيد من المعلومات التفصيلية، راجع توثيق PyTorch Profiler.

Update on GitHub