Скачать или смотреть Измерение времени выполнения для глубокого обучения/PyTorch: CPU против GPU (torch.cuda.Event)

#ai #machinelearning #pytorch
В этом видео мы обсуждаем, как точно измерить время выполнения на CPU и GPU. Тайминг кода крайне важен для оптимизации производительности. Но знаете ли вы, что операции на GPU асинхронны? Это означает, что ваши тайминги могут быть неверными, если вы не будете внимательны. Давайте разберёмся. На CPU можно просто использовать time.time(). Но на GPU нужно использовать torch.cuda.Event и синхронизировать устройство.

--------------- Тайминги GPU ---------------
start_gpu = torch.cuda.Event(enable_timing=True)
end_gpu = torch.cuda.Event(enable_timing=True)

start_gpu.record()
result_gpu = torch.mm(a, b) # Умножение матриц на GPU
end_gpu.record()

Ожидание завершения работы GPU
torch.cuda.synchronize()

gpu_time = start_gpu.elapsed_time(end_gpu) / 1000 # Перевести мс в секунды
print(f"время выполнения GPU: {gpu_time:.4f} секунд")