Скачать или смотреть Pandas слишком медленный? Встречайте Modin 🚀 (1 строка = огромный прирост скорости!) | Учебник по...

Привет, меня зовут Санни Соланки, и в этом видео я познакомлю вас с Modin — мощной библиотекой Python, которая ускоряет и упрощает работу с большими наборами данных. Pandas — отличный инструмент, но он работает только на одном ядре процессора, что часто замедляет работу с ростом объёма данных. Modin решает эту проблему, распараллеливая операции Pandas на всех доступных ядрах процессора и даже масштабируя их между кластерами, сохраняя при этом привычный API Pandas. Посмотрите это видео, чтобы узнать, как работает Modin и как можно ускорить рабочие процессы Pandas всего одной строкой кода.

==========================================================================
GITHUB: https://github.com/sunny2309/youtube_...
==============================================================================

Важные главы:

0:00 — Введение в Modin и Pandas
1:20 — Примеры кода
4:09 — Ускоренное чтение файлов
5:42 — Ускоренная конкатенация датафреймов
6:44 — Ускорение Применение функции к столбцу
8:00 — Фильтрация данных стала быстрее
8:27 — Вычисление нового столбца стало быстрее
9:04 — Заполнение NaN стало быстрее
9:42 — Сортировка строк стала быстрее
10:13 — Более быстрое преобразование даты и времени [to_datetime()]
10:50 — Ограничения

#Python #Pandas #Modin #DataScience #BigData #MachineLearning #Analytics #DataEngineering #FasterPandas #parallelcomputing