Скачать или смотреть Реальный проект машинного обучения с XGBoost и графическим процессором NVIDIA 🤖🧠

Вы когда-нибудь задумывались, почему люди оставляют больше чаевых в такси? 🚕💵 В этом практическом проекте по машинному обучению мы создадим полноценный рабочий процесс на основе реальных данных из Нью-Йорка — очищенных, спроектированных и обученных полностью на GPU с использованием XGBoost CUDA и cuDF Pandas! 🐼
(🚨Нет GPU?🚨 Я покажу вам, как использовать его бесплатно в Google Colab! 😉)

Вы увидите, как профессионалы подходят к решению задач, обрабатывают большие объёмы данных и исправляют ошибки памяти, шаг за шагом разрабатывая настоящие конвейеры для анализа данных! 😎 К концу у вас будет значимый проект, который интересно реализовывать, который технически впечатляет и идеально смотрится в вашем портфолио!! 🤩 Присоединяйтесь ко мне в этом приключении — и научитесь мыслить как профессиональный специалист по данным.

💡 Чему вы научитесь
Работа с реальными наборами данных: очистка, пропущенные значения, аномалии, агрегация. 📊
Решение проблем с памятью и крахом времени выполнения с помощью cuDF Pandas + RMM. 💾
Ускорение машинного обучения с помощью XGBoost на видеокартах NVIDIA. 🤖
Оцените производительность своей модели и продолжайте делать её умнее! 💪🤓
И самое главное — развивайте мышление специалиста по данным, решая задачи, а не гадая. 🔎

🧠 Чем отличается этот проект
Это не очередная «демонстрация для новичков» — это настоящий рабочий процесс, основанный на реальных данных и реальных задачах. Вы столкнётесь с теми же проблемами, с которыми сталкиваются профессионалы: огромные неаккуратные наборы данных, пропущенные метки, ограничения памяти CPU и GPU — всё это объясняется шаг за шагом и простыми словами. Я покажу вам, почему мы принимаем каждое решение, а не только как это запрограммировать, — чтобы вы научились думать, отлаживать и рассуждать как профессионал.

🔗 Важные ссылки
------------------------------------------------
🔹Скачать обучающий код и небольшой набор данных с GitHub:

https://github.com/MariyaSha/nyc_taxi...
🔹Скачать полный набор данных из NYC Open Data:

https://data.cityofnewyork.us/Transpo...
🔹Руководство по установке RAPIDS:

https://docs.rapids.ai/install/
🔹Официальный блокнот NVIDIA Google Colab — 🧐 ОЧЕНЬ ПРОДВИНУТЫЙ 🧐:

https://colab.research.google.com/dri...

📽️ Важно Обучающие материалы
------------------------------------------------
⭐ Настройка WSL + Conda:
   • My Go-To Python Setup! 🐍 WSL + Conda Minif...  
⭐ Машинное обучение с Scikit-Learn:
   • Simple Machine Learning Code Tutorial for ...  
⭐ cuDF Pandas для начинающих:
   • Much Faster Pandas with cuDF GPU Processin...  
⭐ Что такое CUDA?
   • CUDA Simply Explained - GPU vs CPU Paralle...  

⏰ Временные метки
------------------------------------------------
01:08 - Скачать набор данных
01:43 - Решение проблем с большими данными с помощью обработки на GPU
02:46 - Настройка Google Colab с бесплатным графическим процессором T4
03:02 - Локальная настройка с графическим процессором NVIDIA
03:43 - Руководство по установке RAPIDS
05:07 - Решение проблемы сбоя ядра Jupyter с помощью cuDF Pandas
05:29 - Обработка пропущенных значений
05:53 - Обнаружение пропущенных значений
06:29 - Замена на ноль
07:31 - Замена на среднее значение
08:57 - Исследование столбцов с неоднозначными именами
11:21 - Удаление столбцов (если нет других вариантов)
12:01 - Разделение данных для обучения и тестирования
12:07 - Перемешивание данных
13:39 — Разделение признаков и целей
14:02 — Разделение обучения и тестирования
16:20 — Загрузка модели XGBoost на GPU
17:55 — Обучение модели XGBoost
18:08 — Тестирование модели XGBoost и получение прогнозов
18:45 — Решение проблемы ValueError: DataFrame.dtypes должен быть int float bool или category
20:15 — Оценка обученной модели
22:39 — Оптимизация данных и аномалии
22:41 — Выявление аномалий данных с помощью агрегации
23:47 — Решение проблемы XGBoostError: Не осталось памяти GPU с помощью RMM
25:04 — Обработка отрицательных зарядов и нереалистичных расстояний
28:19 — Выявление и обработка нереалистичных транзакций
30:28 — Второй запуск обучения на оптимизированных данных
31:45 — Рекомендации
31:45 - Построение графика результатов обучения и важности признаков
32:17 - Настройка гиперпараметров
32:49 - Извлечение данных: из строки в целое число или категорию
33:05 - Проверка K-фолда
33:45 - Спасибо за просмотр!

🚀 Настройка среды
------------------------------------------------
Вы можете запустить этот проект двумя способами, программируя вместе со мной:
1️⃣ Google Colab:
Измените среду выполнения на T4 GPU.
Используйте уменьшенную версию набора данных NYC Taxi (5 миллионов строк). Скачать выше 👆
2️⃣ Локальная настройка:
Убедитесь, что у вас есть совместимый с CUDA GPU.
Используйте WSL и Minforge/Conda (⚠️ОБЯЗАТЕЛЬНО! ⚠️).
Используйте текущую команду из руководства по установке RAPIDS для вашей настройки (⚠️ОБЯЗАТЕЛЬНО! ⚠️).

Используйте полную версию набора данных NYC Taxi (38 миллионов строк). Скачать выше 👆

💻 Код руководства
------------------------------------------------
📌 Удалите все ...