Обработка больших данных при помощи Apache Spark, часть 1

Moscow Data Science Junior Meetup, 10 июня 2017.
Выступает Виталий Худобахшов (Одноклассники).

Apache Spark сегодня одна из самых популярных технологий обработки больших данных — в первую очередь за счёт очень удобного API, который близок к обычному функциональному стилю программирования на Scala. Виталий расскажет, что такое Spark и как с ним работать. Рассмотрит некоторые паттерны использования Spark. И, конечно, расскажет, что такое большие данные с практической точки зрения. В качестве основных примеров разберёт, как определить пол и возраст пользователя в социальной сети, если он указан с ошибкой. На этих примерах станет понятно, что можно узнать просто с помощью правильной обработки данных, даже не используя машинное обучение.

Календарь событий: https://team.vk.company/events/

VK Team — это миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому. На этом канале делимся опытом компании VK, рассказываем о технологиях, наших образовательных проектах и жизни команды.

😎 Сообщество ВКонтакте: https://vk.com/vkteam
👨‍🎓 VK Образование: https://education.vk.company
🏆 Чемпионаты: https://cups.online/
👨‍💻 Карьера в VK: https://team.vk.company/