Hadoop. Распределённая файловая система HDFS

«Техносфера Mail.ru Group» при МГУ им. М. В. Ломоносова.
Курс «Методы распределённой обработки больших объёмов данных в Hadoop».
Лекция № 3: «Распределённая файловая система HDFS».
Лектор — Алексей Романенко.

Задачи, для которых подходит и не подходит HDFS. Демоны HDFS. Файлы и блоки. Репликация блоков. Клиенты, Namenode и Datanodes. Чтение и запись файла. Namenode: использование памяти. Устойчивость к отказам в Namenode. Доступ к HDFS, в том числе через прокси. Команды оболочки shell. Копирование данных в shell, удаление и статистика. Команда fsck. Права в HDFS. Команда DFSAdmin. Балансер. File System Java API. Реализация File System. Объект Configuration. Чтение данных из файла и запись в него. Подстановки (globbing).

Слайды лекции: http://www.slideshare.net/Technopark/...
Другие лекции курса:    • Курс · Hadoop (осень 2014)  

VK Team — это безграничные возможности проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому. На этом канале делимся опытом компании VK, рассказываем о технологиях, наших образовательных проектах и жизни команды.

😎 Сообщество ВКонтакте: https://vk.com/vkteam
👨‍🎓 VK Education: https://education.vk.company/
🏆 Чемпионаты: https://cups.online/
👨‍💻 Карьера в VK: https://team.vk.company/