Скачать или смотреть Distributed Processing MapReduce Advanced Concepts

#Mapreduce | #What_is_apache_mapreduce? | #Qu_est_ce_que_MapReduce_? | #Qu_est_ce_que_MapReduce_dans_Hadoop ? |
#Tutoriel_Hadoop_MapReduce | #Big_Data #Hadoop #Spark #Kafka | #Simplitraining #chatgpt #openai
Cette vidéo vous apprendra tout sur Hadoop MapReduce. La technique de programmation dans laquelle d'énormes données sont traitées de manière parallèle et distribuée est connue sous le nom de Hadoop MapReduce. Cette vidéo parle du traitement distribué dans MapReduce, des différentes phases d'exécution de Map, des tâches MapReduce, de l'interaction des tâches Hadoop MapReduce et des types de données dans Hadoop. Il parle également de la configuration de l'environnement pour le développement de MapReduce, nous aide à comprendre comment créer un nouveau projet à l'aide de MapReduce, parle de MapReduce avancé, des différents formats de sortie dans MapReduce et des jointures dans MapReduce.

-- TIMESTAMPS --
00:00 Distributed Processing : MapReduce Framework.
00:39 Distributed Processing in MapReduce
03:37 Word Count Example
05:47 Map Execution Phases
07:35 Map Execution Distributed Two Node Environment
09:46 MapReduce Jobs
11:41 Hadoop MapReduce Job Work Interaction
14:06 Setting Up the Environment for MapReduce Development
17:04 Set of Classes
19:13 Creating a New Project
21:39 Advanced MapReduce
23:09 Data Types in Hadoop
25:33 Output Formats in MapReduce
27:58 Using Distributed Cache
29:49 Joins in MapReduce
32:27 Replicated Join
35:35 Key takeaways

Quels sont les objectifs du cours ?
Ce cours vous permettra de :
1. Comprendre les différents composants de l'écosystème Hadoop tels que Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume et Apache Spark
2. Comprendre Hadoop Distributed File System (HDFS) et YARN ainsi que leur architecture, et apprendre à travailler avec eux pour le stockage et la gestion des ressources
3. Comprendre MapReduce et ses caractéristiques, et assimiler certains concepts avancés de MapReduce
4. Obtenez un aperçu de Sqoop et Flume et décrivez comment ingérer des données en les utilisant
5. Créez une base de données et des tables dans Hive et Impala, comprenez HBase et utilisez Hive et Impala pour le partitionnement
6. Comprendre les différents types de formats de fichiers, Avro Schema, l'utilisation d'Arvo avec Hive et l'évolution de Sqoop et Schema
7. Comprendre le canal, l'architecture du canal, les sources, les puits de canal, les canaux et les configurations de canal
8. Comprendre HBase, son architecture, le stockage des données et l'utilisation de HBase. Vous comprendrez également la différence entre HBase et RDBMS
9. Acquérir une connaissance pratique de Pig et de ses composants
10. Faire de la programmation fonctionnelle dans Spark
11. Comprendre en détail les ensembles de données de distribution résilients (RDD)
12. Implémenter et créer des applications Spark
13. Acquérir une compréhension approfondie du traitement parallèle dans les techniques d'optimisation Spark et Spark RDD
14. Comprendre les cas d'utilisation courants de Spark et des différents algorithmes interactifs
15. Apprendre Spark SQL, créer, transformer et interroger des trames de données