Скачать или смотреть Trucos para optimizar aplicaciones mediante el procesamiento en Apache Spark | Cloudera

En esta sesión te mostraremos algunos trucos para aprovechar al máximo los recursos de tu clúster y saber si está optimizado a través de Apache Spark. Abordaremos a nivel general esta problemática del ecosistema Hadoop y veremos con detalle la optimización de nuestras aplicaciones Spark. Además conoceréis si los recursos asignados están sobredimensionados o no, para poder aumentar el potencial de tu clúster y disminuir costes, además de identificar si es realmente imprescindible añadir más nodos y obtener de esta manera más recursos al cluster, todo ello en este workshop de Arnaud Delanoue, Big Data Architect en PUE.

Si pensamos en qué es lo que más consume recursos en nuestra plataforma Big Data, el procesamiento Spark es uno de los recursos que más consume de una plataforma Big Data. Pero, ¿que es Spark? ¿Cómo implementar el procesamiento Spark?
Apache Spark es un framework de programación para procesamiento de datos distribuidos, diseñado para ser rápido y de propósito general. Es un motor de procesamiento distribuido responsable de orquestar, distribuir y monitorizar aplicaciones que constan de múltiples tareas de procesamiento de datos sobre varias máquinas de trabajo, que forman un cluster.

Hoy en día la mayoría del procesamiento de grandes volúmenes de datos se hace con spark, y más del 50% de los recursos de nuestros clusters están asignados al spark framework.

Si dentro de un cluster, las aplicaciones tardan mucho en ejecutarse o hay demasiadas aplicaciones ejecutándose en el mismo momento y no hay espacio para otras, es hora de obtener más recursos, ya sea añadiendo más nodos al cluster u optimizando los recursos existentes. Todo ello supondrá un coste, debido a el aumento de máquinas para ampliar la potencia de procesamiento o en cuanto a personal humano que se encargue de optimizar lo existente.

Hay muchas maneras de optimizar un procesamiento Spark, lo ideal es optimizarlo desde el inicio, pero también es posible agilizar las aplicaciones que se utilizan en ese momento. El principal problema suele ser que el procesamiento en paralelo no está optimizado, cómo es en el caso de que el número de tareas que se realizan no está adecuado al número de cores disponibles.

Entre los fundamentos del Big Data, cabe destacar el concepto de la computación distribuida, basada en una red computacional (cluster) formada por un conjunto de ordenadores (nodos), que trabajan de manera organizada y colaborativa para resolver una tarea específica. En el caso de la computación distribuida, cuando se asigna una tarea al cluster, esta se descompone en subtareas que se asignan a distintos nodos, estos nodos trabajan en paralelo cada una de sus tareas que permite acelerar el tiempo de proceso total de la tarea. Hay que tener en cuenta que para poder ejecutar una tarea es necesario un core, pero a su vez un core no puede ejecutar dos tareas al mismo tiempo.

Cloudera es la primera solución integrada para admitir Apache Spark, con gran experiencia con clientes de todas las industrias, además ha construido una integración de ingeniería más profunda entre spark apache y el resto de ecosistema, incluyendo llevar Spark a YARN y agregando seguridad e integraciones de gestión.

Descubre más en nuestras redes sociales:

Facebook:   / ticpue  
Twitter:   / ticpue  
Linkedin:   / tic-pue