Curso de Spark para Empresas — Procesado en streaming y rendimiento

Arquitectura de una aplicación Spark

Introducción a las APIs de Spark

Iniciando Spark

SparkSession

Introducción a los Dataframes

Introducción a las particiones

Introducción a las transformaciones

Ejecución de la aplicación

Ciclo de vida fuera de las aplicaciones

Peticiones

Lanzamiento

Ejecución

Finalización

Ciclo de vida dentro de las aplicaciones

Instrucciones lógicas

Job de Spark

Stages

Task

Transmisión estructurada

Ejecución de aplicaciones en producción

Datasets

APIs de bajo nivel

Ecosistema y paquetes de Spark

SparkR (Solo con R)

DataFrames

DataSets

DataFrames vs DataSets

Esquemas

Columnas y filas

Tipos en Spark

Planificación lógica

Planificación física

Ejecución

Operaciones sobre esquemas

Columnas y expresiones

Creación de filas

Creación de DataFrames

Selección con "select" y "selectExpr"

Conversión de tipos

Añadir columnas

Renombrado de columnas

"Casteo" del tipo de las columnas

Obtención de filas

Filtrado de filas

Muestreo aleatorio

Divisiones aleatorias

Uniones de filas

Aplicando límites

Ordenación de filas

Repartición y unión

Conversión a tipos de Spark

Trabajando con números

Trabajando con cadenas de texto

Trabajando con expresiones regulares

Trabajando con fechas y horas

Trabajando con booleanos

Trabajando con datos nulos

Trabajando con arrays, maps, estructuras y otros datos complejos

Trabajando con JSON

Ordenación de datos

Uso de funciones definidas por el usuario

Funciones de agregación disponibles en Spark

Agrupaciones con expresiones

Agrupaciones con maps

Agrupación de sets

Funciones ventana

Uso de funciones de agregación definidas por el usuario

Expresiones de unión (joins)

Tipos de Joins

¿Cómo realiza Spark los joins?

Las bases de la API de lectura de datos

Las bases de la API de escritura de datos

Lectura y escritura de archivos CSV

Lectura y escritura de archivos JSON

Lectura y escritura de bases de datos SQL

Lectura y escritura de archivos ORC

Lectura y escritura de archivos TXT

Introducción a Spark SQL

Introducción a Apache Hive y relación con Spark

Introducción a Spark SQL CLI

Introducción a Interfaz programática de SQL de Spark

Operaciones SQL

Opciones de Entrada/Salida

Catálogo

Introducción de las tablas de Spark SQL

Creación de tablas

Creación de tablas externas

Inserción de datos en tablas

Metadatos de tablas

Borrado de tablas

Cacheado de tablas

Introducción a las vistas de Spark SQL

Creación de vistas

Borrado de vistas

Introducción a las bases de datos de Spark SQL

Creación de bases de datos

Configuración de bases de datos

Borrado de bases de datos

Selects con "case", "when" y "then"

Funciones

Tipos complejos

Subqueries

Configuraciones generales

Establecimiento de valores de configuración en SQL

¿Cuándo debemos usar Datasets?

Creación de DataSets

Acciones

Transformaciones, filtrado y mapeo

Joins de DataSets

Agrupaciones y agregaciones

Introducción a los RDD en Spark

Tipos de RDDs

¿Cuándo es conveniente usar RDDs?

Ventajas de DataFrames vs RDD

Creación de un RDD

Interoperabilidad entre RDDs, DataSets y DataFrames

Creación de un RDD a partir de una colección local

Creación de un RDD de distintos orígenes

Manipulación de RDDs

Transformaciones

Acciones

Guardado en archivos de texto

Guardado en archivos Hadoop

Otros tipos de guardado

Cacheo de RDDs

Establecimiento de puntos de control

RDDs numérico

Introducción a los RDD Clave-Valor en Spark

Creación de RDD Clave-Valor

Introducción a las bases del uso de Clave-Valor

Filter

MapValue

Reduce By Key

Group By Key

Sort By Key

CoGrupos

Control de particionamiento de datos

Operaciones Join

Serialización personalizada

Operadores GraphX

Usos reales de GraphX

Configuración y puesta en Marcha

Algoritmos de GraphX

Pregel API

GraphX builders

VertexRDD

EdgeRDD

Buenas Prácticas

Transmisión de variables

Acumuladores

Acumuladores personalizados

Modos de ejecución

Introducción al ciclo de vida de una aplicación Spark desde fuera

Fase de petición de cliente

Fases de iniciación y ejecución

Fase de terminación

Introducción al ciclo de vida de una aplicación Spark desde dentro de Spark

La sesión de Spark

Las instrucciones lógicas

La Job de Spark

Las fases

Tareas

Detalles de ejecución

Estructura de los proyectos

SBT (Solo con Scala)

¿Dónde se pueden desplegar las aplicaciones de Spark?

Spark-Submit

On-premise Clusters vs Cloud

Empaquetado de aplicaciones

Introducción a los cluster managers

Modo Standalone

Spark con Yarn

Configuración de Spark con aplicaciones Yarn

Spark con Mesos

Configuraciones para desarrollo seguro

Configuraciones para redes de clusters

Estrategias de replicación

Recomendaciones

Creación de un cluster

Lanzamiento de trabajos

Monitorización de clusters

Particionamiento

Buenas prácticas

Monitorización de Spark jobs

Interfaz Web de Spark

Jobs

Stages

Almacenamiento

SQL

Visualizando aplicaciones de Spark con Interfaces web

Los logs en las aplicaciones de Spark

log4j en Spark

Técnicas de optimización

Uso y gestión de la memoria

Almacenamiento de datos en caché de memoria

Sugerencias combinadas para consultas SQL

Ejecución de consultas adaptables

Entorno distribuido

Pruebas en un entorno distribuido

Problemas de un entorno distribuido

Testing en aplicaciones Spark

Tipos de test

Métodos de test en Spark

Debugging en aplicaciones Spark

Introducción a MLlib

Fundamentos de MLlib

Estimadores

Entrenamiento y evaluación

Persistencia y aplicación de modelos

Creación de un sistema de MLlib

Regresión Lineal con MLlib

Árboles de decisión

Bosques aleatorios

Dataframes con MLlib

Métricas

Planes de ejecución

Detectando un Shuffle en un procesamiento

Probando operaciones que puedan causar un Shuffle

Cambiando el diseño de trabajos con dependencias amplias

Usando operaciones keyBy para reducir los Shuffle

Usando particionadores personalizados

Serialización de objetos en RDD

Configuraciones de Clusters

Elección de diseño

Programación

"Shuffle" de configuraciones

Recolector de basura

Gestión de la memoria

Paralelismo

Mejoras en el filtrado

Repartición

Funciones definidas por el usuario

Cacheo de datos de forma temporal

Uniones

Agregaciones

Transmisión de variables

Recomendaciones de programación paralela

Inmutabilidad

Uso de lambdas

Bucles

Uso de funciones dentro de Dataframes

Especificaciones y diferencias de PySpark (Solo con Python)

Integración con Pandas (Solo con Python)

Especificaciones y diferencias de R con Spark