Curso de Data Fabric para tu equipo — Integración y gobierno

Principios de diseño en Data Fabric

Identificación de fuentes de datos y conectores

Creación de una capa unificada de acceso a datos

Diseño de flujos de integración de datos

Uso de APIs para facilitar el acceso distribuido

Gestión del metadato y el catálogo de datos

Herramientas de automatización en el diseño Data Fabric

Evaluación de rendimiento y escalabilidad

Diseño de arquitecturas híbridas y multi-cloud

Ejercicio práctico: Crear un blueprint de arquitectura Data Fabric

Introducción a la integración de datos en Data Fabric

Conectores de datos: SQL, NoSQL, APIs y streaming

Integración con sistemas de origen: ERP, CRM y Data Lakes

Procesos ETL y ELT: definición e implementación

Integración de datos en tiempo real con Apache Kafka

Unificación de datos estructurados y no estructurados

Herramientas y plataformas de integración modernas

Optimización de procesos para datos en movimiento

Evaluación de calidad y confiabilidad de los datos integrados

Ejercicio práctico: Crear un flujo ETL con Spark y Kafka

Introducción a la orquestación de datos en Data Fabric

Herramientas clave: Airflow, Kubernetes y Apache NiFi

Definición y diseño de pipelines de datos

Automatización de flujos de datos complejos

Uso de DAGs (Directed Acyclic Graphs) en orquestación

Ejecución de tareas en entornos distribuidos

Monitoreo y depuración de pipelines de datos

Integración de procesos batch y streaming

Optimización de flujos para reducir latencias

Ejercicio práctico: Orquestar un pipeline usando Apache Airflow

Concepto y uso de Data Lakes y Data Warehouses

Comparación entre almacenamiento local y en la nube

Optimización de almacenamiento en Data Lakes

Uso de Amazon S3, Azure Blob y Google Cloud Storage

Implementación de almacenes de datos escalables con Redshift y BigQuery

Gestión de formatos de datos: Parquet, ORC y Avro

Estrategias de partición y compresión de datos

Configuración de políticas de retención y acceso

Herramientas de catalogación de datos: Glue, Data Catalog

Ejercicio práctico: Configurar un Data Lake en AWS

Introducción a la gobernanza de datos

Creación de políticas y normas de acceso

Gestión de roles y permisos con IAM y RBAC

Aplicación de normas de cumplimiento: GDPR, CCPA

Monitorización y auditoría de acceso a datos

Gestión del linaje de datos en entornos complejos

Herramientas para implementar gobernanza: Collibra, Alation

Uso de metadatos para mejorar la trazabilidad

Integración con sistemas de catalogación de datos

Ejercicio práctico: Implementar una política de gobernanza

Introducción a herramientas de análisis de datos

Integración de Spark para análisis distribuidos

Consultas interactivas en tiempo real con Presto

Uso de SQL en sistemas modernos de análisis

Dashboards y visualización de datos con Tableau y Power BI

Creación de modelos predictivos en Spark MLlib

Implementación de análisis exploratorio de datos (EDA)

Generación de informes automatizados

Procesamiento de datos en tiempo real para análisis streaming

Ejercicio práctico: Análisis de grandes volúmenes de datos

Conceptos de procesamiento de datos en streaming

Configuración de Apache Kafka para datos en tiempo real

Integración con Spark Streaming y Flink

Creación de pipelines de streaming en Apache NiFi

Procesamiento de eventos y análisis continuo

Herramientas de monitorización y observabilidad

Ejemplo de caso: procesamiento de datos IoT en tiempo real

Configuración de flujos seguros para streaming

Optimización de latencias en el procesamiento

Ejercicio práctico: Configurar un flujo streaming con Kafka

Introducción al Machine Learning en arquitecturas Data Fabric

Preparación de datos para modelos ML

Creación de pipelines de entrenamiento automatizados

Uso de TensorFlow y PyTorch en plataformas distribuidas

Optimización de modelos en Spark MLlib

Implementación de AutoML en entornos Data Fabric

Despliegue de modelos en tiempo real

Monitorización y evaluación de modelos predictivos

Integración con plataformas cloud: AWS, GCP, Azure

Ejercicio práctico: Modelo predictivo en un flujo Data Fabric

Gestión de cifrado de datos en tránsito y en reposo

Políticas de seguridad con TLS, SSL y VPN

Monitoreo de accesos y detección de amenazas

Integración de sistemas SIEM para análisis de seguridad

Cumplimiento de normativas y auditorías

Creación de políticas de recuperación ante desastres

Seguridad en servicios cloud y on-premises

Automatización de políticas de seguridad en entornos Data Fabric

Caso de estudio: implementación segura en un proyecto real

Ejercicio práctico: Configurar políticas de cifrado en Data Fabric

Definición de objetivos del proyecto

Creación de un Data Lake en AWS o Azure

Integración de datos estructurados y no estructurados

Implementación de pipelines ETL y streaming

Análisis de datos con Apache Spark y Presto

Visualización de resultados en dashboards

Gobernanza y seguridad aplicada a los flujos de datos

Optimización del rendimiento y costos