Curso de Kedro para Empresas — Gestión de pipelines de datos

Estructura de directorios en Kedro

Organización de datos en bruto, procesados y resultados

Uso de carpetas dedicadas para scripts y notebooks

Ejercicio práctico: Creación de un proyecto base

Configuración de archivos de configuración YAML

Mejores prácticas para la colaboración en equipo

Estrategias para evitar conflictos en proyectos grupales

Uso de templates de proyectos personalizados

Documentación integrada en proyectos Kedro

Análisis de ejemplos de estructura en proyectos complejos

¿Qué es un pipeline y cómo se define en Kedro?

Creación de pipelines modulares y reutilizables

Uso de nodos para definir tareas individuales

Ejercicio práctico: Pipeline de preprocesamiento de datos

Conexión de nodos para flujos de trabajo eficientes

Configuración de dependencias entre nodos

Depuración y prueba de pipelines

Estrategias para pipelines escalables

Integración de lógica personalizada en nodos

Exploración de ejemplos avanzados de pipelines

Catálogo de datos en Kedro

Configuración de fuentes de datos locales y en la nube

Ejercicio práctico: Configuración de un catálogo de datos

Tipos de datasets compatibles con Kedro

Estrategias para mantener consistencia en datos

Uso de particiones para manejar grandes volúmenes

Validación de datos durante el preprocesamiento

Automatización de la carga y escritura de datos

Solución de problemas comunes en gestión de datos

Mejores prácticas para el manejo de datos sensibles

Principios de desarrollo modular

Uso de control de versiones con Kedro y Git

Estrategias para mantener la reproducibilidad de proyectos

Ejercicio práctico: Implementación de control de versiones

Automatización de pruebas unitarias en nodos

Documentación eficiente para equipos colaborativos

Gestión de configuraciones para múltiples entornos

Uso de herramientas de integración continua (CI)

Ejemplos de aplicación de buenas prácticas en proyectos reales

Análisis de problemas comunes y soluciones prácticas

Instalación y configuración de Kedro-Viz

Exploración de pipelines mediante visualizaciones

Ejercicio práctico: Visualización de un pipeline complejo

Uso de Kedro-Viz para identificar cuellos de botella

Personalización de gráficos en Kedro-Viz

Estrategias para compartir visualizaciones con equipos

Comparación con otras herramientas de visualización

Análisis de casos prácticos en grandes proyectos

Mejores prácticas para interpretar visualizaciones

Documentación gráfica de pipelines para presentaciones

Uso de Kedro con servicios en la nube como AWS y GCP

Integración con Jupyter Notebooks para prototipado rápido

Ejercicio práctico: Conexión de Kedro con un servicio externo

Automatización de flujos de trabajo con herramientas DevOps

Configuración de APIs para acceso a datos

Sincronización de proyectos con herramientas de visualización

Escalabilidad de proyectos en entornos distribuidos

Estrategias para la integración con sistemas heredados

Análisis de casos prácticos de integraciones exitosas

Mejores prácticas para la interoperabilidad entre sistemas

Configuración de pipelines para modelos de aprendizaje automático

Ejercicio práctico: Pipeline para preprocesamiento y entrenamiento

Validación de modelos en pipelines de Kedro

Optimización de hiperparámetros mediante Kedro

Uso de frameworks como Scikit-learn y TensorFlow

Gestión de experimentos con herramientas integradas

Documentación de modelos en pipelines

Automatización de tareas de entrenamiento y evaluación

Estrategias para mantener modelos actualizados

Casos prácticos de machine learning aplicados con Kedro

Estrategias para la protección de datos sensibles

Gestión de accesos y permisos en proyectos Kedro

Automatización de tareas de mantenimiento

Ejercicio práctico: Configuración de seguridad en un pipeline

Análisis de riesgos en proyectos de ciencia de datos

Políticas de backup y recuperación de proyectos

Actualización y mantenimiento de dependencias

Documentación de políticas de seguridad implementadas

Mejores prácticas para garantizar la continuidad operativa

Resolución de problemas comunes en producción

Diseño de un caso práctico para resolver un problema de negocio

Implementación de un pipeline de datos completo

Integración de datos en múltiples formatos

Configuración de experimentos con machine learning

Implementación de visualizaciones para reportes

Documentación y presentación del proyecto final

Resolución de desafíos durante la implementación

Evaluación de resultados y aprendizajes

Estrategias para escalar el proyecto a entornos reales

Retroalimentación y conclusiones del curso