Curso de Apache Drill para Equipos de Datos — Consultas sin Esquema

Descarga y descompresión de Apache Drill

Configuración de JAVA_HOME y puertos

Inicio del servicio en modo embebido

Acceso a la Web Console (`http://localhost:8047`)

Validación de entorno operativo

Configuración de perfiles de almacenamiento predeterminados

Creación de carpetas locales con datasets CSV y JSON

Validación con `SHOW FILES`, `SELECT` y `DESCRIBE`

Logs, errores comunes y troubleshooting

Práctica: consulta de un CSV sin cargarlo en ninguna BBDD

Qué es un storage plugin

Storage plugin local (`dfs`) y su configuración

Estructura de workspace, path y formato

Parámetros del plugin (type, writable, format)

Plugin para HDFS, S3, MongoDB, Hive y RDBMS

Configuración vía UI o archivo JSON

Permisos de lectura y escritura

Diferencias entre almacenamiento y metadata

Formatos soportados (CSV, TSV, JSON, Parquet, Avro, etc.)

Práctica: creación de nuevo workspace JSON para análisis de logs

SQL compatible con Drill: sintaxis y límites

Comandos básicos: `SELECT`, `JOIN`, `WHERE`, `GROUP BY`

Funciones escalares y de agregación

Lectura de campos anidados (`a.b`, `a['b']`)

Proyección selectiva de columnas

Consultas sobre carpetas completas

Tipos de joins permitidos y ejemplos

Filtros por fecha, número y texto

Subqueries y funciones de ventana

Práctica: query compleja sobre JSON anidado

Ventajas del formato Parquet

Soporte nativo y optimización de lectura en Drill

Lectura de archivos particionados

Inferencia de esquema dinámica

Indexación y pushdown de filtros

Comparación de velocidad con CSV

Lectura de múltiples archivos en batch

Limitaciones con tipos complejos

Proyección selectiva y renombrado

Práctica: análisis de logs exportados a Parquet desde Spark

Lectura directa de JSON sin esquema

Acceso a propiedades anidadas

Conversión de arrays y objetos

Unnest y flatten de estructuras

Validación de campos nulos o faltantes

Combinación de múltiples documentos JSON

Comparación de propiedades y casting

Query sobre carpetas con archivos JSON

Limitaciones en nested deeply objects

Práctica: extracción de KPIs desde archivo de eventos JSON

Formatos delimitados: CSV, TSV, PSV

Cabeceras automáticas o manuales

Separadores personalizados

Columnas faltantes o desalineadas

Limpieza previa y casting

Unión entre CSV y JSON

Ordenamiento, filtro y cálculo

Tipos detectados por inferencia

Creación de vistas sobre CSV

Práctica: normalización de un CSV erróneo y consulta limpia

JDBC Plugin para MySQL, PostgreSQL y Oracle

Configuración de plugin RDBMS

Conexión segura y autenticada

Validación de esquemas y tablas

Consultas federadas con archivos

Joins entre CSV y tabla MySQL

Rendimiento y limitaciones

Pushdown vs extracción total

Práctica: integración con base de datos de RRHH + análisis CSV de nómina

BONUS: combinación de Mongo + RDBMS

Qué es federación de datos en tiempo real

Combinación de múltiples plugins en una misma query

Join entre JSON + MongoDB + MySQL

Uso de alias, castings y estructuras compatibles

Limitaciones de esquema entre fuentes

Vistas virtuales y persistentes

Consultas ad-hoc con múltiples formatos

Escenarios de BI sobre datos crudos

Práctica: vista unificada sobre JSON de ventas, Mongo de productos y MySQL de clientes

BONUS: exportación de resultados

Query Planning: cómo lo hace Drill

EXPLAIN PLAN y análisis

Pushdown de predicados y filtros

Uso de `LIMIT`, `OFFSET` y columnas selectivas

Cacheo de resultados y vistas

Control de fragmentación por disco

Uso de Parquet y formatos columnares

Escalado en clúster con múltiples Drillbits

Práctica: mejora de rendimiento de consulta lenta sobre 2 GB de CSV

Qué es una UDF en Drill

Casos donde son necesarias

Desarrollo en Java de una función personalizada

Registro de funciones en Drill

Debugging y logs

Ejemplos: validación de IBAN, normalización de string

Reutilización y mantenimiento

Alternativas con funciones nativas

Práctica: creación de UDF para cálculo de impuestos sobre JSON de facturas

Modo sin autenticación vs autenticado

Configuración de usuarios y roles

Acceso a carpetas restringidas

Encriptación en tránsito (SSL)

Validación de parámetros y límites

Uso de firewalls y control de red

Práctica segura en modo multiusuario

Integración con LDAP (opcional)

Logging de accesos y fallos

Práctica: entorno Drill con autenticación y permisos mínimos

Conexión ODBC/JDBC desde Power BI, Tableau, Superset

Configuración de DSN local

Consulta remota sobre Drill

Exportación desde BI a Excel/PDF

Limitaciones por volumen o compatibilidad

Acceso a vistas persistentes y directas

Refresh en vivo vs cacheado

Seguridad en BI con Drill Gateway

Práctica: dashboard en Power BI sobre JSON + Parquet

BONUS: conexión a Superset y visualización de logs

CLI de Drill (`sqlline`)

Scripts bash con queries automatizadas

Exportación de resultados a CSV

Scheduling con cron y pipelines

Conexión desde Python (pyDrill)

Logging y manejo de errores

Despliegue de contenedor Docker con Drill

Uso en pipelines de CI/CD de datos

Práctica: generación nocturna de KPIs desde JSON y envío a email

BONUS: integración con Airflow

Ingesta de datos en múltiples formatos (CSV, JSON, Parquet)

Integración de base de datos SQL y fuente NoSQL (MongoDB)

Creación de vistas federadas

Consultas para KPIs y reporting financiero

Creación de UDF para normalización

Exportación a BI y dashboard

Optimización de queries más costosas

Protección del acceso y roles

Documentación y automatización de pipeline

Validación final del entorno Drill como motor exploratorio de datos