Apache Airflow

¿Qué es?

Apache Airflow es una plataforma de código abierto para orquestar flujos de trabajo de datos: programar, ejecutar y vigilar las distintas tareas que componen un pipeline, en el orden correcto y con las dependencias resueltas. Nació en Airbnb y hoy es el orquestador de referencia en ingeniería de datos.

La idea central es sencilla: en lugar de encadenar scripts con tareas programadas sueltas y cruzar los dedos, defines el proceso completo como código y dejas que Airflow se encargue de lanzarlo, reintentar lo que falle y avisarte cuando algo va mal.

Cómo funciona: los DAGs

Airflow modela cada flujo como un DAG (grafo dirigido acíclico): un conjunto de tareas con dependencias entre ellas, sin ciclos. Cada tarea es un paso —extraer de una fuente, transformar, cargar en el almacén— y las flechas indican qué debe terminar antes de que empiece lo siguiente.

Los DAGs se escriben en Python, lo que permite versionarlos en Git, revisarlos y reutilizar lógica. El planificador (scheduler) decide cuándo ejecutar cada DAG, los workers ejecutan las tareas y una interfaz web muestra el estado de cada ejecución.

Para qué sirve

• Coordinar un pipeline de extremo a extremo: ingesta, transformación y publicación de datos en el orden correcto.
• Gestionar dependencias: que un paso solo arranque cuando los anteriores han terminado bien.
• Reintentos y alertas: si una tarea falla, se reintenta según las reglas definidas y se notifica.
• Programación temporal: ejecutar procesos por horario o disparados por un evento.

Airflow no procesa los datos por sí mismo: orquesta las herramientas que sí lo hacen. Es habitual verlo lanzando trabajos de dbt para las transformaciones o de Apache Spark para el procesamiento distribuido.

Más información

• Data pipeline — el flujo de datos que Airflow orquesta
• dbt — las transformaciones SQL que Airflow suele disparar
• Apache Spark — el motor de procesamiento distribuido que Airflow coordina
• Airflow, Prefect, dbt, NiFi y Kafka: comparativa práctica — capítulo de la guía práctica de arquitectura de datos de Dataprix.

Para elegir entre las distintas herramientas de orquestación e integración de datos, el directorio de software de integración de datos de Dataprix recoge fichas y análisis de cada opción.