Ingeniería de datos

Apache Airflow es la herramienta de orquestación de flujos de datos más extendida. Qué es, cómo funciona con DAGs y para qué se usa en un pipeline de datos.

Apache Flink es un motor de procesamiento de flujos que trata el streaming como el caso general y el batch como un caso particular. Qué lo distingue y cuándo usarlo.

Apache Hadoop es el marco que popularizó el procesamiento distribuido de grandes volúmenes de datos. Qué es, sus componentes (HDFS y MapReduce) y para qué sirve.

Apache Parquet es un formato de almacenamiento columnar para datos analíticos. Qué es, cómo funciona, ventajas frente a CSV y su papel en el data lake y el lakehouse.

Apache Spark es un motor de procesamiento distribuido en memoria para Big Data. Qué es, cómo funciona, para qué sirve y en qué se diferencia de Hadoop MapReduce.

Un backfill es la carga retroactiva de datos que faltan o que hay que recalcular. Qué lo hace peligroso, qué condiciones debe cumplir un pipeline y cómo ejecutarlo.

La compactación agrupa muchos ficheros pequeños en pocos ficheros grandes para que las consultas no se ahoguen. Qué es el small files problem y cómo se resuelve.

Data FinOps aplica las prácticas FinOps al gasto cloud de plataformas de datos: Snowflake, Databricks, BigQuery. Definición, métricas y herramientas para optimizar coste.

Un data pipeline es el conjunto de procesos que mueve y transforma datos de un origen a un destino. Tipos (batch y streaming), etapas y diferencia con ETL.

Un data warehouse es una base de datos especializada en analítica. Centraliza datos de varios sistemas operativos limpios y modelados para BI y reporting.

DataOps aplica al trabajo con datos las prácticas de automatización, pruebas y despliegue continuo que DevOps trajo al software. Qué es, qué incluye y qué problema resuelve.

dbt es la herramienta estándar para transformar datos dentro del data warehouse usando SQL versionado. Explicación, ejemplo y por qué dominó la capa T del ELT.

La evolución de esquema es la capacidad de cambiar la estructura de unos datos sin romper a quien los consume. Qué cambios son seguros y cuáles obligan a coordinar.

Las tres garantías de entrega en streaming, y por qué exactly-once no significa que el mensaje viaje una sola vez sino que su efecto ocurra una vez.

La granularidad define qué representa una fila. Por qué el grano fino se puede agregar pero el grueso no se puede desagregar, y cómo afecta al coste y al análisis.

Una operación idempotente da el mismo resultado se ejecute una vez o varias. Qué significa en un pipeline de datos y cómo se consigue en la práctica.

El modelado dimensional organiza los datos en hechos y dimensiones para que las consultas analíticas sean rápidas y comprensibles. Qué es, sus piezas y cuándo usarlo.

El copo de nieve normaliza las dimensiones de un data warehouse en sub-tablas jerárquicas. Estructura, diferencia con el modelo en estrella y cuándo conviene.

El modelo en estrella organiza un data warehouse en una tabla de hechos central rodeada de dimensiones. Estructura, ejemplo y diferencia con el copo de nieve.

El particionado divide una tabla o un conjunto de ficheros en trozos independientes para leer solo lo necesario. Cómo elegir la clave y qué errores evitar.

Prefect es una herramienta de orquestación de flujos de datos en Python, alternativa moderna a Airflow. Qué es, cómo funciona con flows y tasks y para qué sirve.

La tabla de dimensiones aporta el contexto por el que se filtra y agrupa un modelo dimensional. Qué contiene, por qué se desnormaliza y qué es la clave subrogada.

La tabla de hechos guarda las medidas de un modelo dimensional. Qué es la granularidad y por qué es la decisión más importante, y los tres tipos que existen.