Apache Spark

¿Qué es?

Apache Spark es un motor de procesamiento de datos distribuido y en memoria, pensado para trabajar con grandes volúmenes repartiendo el cálculo entre muchos nodos de un clúster. Es uno de los pilares del ecosistema Big Data: permite ejecutar transformaciones y análisis sobre conjuntos de datos que no caben —o no son prácticos— en una sola máquina.

Su gran diferencia frente a los motores anteriores es que mantiene los datos intermedios en memoria siempre que puede, en lugar de escribir a disco en cada paso. Eso lo hace mucho más rápido para procesos iterativos como los de machine learning o las transformaciones encadenadas.

Cómo funciona

Spark reparte el trabajo en tareas que se ejecutan en paralelo sobre las particiones de los datos. El desarrollador no programa esa distribución a mano: describe qué quiere calcular y Spark decide cómo repartirlo.

Se trabaja con dos abstracciones principales:

• RDD (Resilient Distributed Dataset): la capa de bajo nivel, tolerante a fallos.
• DataFrame / Dataset: una API de más alto nivel, parecida a una tabla, que es la forma habitual de usar Spark hoy y la que mejor optimiza el motor.

Sobre ese núcleo conviven varios módulos: Spark SQL para consultas, Structured Streaming para datos en tiempo real, MLlib para machine learning y GraphX para grafos.

Para qué sirve

• ETL/ELT a gran escala: limpiar, unir y transformar datos de muchas fuentes.
• Procesamiento en streaming: tratar eventos casi en tiempo real con Structured Streaming.
• Machine learning sobre grandes volúmenes con MLlib.
• Motor del lakehouse: es el motor de cómputo que sostiene buena parte de las plataformas modernas de datos.

Spark vs Hadoop MapReduce

	Apache Spark	Hadoop MapReduce
Datos intermedios	En memoria	A disco en cada paso
Velocidad	Alta	Más lenta
Modelo	Unificado (batch, SQL, streaming, ML)	Solo batch
Curva	API de alto nivel cómoda	Más verboso

Más información

• Data lakehouse — la arquitectura donde Spark suele actuar de motor
• Delta Lake — capa transaccional que Spark lee y escribe
• Arquitectura medallion — el patrón de capas que se orquesta sobre Spark

Para comparar plataformas de datos que integran Spark como motor de cómputo, el directorio de plataformas de datos de Dataprix recoge fichas y análisis editorial.