Apache Parquet

¿Qué es?

Apache Parquet es un formato de almacenamiento columnar de código abierto, diseñado para guardar datos analíticos de forma compacta y eficiente. En lugar de escribir los datos fila a fila (como un CSV), Parquet los organiza por columnas, lo que encaja a la perfección con el tipo de consulta que predomina en analítica: leer pocas columnas de muchísimas filas.

Es el formato de hecho del almacenamiento analítico moderno: la mayoría de data lakes y lakehouses guardan sus datos en ficheros Parquet.

Cómo funciona

Parquet aporta tres cosas que un formato de texto plano no tiene:

• Organización columnar: al guardar cada columna junta, una consulta que solo necesita dos columnas no tiene que leer el resto del fichero.
• Compresión eficiente: como los valores de una misma columna son del mismo tipo y suelen parecerse, se comprimen mucho mejor que mezclados por filas.
• Esquema incrustado y tipado: cada fichero lleva su propia descripción de columnas y tipos, además de estadísticas (mínimos, máximos) que permiten saltarse bloques irrelevantes al filtrar.

Para qué sirve

• Almacenar las tablas de un data lake de forma barata y consultable.
• Acelerar consultas analíticas: se lee menos disco y se procesan menos datos.
• Servir de base a formatos de tabla como Delta Lake o Apache Iceberg, que añaden transacciones y versionado por encima de ficheros Parquet.

Parquet vs CSV

	Parquet	CSV
Organización	Columnar	Por filas
Tamaño en disco	Reducido (comprimido)	Grande
Lectura selectiva de columnas	Sí	No (lee todo)
Tipos y esquema	Incluidos	No (todo texto)
Legible a simple vista	No	Sí

Más información

• Data lake — el repositorio donde viven los ficheros Parquet
• Delta Lake — capa transaccional construida sobre Parquet
• Apache Iceberg — formato de tabla abierto que también se apoya en Parquet
• Base de datos columnar — el mismo principio aplicado a un motor de base de datos

Para situar Parquet dentro de una arquitectura concreta, el directorio de plataformas de datos de Dataprix recoge fichas y análisis de las tecnologías del lakehouse.