que.nom.es

Arquitectura Medallion (bronze/silver/gold) en data lakehouse

Arquitectura de datos intermedio También llamado: medallion, bronze silver gold, multi-hop architecture
Arquitectura medallion: los datos pasan por tres capas de calidad creciente: bronze con los datos en bruto, silver con datos limpios y conformados, y gold con agregados listos para BI y machine learning.
Arquitectura medallion: los datos pasan por tres capas de calidad creciente: bronze con los datos en bruto, silver con datos limpios y conformados, y gold con agregados listos para BI y machine learning.

Arquitectura Medallion (bronze / silver / gold)

¿Qué es?

La arquitectura Medallion (también llamada multi-hop) es un patrón de diseño popularizado por Databricks para organizar los datos dentro de un data lakehouse en tres capas progresivas de refinamiento:

  • 🥉 Bronze: datos crudos tal como llegan de las fuentes.
  • 🥈 Silver: datos limpios, conformados y estandarizados.
  • 🥇 Gold: datos modelados y agregados, listos para consumo de negocio.

Cada capa enriquece la anterior, mejorando calidad, estructura y proximidad al caso de uso.

Las tres capas en detalle

🥉 Bronze — Capa cruda (raw)

  • Qué contiene: los datos extraídos de las fuentes en su forma original, sin transformar.
  • Formato: típicamente Parquet o Delta Lake / Iceberg sobre object storage (S3, ADLS, GCS).
  • Estrategia de carga: append-only, idealmente con CDC (Change Data Capture) o snapshots regulares.
  • Para qué sirve: tener un histórico fiel y reproducible. Si una transformación de Silver tiene un bug, puedes reprocesar desde Bronze.

🥈 Silver — Capa limpia y conformada

  • Qué contiene: los mismos datos pero limpios, deduplicados, con tipos correctos, claves resueltas y conformados entre fuentes.
  • Esquema: estructurado, validado.
  • Para qué sirve: punto de referencia común para todos los consumos analíticos. Silver es lo que la mayoría de equipos de data engineering tocan a diario.

🥇 Gold — Capa de negocio

  • Qué contiene: tablas modeladas según el caso de uso (modelo dimensional estrella, tablas de hechos pre-agregadas, métricas pre-calculadas, features de ML).
  • Esquema: orientado a consumo (BI, ML, APIs).
  • Para qué sirve: lo que consultan los dashboards, los modelos de ML y las APIs de negocio.
  • Trazabilidad: cualquier número en Gold se puede auditar hasta su origen en Bronze.
  • Resiliencia: errores en una capa no contaminan la anterior; siempre puedes reprocesar.
  • Separación de responsabilidades: ingesta (Bronze), modelado técnico (Silver), modelado de negocio (Gold).
  • Compatible con ELT: encaja directamente con Fivetran/Airbyte → Bronze, dbt → Silver/Gold.
  • Estándar de facto en lakehouses: Databricks, Snowflake con Iceberg, Microsoft Fabric.

Ejemplo

Un retailer:

  • Bronze: cada noche cargan los pedidos del e-commerce en bronze.ecommerce_orders tal como vienen del API (con todos los campos JSON crudos, formatos inconsistentes).
  • Silver: dbt limpia, deduplica por order_id, normaliza fechas a UTC, resuelve customer_id contra el maestro de clientes y produce silver.orders.
  • Gold: a partir de Silver se construye gold.fact_sales (modelo estrella con dimensiones cliente, producto, tiempo) y gold.daily_revenue_by_country (pre-agregado para el dashboard ejecutivo).

¿Cuántas capas son obligatorias?

No es dogma. Hay implementaciones con sólo dos (Bronze + Gold) o con cuatro (añadiendo “Platinum” para casos muy específicos como features de ML).

La idea clave es la progresión refinada con responsabilidades claras, no el número exacto.

Más información

Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.