que.nom.es

Data fabric: qué es, para qué sirve y diferencia con data mesh

Gobernanza de datos intermedio También llamado: tejido de datos, data fabric architecture
Data fabric: una capa de integración que conecta fuentes dispersas en la nube y on-premise mediante metadatos activos, un grafo de conocimiento, integración automatizada y políticas comunes, y las sirve a todos los consumidores.
Data fabric: una capa de integración que conecta fuentes dispersas en la nube y on-premise mediante metadatos activos, un grafo de conocimiento, integración automatizada y políticas comunes, y las sirve a todos los consumidores.

Data fabric

¿Qué es?

Data fabric es una arquitectura de datos que unifica el acceso, la integración y la gobernanza sobre fuentes distribuidas (data lakes, data warehouses, bases operacionales, SaaS, ficheros) mediante una capa de metadatos activos. La idea es que el usuario final consulte los datos como si vivieran en un único repositorio lógico, mientras los datos siguen físicamente en sus sistemas de origen.

El término lo popularizó Gartner alrededor de 2019 y desde entonces se ha asentado como uno de los enfoques arquitectónicos dominantes en organizaciones con paisajes de datos complejos.

Para qué sirve

Resuelve un problema concreto del enterprise moderno: los datos están repartidos en decenas de sistemas (CRM, ERP, data warehouse, lakes, aplicaciones SaaS), y construir pipelines punto a punto entre cada par de orígenes es inmanejable. El data fabric propone una solución por capas:

  • Catálogo unificado que conoce todos los activos disponibles, su esquema, su linaje y sus reglas de calidad.
  • Acceso semántico mediante consultas que se traducen a las fuentes subyacentes (federated query, virtualización de datos).
  • Gobernanza centralizada aplicada en runtime: el mismo dataset en el lake y en el warehouse hereda las mismas políticas de acceso, enmascarado y retención.
  • Metadatos activos que aprenden de los patrones de uso reales para sugerir optimizaciones, detectar derivas y proponer nuevos productos de datos.

El diferenciador clave: metadatos activos

Los catálogos tradicionales son pasivos: registran información que alguien metió y la sirven en una pantalla. El data fabric usa metadatos activos — el catálogo no solo describe, sino que actúa:

  • Detecta automáticamente que dos columnas en sistemas distintos contienen la misma información (mismo dominio semántico) y propone unificarlas.
  • Observa qué consultas son recurrentes y materializa las tablas de uso frecuente.
  • Identifica datasets sin políticas de gobernanza claras y los marca para revisión.
  • Alerta cuando un cambio de esquema upstream va a romper consumidores downstream.

Esta capacidad la suelen aportar plataformas comerciales (Informatica IDMC, IBM Cloud Pak for Data, Atlan, Talend, Microsoft Fabric) que combinan catálogo, lineage, calidad e integración en un único producto.

Data fabric vs data mesh

Aunque a menudo se confunden, son enfoques distintos al mismo problema:

Data fabricData mesh
EnfoqueTecnología centralizada con capa unificadoraOrganización descentralizada con responsabilidad de dominio
Pieza centralPlataforma con metadatos activosCada dominio publica sus “data products”
Quién posee los datosTI / Plataforma de datos centralEl dominio de negocio que los genera
Ventaja principalVisión unificada inmediataEscala organizativa, evita cuello de botella
Riesgo principalDependencia de un vendorCoordinación entre dominios

En la práctica, no son excluyentes: muchas organizaciones aplican principios de data mesh a nivel organizativo y construyen un data fabric tecnológico que soporta esa organización. La pregunta no es “fabric o mesh”, es “qué problema quiero resolver primero”.

Ejemplo

Una aseguradora con 30 años de historia tiene datos en Oracle (póliza), SAP (financiero), Snowflake (analítico), Salesforce (CRM) y 15 SaaS más. El equipo de actuariales necesita un dataset unificado para modelar riesgo:

  1. Sin data fabric: pipeline punto a punto que extrae de los 5 sistemas, transforma y carga en un dataset bespoke. Mantenimiento eterno, sin gobernanza compartida.
  2. Con data fabric: el catálogo conoce los 5 orígenes, define las relaciones (cliente → póliza → factura → ticket) y el equipo de actuariales escribe una consulta semántica que el motor traduce automáticamente a federación de queries con las fuentes nativas. La gobernanza aplicada (anonimización de DNI, mask de importes para usuarios sin permisos) es consistente con la que aplica al data warehouse para reporting.

Tecnologías representativas

  • Plataformas integradas: Informatica IDMC, IBM Cloud Pak for Data, Microsoft Fabric, Talend, Denodo, Collibra Data Intelligence Platform, Atlan.
  • Componentes individuales que se ensamblan: Trino o Starburst (federated query), Apache Atlas o OpenMetadata (catálogo), OpenLineage (linaje), dbt o Coalesce (transformación), Great Expectations (calidad).

Limitaciones y consideraciones

  • Federación tiene coste: cada query distribuida tiene latencia. Para cargas analíticas pesadas, la federación suele ser inviable; conviene combinar con materialización selectiva.
  • Vendor lock-in: muchas plataformas data fabric son propietarias. La interoperabilidad entre vendors sigue siendo limitada.
  • No sustituye buenas prácticas: si los datos en origen están mal modelados o sin documentar, ninguna capa unificadora arregla eso.

Más información

Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.