que.nom.es

Data contract: qué es y cómo evita romper pipelines

Gobernanza de datos intermedio También llamado: contrato de datos, data contracts
Data contract: acuerdo versionado entre el equipo que produce un dato y los que lo consumen, que fija esquema, reglas de calidad, SLA y responsable; la integración continua bloquea los cambios que lo rompen.
Data contract: acuerdo versionado entre el equipo que produce un dato y los que lo consumen, que fija esquema, reglas de calidad, SLA y responsable; la integración continua bloquea los cambios que lo rompen.

Data contract

¿Qué es?

Un data contract es un acuerdo formal y versionado entre el productor de datos (sistema o equipo que los genera) y los consumidores (analistas, modelos, aplicaciones), que define qué se entrega: esquema, semántica, calidad esperada, frecuencia de actualización, SLAs y responsabilidades en caso de incumplimiento.

¿Para qué sirve?

Para resolver el problema crónico de que un cambio en una tabla de origen rompe pipelines downstream sin previo aviso. Si existe un data contract, un cambio incompatible debe seguir un proceso documentado de versionado, comunicación a consumidores y migración.

Ejemplo

El equipo de producto cambia el campo customer_id de string a integer.

  • Sin data contract: los pipelines de analítica se rompen al día siguiente sin que nadie lo haya anticipado.
  • Con data contract: el cambio se propone como nueva versión del contrato, se notifica a los equipos consumidores con un plazo de migración, durante un periodo conviven ambas versiones, y solo después se retira la antigua.

Tecnologías de referencia

  • Open Data Contract Standard (ODCS): especificación abierta para describir contratos de datos.
  • Soda Core y Great Expectations: frameworks para validar contratos en pipelines.
  • Plataformas de catalogación con soporte de contratos integrado (Atlan, Collibra, DataHub).

Más información

Explora herramientas de gobernanza de datos en el directorio de Dataprix.

Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.