Data observability

¿Qué es?

Data observability es la capacidad de entender, en tiempo casi real, el estado de salud de los datos que fluyen por un sistema: si están completos, si son frescos, si su distribución ha cambiado de forma inesperada o si algún pipeline se ha roto.

El término toma prestado el concepto de observability de la ingeniería de software (métricas, logs, trazas) y lo aplica a los datos en lugar de al código.

¿Para qué sirve?

Los pipelines de datos fallan de formas silenciosas: una tabla que deja de actualizarse, una columna que empieza a tener nulos donde antes no los había, un valor que se sale de su rango histórico normal. Sin observabilidad, estos problemas llegan al analista o al dashboard del negocio antes de que el equipo de datos los detecte.

Un sistema de data observability monitoriza automáticamente cinco dimensiones clave:

• Frescura (freshness): ¿cuándo se actualizaron los datos por última vez?
• Volumen: ¿hay el número esperado de filas?
• Distribución: ¿los valores numéricos están dentro del rango histórico normal?
• Unicidad: ¿hay duplicados inesperados?
• Linaje: ¿qué tablas o modelos están afectados si una fuente falla?

Ejemplo

Un retailer actualiza su tabla de ventas cada noche desde las TPVs. Un día, el proceso ETL falla silenciosamente y la tabla no se actualiza. Al día siguiente, el dashboard del director comercial muestra caída del 100% en ventas —cuando en realidad el dato simplemente no llegó.

Con data observability, una alerta de freshness detecta que la tabla no se ha actualizado en las últimas 26 horas y notifica al equipo de datos antes de que el director abra el dashboard.

Tecnologías de referencia

• Monte Carlo: plataforma SaaS líder del mercado, bautizó el término.
• Bigeye: alternativa SaaS con interfaz más accesible.
• Soda: open source y SaaS, orientado a contratos de datos y tests declarativos.
• Great Expectations: open source, más orientado a tests de calidad que a monitorización continua.
• dbt tests + alertas: solución DIY para equipos que ya usan dbt y quieren empezar sin herramienta dedicada.

Más información

• Observabilidad en la capa de datos: métricas, tracing y alerting — capítulo de la guía práctica de arquitectura de datos de Dataprix.
• Consulta el análisis sobre gobernanza y calidad de datos en el directorio de Dataprix.