Frescura de datos (data freshness)

¿Qué es?

La frescura de datos mide cuánto tiempo ha pasado desde que un dato dejó de reflejar la realidad. Un dato fresco describe el estado actual del negocio; un dato rancio describe el de hace unas horas, y el panel que lo muestra no avisa de la diferencia.

Es una de las dimensiones clásicas de la calidad de datos, y probablemente la que más rápido destruye la confianza en una plataforma: un dato incorrecto se discute, un dato viejo se cree.

Cómo se mide

Hay dos relojes distintos y conviene no mezclarlos:

• Antigüedad del dato: diferencia entre el momento actual y el instante en que ocurrió el hecho más reciente que hay cargado. Responde a “hasta qué hora tengo ventas”.
• Antigüedad de la carga: diferencia entre el momento actual y la última ejecución correcta del proceso. Responde a “cuándo se actualizó esto por última vez”.

Las dos hacen falta. Un proceso puede haberse ejecutado hace cinco minutos y no haber traído nada, y entonces la carga está fresca pero el dato no.

Sobre esas medidas se fija un umbral: el tiempo máximo de antigüedad aceptable para esa tabla. Cuando se supera, salta un aviso. Ese umbral es justamente lo que se compromete en un contrato de datos y lo que vigilan las herramientas de observabilidad de datos.

Por qué condiciona a los KPI

Un KPI es una afirmación sobre el estado del negocio, y esa afirmación lleva implícita una fecha. Si el panel dice que la conversión está en el 3,2 % pero el dato se cargó anoche, el KPI no es falso: está fechado, y nadie lo sabe.

De ahí dos prácticas que cuestan poco y evitan mucho:

• Mostrar la antigüedad junto a la cifra, no en un pie de página. Quien mira el número tiene que ver de cuándo es.
• Definir la frescura necesaria antes de elegir la arquitectura. Un KPI de seguimiento mensual no necesita minutos; un panel de operaciones que dispara decisiones sí. Confundirlos lleva a montar streaming para alimentar un informe que se mira los lunes.

Frescura y latencia no son lo mismo

La latencia es una propiedad del recorrido: cuánto tarda un cambio en llegar del origen al destino. La frescura es una propiedad del dato que hay ahora mismo en el destino.

Un pipeline de CDC con latencia de segundos da datos muy frescos mientras funciona; si se para, la latencia sigue siendo baja sobre el papel y la frescura se degrada un minuto por minuto. Por eso se monitoriza la frescura del destino y no solo la salud del proceso: es la única medida que se entera de que algo va mal aunque no haya fallado nada visiblemente.

Ejemplo

Un equipo de operaciones revisa cada mañana un panel de stock. Un cambio en el origen deja de emitir un tipo de movimiento, pero el proceso de carga sigue ejecutándose sin error: lee lo que hay, que ya no incluye ese movimiento, y termina en verde.

Ninguna alerta salta durante días, porque todo lo que se vigilaba era que el proceso terminase bien. Un control de frescura sobre la tabla de movimientos —“el hecho más reciente no puede tener más de dos horas”— lo habría detectado en la primera mañana.

Más información

• Eventos vs batch: los fundamentos de la integración de datos — capítulo de la guía práctica de arquitectura de datos de Dataprix.
• Compara herramientas de integración y calidad de datos en el directorio de Dataprix.