Data Engineering

big-data

Data Engineering: Un puente entre el Big Data y el Data Science

Data Engineering nace de la necesidad de cubrir un gap existente dentro del mundo de Big Data y Data Science. Este nuevo campo de trabajo se basa en el conocimiento de disciplinas tradicionales como la Calidad de datos, la integración o el master data management y supone una evolución para adaptarse a los retos que plantea la gestión de grandes volúmenes de datos.

Entre ambas disciplinas, existe un espacio clave, la discliplina de data Engineering. Un perfil necesario que representa el puente entre el Big Data y El Data Science. Los especialistas en Big Data se dedican a implementar una arquitectura adecuada, por lo tanto la capa de tecnología. Por otro lado, el objetivo de los Data Engineers recae en el correcto almacenamiento de los datos, su procesamiento y la preparación de los mismos para las consultas, hecho que permite que los Data Scientists puedan centrar su trabajo en analizar y descubrir nuevas relaciones, sin perder tiempo en los procesos anteriores.

Este proceso que realizan los Data Engineers se conoce como “Data Wrangling” y permite optimizar el proceso de limpieza y almacenamiento de datos para que queden preparados con la máxima calidad posible para el análisis. Hasta la aparición de este nuevo perfil, los Data Scientist dedicaban un 80% de su trabajo a este proceso. Ahora por primera vez pueden centrarse en su punto fuerte, la analítica avanzada.

En Synergic Partners, entendemos esta visión y somos pioneros en la materia y en la creación de equipos de Data Engineers para nuestros clientes.