Implementación de un Lakehouse en una empresa del sector consumo masivo

Abstract

El presente informe tiene como propósito contar sobre mi experiencia profesional en una empresa de consumo masivo, detallando cuales han sido los roles y responsabilidades que he asumido a lo largo de mi puesto, destacando la creación de una solución a una necesidad de la compañía empleando una arquitectura de datos sostenible y escalable en el tiempo; mi participación como miembro activo y líder de un equipo para el desarrollo de las iniciativas comerciales de la compañía proponiendo soluciones y respuestas ante los requerimientos dados por el negocio como la disponibilización de datos o la integración con algunas aplicaciones; el aprendizaje continuo dado a la constante evolución de la tecnología y al mercado competitivo; y el seguimiento de las normas y responsabilidades profesionales adquiridas en mi aprendizaje. Siendo así, los logros obtenidos en este tiempo son la creación de un lakehouse inicialmente para el área de Transformación Digital para escalar a áreas de negocio, facilitar la convivencia de los datos de dos sistemas ERPs, disponibilización de datos para distintas áreas, optimización y estandarización de procesos, y liderar iniciativas comerciales usadas por toda la fuerza de venta a nivel nacional. Un ingeniero de Sistemas debe estar preparado para asumir el reto no solo a nivel técnico sino a nivel de gestión, ya que la oportunidad de poder liderar un equipo es una excelente manera de consolidar y reforzar lo aprendido durante la vida profesional. Para poder desempeñar mi rol he estado en constante autoaprendizaje, por medio de cursos o investigación, y recurriendo a mis pares y jefes, los cuales siempre me han apoyado con una explicación o un consejo para abordar un tema. En este informe se revisará mi experiencia en cuatro capacidades: técnica, gestión, aprendizaje continuo y conducta ética, para finalizar con las lecciones aprendidas y las recomendaciones finales.

The purpose of this report is to tell about my professional experience in a mass consumption company, detailing the roles and responsibilities I have assumed throughout my position, highlighting the creation of a solution to address the company's need using a sustainable and scalable data architecture; my participation as an active member and leader of a team for the development of the company's commercial initiatives proposing solutions and responses to the requirements given by the business users such as data availability or integration with some applications; continuous learning due the constant evolution of technology and the competitive market; and monitoring of the standards and professional responsibilities acquired in my learning. The achievements obtained during this time are the creation of a lakehouse initially for the Digital Transformation area to scale it to business areas, facilitating the coexistence of data from two ERP systems, data availability for different areas, optimization and standardization of processes, and leading commercial initiatives used by the entire national sales force. A Systems Engineer must be prepared to take on the challenge not only at a technical level but also at a management level, since the opportunity to lead a team is an excellent way to consolidate and reinforce what has been learned during professional life. To perform my role, I have been constantly self-learning, through courses or research, and turning to my peers and bosses, who have always supported me with an explanation or advice about a topic. This report will review my experience in four capacities: technical, management, continuous learning and ethical conduct, to end with the lessons learned and final recommendations.