Descripción
Resumen:
Como ingeniero de datos ETL, desempeñará un papel fundamental en el diseño, desarrollo y mantenimiento de procesos de integración de datos mediante Python (PySpark) y Azure Synapse Analytics, garantizando así la precisión y disponibilidad de los datos analíticos para obtener información útil y apoyar la toma de decisiones.
Aspectos destacados:
1. Oportunidad de contribuir a proyectos desafiantes y consolidados en el mercado
2. Comunidad colaborativa que valora el trabajo arduo y el aprendizaje continuo
3. Trabajo en una variedad de proyectos para clientes extraordinarios
Bluelight es una consultoría líder en software dedicada al diseño y desarrollo de tecnologías innovadoras que mejoran la vida de los usuarios. Con un firme compromiso de brindar un servicio excepcional a nuestros clientes, Bluelight destaca por su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no consiste únicamente en crear aplicaciones de vanguardia, sino también en fomentar un entorno laboral colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en Estados Unidos y América Central/Sur, Bluelight se encuentra actualmente en una emocionante fase de expansión, buscando continuamente talento excepcional para unirse a su dinámica y diversa comunidad.
Como ingeniero de datos ETL, desempeñará un papel fundamental en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente mediante Python (PySpark) y Azure Synapse Analytics, con el fin de garantizar la exactitud y disponibilidad de los datos analíticos. Al trabajar estrechamente con científicos de datos, analistas y otras partes interesadas para entregar datos de alta calidad destinados a generar información útil y apoyar la toma de decisiones, este puesto resulta ideal para un profesional apasionado del desarrollo de software que se desempeña excelentemente en un entorno dinámico y acelerado, donde las opiniones y los esfuerzos de todos son valorados. Al unirse a la consultoría de software en crecimiento de nuestro cliente, tendrá la oportunidad de contribuir a proyectos desafiantes y consolidados en el mercado dentro de una comunidad colaborativa que valora profundamente el trabajo arduo, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional.
### **Responsabilidades**
* Ingeniería de datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL mediante Python (PySpark) dentro de los cuadernos de Azure Synapse Analytics y/o canalizaciones de Azure Synapse Analytics, para garantizar extracciones, transformaciones y cargas eficientes de datos.
* Almacenamiento de datos: Aplicar su experiencia en almacenamiento de datos, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras eficaces de almacenamiento de datos en un grupo de procesamiento masivamente paralelo (MPP) de SQL.
* Experiencia con fuentes de datos: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SQL y archivos CSV.
* Experiencia con Azure Synapse Analytics: Utilizar sus amplios conocimientos sobre Azure Synapse Analytics para diseñar y optimizar cuadernos/canalizaciones de datos con vistas a la escalabilidad y el rendimiento.
* Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, lakehouses, deltas lakes y catalogación de datos, para mejorar las capacidades de gestión de datos.
* Modelado de datos: Colaborar con arquitectos de datos para crear modelos y esquemas de datos que respondan a los requisitos empresariales.
* Calidad de los datos: Implementar controles y procesos de validación de calidad de los datos para mantener su exactitud y coherencia.
* Ajuste de rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar los cuadernos/canalizaciones de datos ETL para cumplir con los acuerdos de nivel de servicio (SLA).
* Supervisión y solución de problemas: Supervisar trabajos ETL, diagnosticar incidencias e implementar soluciones para garantizar la fiabilidad de las canalizaciones de datos.
* Documentación: Mantener documentación exhaustiva de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos.
* Colaboración: Trabajar estrechamente con equipos multifuncionales para comprender los requisitos de datos y brindar apoyo a iniciativas relacionadas con los datos.
* Seguridad y cumplimiento: Garantizar la seguridad de los datos y el cumplimiento de las normas de gobernanza y privacidad de los datos.
### **Requisitos**
* Licenciatura en Ciencias de la Computación, Tecnología de la Información o campo afín; o experiencia laboral equivalente, siendo un plus contar con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Azure Data Engineer).
* Experiencia comprobada en ingeniería de datos ETL con conocimientos sólidos en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos desde API REST, tablas de bases de datos SQL y archivos CSV.
* Competencia en el uso de recursos de Azure Synapse Analytics, incluidos cuadernos, canalizaciones, servicios vinculados y Azure Key Vault.
* Capacidad demostrada para escribir consultas SQL complejas, optimizar su rendimiento y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de forma eficaz.
* Conocimiento de las mejores prácticas y herramientas para la integración de datos.
* Experiencia con sistemas de control de versiones, como Git (Azure DevOps).
* Excelentes habilidades de resolución de problemas y análisis, con gran atención al detalle.
* Excelentes habilidades comunicativas, tanto orales como escritas, con capacidad para trabajar colaborativamente en un entorno de equipo con prioridades cambiantes.
* Conocimientos deseables sobre tecnologías de big data, aprendizaje automático y análisis de datos.
* Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y metodologías ágiles constituye un plus.
Ser consultor en nuestro equipo representa una opción profesional divertida, desafiante y gratificante. Sus contribuciones son altamente valoradas por nuestros clientes, y el trabajo que realiza suele tener un impacto directo y significativo en sus negocios.
Tendrá la oportunidad de trabajar en una variedad de proyectos para nuestros extraordinarios clientes, lo cual acelerará su crecimiento profesional. ¡Colaborará con tecnologías modernas y trabajará junto a algunos de los mejores profesionales del sector!
Si está ansioso por formar parte de una consultoría emocionante, desafiante y en rápido crecimiento, le animamos a presentar su candidatura. \#LI\-Remote