SENIOR DATA ENGINEER (Databricks & Fabric)

Beta 80 Group è una società ICT presente sul mercato da più di trent’anni. Ad oggi, conta circa 550 professionisti e si pone lo scopo di trovare e fornire le soluzioni più idonee a favorire la Digital Transformation e il vantaggio competitivo dei propri clienti.

Beta 80 Group, grazie alle competenze acquisite su clienti leader si mercato, offre soluzioni basate sia su tecnologia proprietaria, sia su best-of-breed di mercato e opera attraverso tre Business Unit:

ICT Services &Solution, Emergency &Crisis Management, Supply Chain &Warehouse Management.




Per la Line Of Business Implement &Transform ricerchiamo:




Cerchiamo un/una Senior Data Engineer con una solida esperienza su Databricks e competenze su Microsoft Fabric, appassionato, esperto e motivato a lavorare in un ambiente dinamico e innovativo. Sarai responsabile della progettazione, implementazione e gestione di pipeline di dati avanzate, integrando fonti di dati strutturate e non strutturate, e realizzando Data Lakehouse (DLH), basati prevalentemente su Medallion Architecture, in grado di supportare analisi di business efficaci e promuovere l’ implementazione di modelli di machine learning innovativi.




Responsabilità principali



• Progettare, costruire e gestire pipeline di dati ETL/ELT utilizzando strumenti avanzati su Azure, Fabric e Databricks in particolare, garantendo efficienza e scalabilità


• Ottimizzare le pipeline di dati per prestazioni e scalabilità, lavorando con dataset di grandi dimensioni.


• Implementare e gestire data platform e soluzioni di data storage ( Data Lake, Delta Lake, Data Lakehouse) su Azure


• Assicurare la qualità e l’integrità dei dati attraverso pratiche di data governance e gestione di metadata.


• Sviluppare e mantenere documentazione tecnica e linee guida per il team.


• Collaborare con i Data Scientist per integrare e ottimizzare modelli complessi di machine learning in ambienti di produzione, assicurando prestazioni elevate e stabilità.


• Fornire mentoring e supporto ai membri junior e middle del team.


• Identificare e utilizzare le tecnologie più appropriate per rispondere alle esigenze specifiche dei progetti.





Requisiti

Competenze chiave



• Laurea in Informatica, Ingegneria Informatica, Statistica, Matematica o discipline correlate


• Almeno 5 anni di esperienza in ruoli di Data Engineering o simili


• Familiarità con il cloud, in particolare Azure Cloud


• Solida esperienza nell’ uso di Databricks e nella gestione di soluzioni Data Lakehouse su piattaforme Azure.


• Buona conoscenza di Microsoft Fabric, compatibilmente alla gioventù della tecnologia.


• Proficienza in Python e SQL per lo sviluppo di pipeline, manipolazione dati e scripting.


• Esperienza con framework di Big Data, in particolare Apache Spark (nativo o Py Spark)


• Esperienza nella progettazione e gestione di pipeline ETL su Data Factory.


• Conoscenza di database SQL ( NoSQL sono un plus)


Soft Skills



• Eccellenti capacità analitiche e problem-solving.


• Abilità comunicative e attitudine al lavoro in team interdisciplinari.


• Propensione al mentoring e supporto nella crescita professionale di colleghi junior.