Spécialiste en ingénierie des données

Alberta Blue Cross

$90K — $110K *
Information Technology
8 - 10 years of experience
Job Overview by Ladders

Qualifications

  • Expertise in Data Lake architectures and data governance principles
  • Strong experience in Python, PySpark with a focus on OOP and data processing libraries
  • Hands-on experience with Databricks, Delta Lake, Spark SQL, and Apache Airflow orchestration
  • Proficient in Unix/Linux environments and Bash, with knowledge of Git, DevOps, and CI/CD
  • Bachelor's degree in Computer Science, Software Engineering, or related field
  • At least 10 years of directly related experience
  • Familiarity with DBT, relational/non-relational databases, Databricks Unity Catalog, and cloud principles (Azure, AWS, GCP)
  • Bilingual in French and English, capable of communicating with external partners.

Responsibilities

  • Design, develop, and maintain automated data pipelines using Apache Airflow and Bash
  • Implement processing solutions with Python, leveraging PySpark within Databricks
  • Integrate diverse data sources (APIs, relational databases, files) into cloud environments
  • Ensure data quality, governance, and security, handling related projects like cataloging and monitoring
  • Serve as an organizational benchmark, collaborating with IT and business teams to understand needs and propose solutions
  • Document processes, architectures, and best practices for data handling
  • Participate in code reviews and support continuous improvement and CI/CD initiatives.

Benefits

  • Hybrid work environment with planned office presence
  • Paid vacation from the first year
  • Opportunities for internal advancement
  • Annual bonus program
  • Comprehensive collective insurance plan (dental, vision, travel)
  • Defined benefits pension plan
  • Employee wellness account of $400, employee assistance program, and telemedicine services.
Full Job Description
Description du poste

Relevant du Directeur du développement, vous serez responsable de :
  • Concevoir, développer et maintenir des pipelines de données automatisés (Apache Airflow, Bash)
  • Implémenter des solutions de traitement avec Python, PySpark et travailler dans l'environnement Databricks
  • Intégrer des données provenant de sources variées (API, bases relationnelles, fichiers) dans des environnements infonuagiques
  • Assurer la qualité, la gouvernance et la sécurité des données et prendre en charge les projets liés (catalogage, monitoring, audit)
  • Fait figure de point de repère organisationnel dans son secteur d'activités et collabore avec les équipes TI et affaires pour comprendre les besoins, proposer des solutions adaptées et produire des jeux de données fiables et performants
  • Documenter les processus, architectures et bonnes pratiques
  • Participer aux revues de code, à l'amélioration continue et à l'intégration continue (CI/CD)


Profil
  • Connaissance des architectures Data Lake, couches sémantiques et principes de gouvernance des données
  • Solide expérience en Python (POO, bibliothèques de traitement), PySpark et concepts de traitement distribué
  • Expérience pratique avec Databricks (workflow, bundle), Delta Lake, Spark SQL et orchestration avec Apache Airflow
  • Maîtriser les environnements Unix/Linux, Bash et familiarité avec Git, DevOps et CI/CD
  • Posséder un diplôme en informatique, génie logiciel ou domaine connexe
  • Avoir cumulé 10 ans d'expérience directement liée au poste
  • Expérience avec DBT (Data Build Tool) et bases de données relationnelles/non relationnelles, certaine expérience avec Databricks Unity Catalog et des environnements cloud (Azure, AWS, GCP) ainsi que des principes de sécurité et de gouvernance des données (atout)
  • Maîtriser le français et l'anglais, tant à l'oral qu'à l'écrit. Un niveau de connaissance fonctionnel de l'anglais est nécessaire afin de communiquer à l'occasion avec des fournisseurs et des partenaires situés à l'extérieur du Québec.


Pourquoi nous choisir
  • Travail hybride adapté aux exigences du poste avec présences planifiées au bureau
  • Vacances dès la première année
  • Possibilité d'avancement à l'interne
  • Boni annuel
  • Régime d'assurance collective (soins dentaires, vue et assurance voyage)
  • Régime de retraite à prestations déterminées
  • Bien être des employés : compte mieux-être de 400 $, programme d'aide aux employés et à leurs familles et service de télémédecine


#li-Hybrid

Similar Jobs

More Jobs at Alberta Blue Cross

More Information Technology Jobs

Find similar Spécialiste en ingénierie des données jobs: