5-7 years of experience in data science or a related field
Strong understanding of renewable asset data and signal behavior
Proficiency in designing and conducting experiments for model evaluation
Experience with GPU-based training and scaling models
Ability to collaborate effectively with software and data engineers
Familiarity with data quality standards and troubleshooting
Knowledge of LLM-based evaluation approaches
Responsibilities
Design and implement evaluation frameworks for foundational models, including metrics and backtesting protocols
Build and maintain a reliable evaluation bench with automated comparisons
Conduct experiments to inform training decisions, such as data mixtures and normalization strategies
Quantify business value of models through pilot use cases
Report performance metrics by asset class and analyze failure modes using shadow validation
Understand renewable asset data intricacies, including operational events and anomalies
Collaborate with engineers to set data quality standards and interfaces
Identify and address data quality issues across the portfolio
Support scaling architecture decisions with evidence-based approaches
Contribute to large-scale GPU training planning and execution
Ensure model training is linked to configurations and evaluation results
Evaluate integration of new data types, like drone imagery, into models
Design evaluation approaches for expanded use cases based on LLMs
Work closely with internal data science leads and document decision-making processes
Benefits
Flexible working hours
Opportunities for professional development
Collaborative work environment
Access to cutting-edge technology
Health and wellness programs
Full Job Description
RESPONSABILITÉS Évaluation et expérimentation
Concevoir et piloter le cadre d'évaluation du modèle de fondation de PF : métriques, références de comparaison (baselines), protocoles de backtesting et critères d'acceptation alignés sur les besoins des clients
Construire et maintenir un banc d'évaluation fiable et reproductible, avec comparaison automatisée aux références
Concevoir et mener des expériences sur les données et la modélisation afin d'éclairer les décisions d'entraînement, telles que les mélanges de données, le dimensionnement du contexte et de l'horizon, la stratégie de normalisation et les choix de recette d'entraînement
Concevoir des expériences permettant de quantifier la valeur métier du modèle pour des cas d'usage pilotes
Rendre compte des performances par classe d'actifs, par équipementier (OEM) et par tranche de capacité nominale, et étudier les modes de défaillance au moyen de la validation en mode " shadow "
Données et domaine
Acquérir une compréhension approfondie des données des actifs renouvelables, notamment le comportement des signaux, les événements d'exploitation et la distinction entre les véritables anomalies et le fonctionnement normal, comme le bridage (curtailment)
Collaborer avec l'ingénieur logiciel/données pour définir les standards de qualité des données et l'interface entre la plateforme de données et le pipeline d'entraînement
Identifier, caractériser et traiter les problèmes de qualité des données à l'échelle du parc
Passage à l'échelle et entraînement
S'appuyer sur l'architecture existante au fur et à mesure de son évolution, en veillant à ce que chaque décision de montée en charge soit étayée par des preuves
Contribuer à la planification et à l'exécution des entraînements à grande échelle sur GPU, aux côtés de l'équipe d'ingénierie
S'assurer que chaque modèle entraîné est lié à sa configuration, à la version de son jeu de données, à la version de son code et à ses résultats d'évaluation
Capacités futures
Aider à évaluer l'intégration de nouveaux types de données, tels que les rapports d'imagerie par drone et les rapports d'inspection, dans le modèle
Concevoir des approches d'évaluation pour des cas d'usage élargis fondés sur les LLM
Collaboration et communication
Travailler en étroite collaboration avec le responsable data science interne et l'ingénieur logiciel/données
Rédiger des notes de décision concises indiquant ce qui a été testé, ce qui a été constaté et ce qui a changé en conséquence
Documenter les procédures d'évaluation et les résultats expérimentaux selon un niveau de qualité permettant à l'ensemble de l'équipe de fonctionner et d'itérer de manière autonome
