Job DescriptionEn tant que
Prompt Engineer, vous jouerez un rôle central dans l'amélioration de fonctionnalités d'IA générative destinées à des usages cliniques et opérationnels. Vous contribuerez à faire évoluer la qualité des générations tout en participant à la structuration des pratiques entourant le prompting au sein de l'équipe. Plus précisément, vous serez amené• e à :
- Auditer et réarchitecturer les prompts monolithiques de CoeurWay : Convertir leur structure actuelle en une chaîne modulaire de prompts ciblés et maintenables, améliorant la robustesse, la débogabilité et l'adaptabilité ;
- Diriger la sélection et l'évaluation des modèles de langue : Évaluer et appairer les modèles aux tâches de prompting spécifiques, en favorisant une approche indépendante des modèles qui réduit la dépendance aux fournisseurs et optimise la qualité et les coûts ;
- Assurer la qualité des sorties cliniques générées par l'IA : Définir les critères de qualité, identifier les modes de défaillance et piloter l'amélioration continue par des processus de validation structurés ;
- Faire évoluer et réaligner le cadre d'évaluation existant : Améliorer la couverture du cadre couvrant actuellement 7 rubriques de qualité des notes cliniques, son potentiel d'automatisation et son alignement avec la réalité clinique ;
- Établir une approche systématique de validation des sorties : Identifier les cas limites, mettre en place des tests de régression pour les modifications de prompts et documenter les limitations connues ;
- Concevoir et mettre en œuvre de nouveaux prompts et suites d'évaluation : Soutenir les nouvelles fonctionnalités de CoeurWay et MYLE EMR avec des solutions de prompting et d'évaluation appropriées ;
- Mentorer et assurer la croissance de la pratique : Mentorer les futurs concepteurs de prompts à mesure que l'équipe se développe et participer aux décisions d'embauche.
- Contribuer à la documentation et aux meilleures pratiques : Établir et maintenir la documentation interne, les normes et les meilleures pratiques en matière d'ingénierie de prompting chez MEDFAR ;
- Rester à l'affût de l'évolution du paysage des LLM : Suivre les nouveaux modèles, techniques de prompting et méthodologies d'évaluation, et partager les résultats pertinents avec l'équipe ;
- Développer une compréhension approfondie des flux de travail cliniques : Acquérir l'expertise des besoins des prestataires de soins de santé et maintenir des relations étroites avec les équipes en contact avec les clients et les utilisateurs finaux ;
- Collaborer avec l'équipe GenAIOps : Assurer que les prompts sont prêts pour la production - observables, versionnés et déployables via des processus CI/CD établis ;
QualificationsIdéalement, vous avez:
- 5 ans minimum d'expérience professionnelle en IA/ML, développement produit, linguistique computationnelle ou domaine connexe ;
- 2 ans minimum d'expérience pratique en prompt engineering dans des systèmes LLM en production, idéalement en contexte SaaS B2B ou industrie réglementée ;
- Expérience démontrée à décomposer des prompts complexes en architectures modulaires et chaînées, incluant des patterns tels que le chaînage de prompts, le routage, la réflexion ou l'utilisation d'outils ;
- Expérience dans la conception ou l'amélioration significative de cadres d'évaluation pour LLM - conception de rubriques, alignement inter-évaluateurs et analyse des modes de défaillance ;
- Forte familiarité avec les API commerciales de modèles génératifs avancés (OpenAI, Anthropic, Google, etc.) et compréhension des compromis pratiques entre elles ;
- Maîtrise avancée de l'anglais, écrit et parlé ;
- Maîtrise du français requise en raison des fréquentes interactions avec les clients ;
Atouts
- Expérience dans le domaine des technologies de l'information en santé, de la documentation clinique ou de cas d'usage liés aux soins ;
- Compréhension des concepts liés aux notes cliniques, à leur structure et à la pertinence des informations à inclure ou à exclure ;
- Expérience avec des approches d'évaluation automatisée de la qualité des générations, incluant l'utilisation de juges basés sur des LLM ;
- Expérience dans des contextes où plusieurs modèles sont utilisés selon différents besoins ou contraintes ;
- Familiarité avec les enjeux d'orchestration, de monitoring ou d'opérationnalisation de solutions de GenAI ;
- Intérêt marqué pour la création de standards, de documentation et de pratiques durables dans un domaine émergent.
- Maîtrise de Python ou d'un autre langage de programmation pour construire des pipelines d'évaluation ou des outils de prompting ;
- Expérience avec des modèles auto-hébergés ou de poids ouverts ;
Additional InformationCe que nous vous offrons:- Télétravail et flexibilité (équilibre entre vie professionnelle et vie privée).
- Contribution au REER
- Assurance collective complète dès le premier jour.
- Congé payé: 3 semaines + 1 entre Noël et le Nouvel An.
- Allocation annuelle de formation (1 500$) pour soutenir votre développement professionnel.
- Programme d'onboarding pour vous familiariser avec notre environnement et le domaine de la santé numérique
- Le matériel informatique est fourni, ainsi que d'autres équipements si nécessaire.
- Opportunités de croissance interne (promotions, mobilité interne)
- L'appui d'un comité bien-être et social, avec des initiatives favorisant la cohésion, la santé mentale et le bien-être de nos employés
Videos To Watchhttps://www.youtube.com/watch?v=ArH9I1Axyj0&t=2s
