Psychometrician
Exams Quality Assurance (EQA)
Permanent

Reporting to the Manager, Exam Quality and Analytics, the Psychometrician supports the assessments of specialty physicians by providing advice that guides and informs the direction of exam development, exam quality improvement, and assessment practices to ensure fair and valid assessments.

Reporting to the Manager of Exam Quality and Analytics, the psychometrician is responsible to apply expert knowledge of testing, educational and psychological measurement, and assessments to support the mission of the Royal College of assessing specialty physicians. They contribute to the strategic direction of exam development, exam quality improvement, and assessment methodologies/practices. The psychometrician provides expertise regarding the technical measurement aspects of assessments. They apply expert knowledge as a psychometrics professional with an in-depth understanding of statistical and / or other analysis techniques designed to support psychometric and other research projects of broad scope and complexity.

Here's an insight into your typical day-to-day:
• Contributes to the conceptualization and development of Royal College exam preparation resources (EPR) and exams based on an understanding of each medical specialty by providing expertise in psychometric measurement principles and quantitative analysis to ensure the utility, validity, and reliability of Royal College exams.
• Provides expert advice and sets the direction of EPR and exam development, exam quality, and assessment practices (e.g., standard setting, rater calibration) by leading the development of position papers, best practices, policies, procedures, and examination/assessment tools based on identified needs to ensure that the exams continue to adhere to acceptable professional standards for certification assessment.
• Leads quantitative research activities by overseeing the collection, analyzing, and reporting of data, collaborating with project teams, and writing reports to ensure the continued quality, reliability, and validity of Royal College exams.
• Leads the production of and/or produces psychometric reports that present examination result information by overseeing the collecting, transforming, and formatting of examination data to inform stakeholders (candidates, boards, committees, Royal College leadership, legal) of exam results and performance.
• Provides oversight and expertise on the development of EPR & exam quality improvements and assessment practices by collaborating and maintaining liaison with fellows, medical educators and organizations involved in medical education/assessment to improve examination and assessment approaches and methods.
• Counsels' stakeholders (boards, committees, Royal College leadership and staff, legal) on how to addresses the evolving needs of the exams by researching and suggesting new and innovative psychometric techniques to influence exam boards/committees in determining the most appropriate and optimal methodologies to be used for their examinations.
• Leads research initiatives and academic publication within the milieu of examinations and/or assessment practices by producing works grounded in relevant theories and applies applicable methodological approaches to publish and disseminate research.
• Collaborates and maintains liaison with fellows, medical educators and sister and international organizations involved in medical education to organize and advance effective assessment approaches and methods by attending and/or presenting at conferences, collaborating on research projects, and publishing research.

Does this sound like you?
• Level of education, training, and experience equivalent to a Ph.D. with expertise in evaluation in education, 3 years of demonstrated experience in assessment.
• Operational testing experience in high stakes assessment and computer-based testing.
• Advanced understanding of, and the ability to use, statistical analysis software and databases.
• Demonstrated experience in developing and implementing assessment initiatives.
• Demonstrated ability in developing evaluation tools, policies, and initiatives.
• Writing, communication and interpersonal skills for concise and clear expression and the ability to lead interactive educational activities.
• Efficiency and skill in assimilating, organizing and outlining information and statistical material and in the use of computer technology.
• Organizational and time-management skills to deal with concurrent activities, the management of multiple priorities and the meeting of deadlines.
• Superior analytical skills, accuracy, and careful attention to detail in handling quantitative material.
• Capacity for independent action and problem-solving.
• Travel: Occasional 2-5 times per year.

How to get noticed?
Please apply through our UKG recruitment platform with your résumé, covering letter and salary expectations by August 3, 2026.

The Royal College supports a hybrid work environment which includes a combination of working both onsite in Ottawa and from home.

Band 9 - Salary ranges from $103,846.00 to $155,871.00

Psychométricien ou psychométricienne
Assurance de la qualité des examens
Poste permanent

Les statistiques et les évaluations vous passionnent? Vous désirez contribuer au système de soins de santé canadien? Si c'est le cas, nous avons un rôle enrichissant à vous proposer. Vous contribuerez au processus d'évaluation des médecins spécialistes et orienterez l'élaboration des examens, l'amélioration de la qualité des examens et les pratiques d'évaluation au Collège royal. Date limite : 3 aoøt 2026.

Relevant du ou de la gestionnaire de la qualité et de l'analytique des données des examens, vous contribuerez au processus d'évaluation des médecins spécialistes en fournissant des conseils qui orientent la conception des examens, l'amélioration de la qualité des examens et les pratiques d'évaluation afin d'assurer la validité et l'équité des évaluations.

À ce titre, vous serez aussi responsable d'appliquer vos connaissances spécialisées en matière de tests, de mesure de données pédagogiques et psychologiques et d'évaluation afin d'appuyer la mission du Collège royal, qui consiste entre autres à évaluer les médecins spécialistes. Vous contribuerez à l'orientation stratégique de l'élaboration des examens, de l'amélioration de la qualité des examens ainsi que des méthodologies et pratiques d'évaluation. Vous fournirez une expertise au sujet des aspects techniques de mesure des évaluations. Vous tirerez profit de vos connaissances spécialisées en psychométrie et de votre compréhension approfondie des techniques statistiques ou d'autres techniques d'analyse conçues pour appuyer des projets de recherche psychométrique et d'autres projets d'une grande portée et complexité.

Aperçu de vos tâches quotidiennes
• Contribuer à la conceptualisation et à l'élaboration des ressources préparatoires et des examens du Collège royal à la lumière d'une compréhension des spécialités médicales en partageant votre connaissance approfondie des principes de mesure psychométrique et de l'analyse quantitative pour assurer l'utilité, la validité et la fiabilité des examens du Collège royal.
• Procéder à l'analyse psychométrique des données d'examen et à des études d'assurance de la qualité pour assurer l'intégrité et la qualité des données.
• Produire des rapports psychométriques qui présentent les résultats d'examen afin que les personnes candidates, les membres des comités et les têtes dirigeantes du Collège royal puissent en prendre connaissance.
• Orienter la direction de l'élaboration des examens, de l'amélioration de la qualité des examens et des pratiques d'évaluation du Collège royal afin d'assurer le caractère valide et équitable des examens.
• Contribuer à la prise de décisions concernant la conception et les résultats des examens afin d'en assurer la fiabilité et la qualité.
• Aider les partenaires internes et externes à concevoir des examens justes et valides en les guidant dans l'application des pratiques exemplaires et des politiques du Collège royal.

Ce profil vous correspond?
• Scolarité, formation et expérience équivalentes à une maîtrise en statistiques, en mathématiques, en éducation ou en psychologie.
• Six ans d'expérience de l'analyse statistique.
• Connaissance approfondie des techniques paramétriques et non paramétriques et des techniques de régression, ainsi que d'au moins un logiciel de statistiques (p. ex., SAS, SPSS, Stata, R); et connaissance ou expérience des systèmes de base de données relationnelles (p. ex., SQL, MS Access).
• Expérience de la gestion de données et de bases de données, compétences analytiques et connaissance de la méthodologie statistique.
• Minutie exceptionnelle dans le traitement de l'information et des données quantitatives.
• Expérience de travail avec les résultats de données, notamment en les interprétant et en les communiquant.
• Capacité de communiquer des idées complexes en termes simples et de les présenter à différents auditoires.
• Connaissance approfondie des applications Microsoft Office (Excel, Word, Outlook, etc.)

Pour postuler
Veuillez poser votre candidature dans la plateforme de recrutement UKG, et joindre votre curriculum vitæ, une lettre de motivation et vos attentes salariales d'ici le 3 aoøt 2026.

Le Collège royal favorise un milieu de travail hybride, combinant le travail sur place à Ottawa et le travail à domicile.

Échelon 9 - salaire de 103 846 $ à 155 871 $