Évaluation
NIRAS compte de nombreux évaluateurs très expérimentés au sein de son personnel et de ses réseaux d'experts, et dispose d'une longue expérience dans la réalisation d'évaluations de tous types et de toutes tailles - y compris des évaluations d'impact, de processus et d'optimisation des ressources, en utilisant une grande variété de méthodes. Notre expérience en matière d'expertise méthodologique comprend:
Approches fondées sur la théorie
Emploi d'évaluations réalistes, d'évaluations de développement et d'évaluations basées sur l'utilisation, ainsi que de méthodes multiples, notamment :
+ L'analyse des contributions
+ Le suivi des processus
+ Le suivi des contributions
+ Les grilles d'évaluation
+ L'analyse comparative qualitative
+ La récolte des résultats
+ Le changement le plus significatif (MSC)
+ Le protocole d'évaluation qualitative de l'impact (QuIP)
+ L'analyse de la théorie du changement (ToC)
+ L'analyse des réseaux sociaux (SNA)
+ L'analyse de l'économie politique
Méthodologies expérimentales, quasi-expérimentales et quantitatives
+ Essai contrôlé randomisé (ECR)
+ Analyse des séries temporelles interrompues (ITS)
+ Différence dans les différences (DiD)
+ Appariement des scores de propension (PSM)
Nous avons également de l'expérience dans l'application d'approches d'évaluation à différentes échelles, depuis les évaluations de projets/programmes relativement petits jusqu'aux évaluations de portfolios de produits et services et aux méta-évaluations. Nous avons une grande expérience dans la gestion de contrats-cadres d'évaluation régionaux et mondiaux, y compris le contrat-cadre suivi -évaluation (Global Evaluation Monitoring Framework Agreement - GEMFA) du FCDO britannique, les contrats-cadres de l'UE (SIEA) et de l'Agence suédoise de coopération internationale au développement (Sida) depuis 2011. Nos processus internes d'assurance qualité garantissent que nos services répondent efficacement aux besoins des clients, et nous fournissons également des services externes d'assurance qualité, notamment pour le Service d'évaluation, d'assurance qualité et d'apprentissage (EQuALS) du FCDO. Dans toutes nos évaluations, nous cherchons à intégrer le genre, l'équité et l'inclusion sociale (GESI), notamment en appliquant une optique d'intersectionnalité dans la collecte et l'analyse des données pour aider à comprendre les vulnérabilités ou les pouvoirs relatifs des groupes ou des individus.
La diffusion des résultats est un élément important de notre offre d'évaluation. Nous avons une grande expérience de la présentation des résultats de manière attrayante à différents publics en utilisant une variété de moyens de diffusion et d'outils, y compris des présentations, des webinaires, des blogs, des infographies, des vidéos et des médias sociaux.
Consultez notre exemple « Evaluating EU support to CSOs in Nepal » en cliquant sur l’image.
Une évaluation participative, itérative et adaptative du modèle BUILD de la Fondation Ford
L'initiative BUILD (Building Institutions and Networks) était un investissement quinquennal d'un milliard de dollars dans le renforcement de capacité et la durabilité à long terme de 350 organisations de justice sociale et de la société civile à travers le monde. NIRAS a mené une évaluation du développement du modèle BUILD, couvrant les bénéficiaires aux États-Unis et dans l’hémisphère Sud. Grâce à une conception participative, itérative et adaptative, l'évaluation a pu répondre de manière flexible à l'évolution de l'environnement contextuel et aux résultats émergents. Grâce à une approche mixte, l'évaluation a mis l'accent sur la communication stratégique afin de renforcer la compréhension des parties prenantes, les données probantes et l'influence pour des prises de décisions plus pertinentes.
L'évaluation a atteint des objectifs de transparence et d'apprentissage, en fournissant un retour d'information en temps réel permettant d'ajuster le programme, en mettant en évidence les questions émergentes ainsi que les impacts longitudinaux, et en renseignant la phase suivante de BUILD. L'inclusion et la diversité sont fondamentales pour l'évaluation et NIRAS en a tenu compte dans la sélection de l'équipe d'évaluation afin d'assurer une représentation juste et équilibrée. Après le lancement de BUILD 2.0 en 2021, NIRAS a mené une évaluation longitudinale de la nouvelle phase de l'initiative (voir la section Contrats phares SEA).
Évaluation de l'impact d'un important programme de résilience climatique sur la base d'un essai contrôlé randomisé (ECR)
NIRAS s'est associé à l'Institut de Développement d'Outremer (ODI) et à deux partenaires basés au Malawi (le Centre de gestion du développement et le Centre de plaidoirie et de politiques environnementales) pour assumer le rôle de Gestionnaire des connaissances et procédures et appui à la mise en œuvre (Knowledge, Policy and Implementation Support Manager - KPISM) dans le cadre du programme Building Resilience and Adapting to Climate Change (BRACC) au Malawi, financé par le FCDO et doté d'un budget de 90,65 millions de livres sterling, qui s'est déroulé de 2018 à 2023. L'activité principale réalisée par NIRAS était une évaluation à grande échelle avec des composantes quantitatives et qualitatives, englobant une évaluation d'impact utilisant une expérience contrôlée randomisée à grande échelle couvrant quatre districts.
En plus du travail d'évaluation sommative de l'impact, NIRAS a également développé des méthodes innovantes et adaptées au développement pour mettre en place une gestion adaptative continue du projet. Les résultats finaux, qui ont été bien accueillis, comprenaient un rapport d'évaluation de synthèse, des webinaires et une série de documents d'information sur les éléments clés des résultats du travail d'évaluation.
Communiquer sur le travail de la MasterCard Foundation pour lever les obstacles à la réussite des jeunes Africains talentueux dans l'enseignement supérieur
NIRAS a réalisé les évaluations à mi-parcours et finale des deux phases initiales du MasterCard Foundation Scholars Program (MCFSP) à l'Université d'Édimbourg entre 2020 et 2023. L'objectif ultime du MCFSP est de construire un réseau prospère de leaders transformateurs contribuant à la transformation sociale et économique en Afrique. Il s'agissait d'évaluations à méthodes mixtes, basées sur la théorie du changement, qui visaient à identifier les principales leçons émergentes et à informer pour la mise en œuvre continue du programme. Les évaluations ont répondu aux questions suivantes : qu'est-ce qui fonctionne bien et qu'est-ce qui fonctionne moins bien - en mesurant les changements résultant de l'intervention par des méthodes quantitatives, basées sur l'analyse des informations de gestion et la réalisation d'enquêtes en ligne - pourquoi et comment - en examinant les processus menant à ces changements et en identifiant les facteurs contextuels clés par le biais d'enquêtes qualitatives.
Lors de la collecte des données, divers canaux d'engagement ont été proposés afin d'assurer une saisie aussi complète que possible des perspectives des parties prenantes dans l’hémisphère Sud, et une attention particulière a été accordée aux impacts du programme en matière de différence entre les genres. Parallèlement aux rapports d'évaluation, NIRAS a également créé une série de produits de communication pour illustrer l'impact du programme et faire passer les messages clés de l'évaluation, notamment des infographies, un document de synthèse de haut niveau et des études de cas présentant des chercheurs individuels.
Évaluation de l'intégration par la Norvège des personnes handicapées dans la programmation de l'aide au développement
NIRAS a été chargé par NORAD (Agence norvégienne de coopération au développement) de réaliser l'évaluation de l'inclusion par la Norvège des personnes handicapées dans la coopération au développement, couvrant la période 2010-19. Il s'agissait d'une évaluation stratégique au niveau du portfolios des produits et services de l’Agence couvrant de nombreux projets et pays. L'évaluation s'est concentrée sur:
(1) l'organisation et la capacité de l'administration norvégienne à respecter les engagements normatifs liés à l'inclusion des personnes handicapées dans la coopération au développement,
(2) les résultats au niveau national dans le secteur de l'éducation au Népal, au Malawi, au Sud-Soudan et en Ouganda, et
(3) une étude approfondie des réalisations et des défis restants concernant l'inclusion des personnes handicapées dans des projets sélectionnés au Népal et au Malawi.
Une approche théorique a été utilisée, impliquant la reconstruction des théories du changement pour déterminer si les hypothèses sous-jacentes sur la manière de parvenir à l'inclusion du handicap étaient valides et efficaces. Ont également été utilisés des cadres adaptés pour évaluer l'inclusion du handicap dans l'administration de l'aide au développement (en s'inspirant du cadre de suivi de la stratégie d'inclusion du handicap des Nations unies) et pour évaluer les progrès vers l'inclusion des systèmes éducatifs dans les pays partenaires (en s'inspirant du cadre de critères de l'éducation inclusive de l'Alliance internationale pour les personnes handicapées). Cette approche a été approfondie dans les études de cas nationales, qui ont examiné dans quelle mesure les théories du changement s'alignaient sur la programmation réelle au Malawi et au Népal et permettaient d'obtenir des résultats.