Le Secrétariat a présenté au conseil d'administration l'état d'avancement du nouveau cadre de suivi et évaluation (S&E). Des consultations techniques sont en cours depuis près d'un an, impliquant plus de 300 experts externes. Le nouveau cadre comprend trois niveaux d'indicateurs: l'impact, les résultats de la stratégie et les résultats financiers. Dans leurs déclarations, les circonscriptions ont félicité le Secrétariat pour ses efforts mais ont relevé certains domaines clés qui, selon elles, nécessitent des améliorations.
Les informations utilisées dans le présent article proviennent des documents de la réunion du conseil d'administration qui s'est tenue du 10 au 12 mai 2021, ainsi que des discussions du conseil d'administration et des commentaires des circonscriptions.
Processus d'élaboration du nouveau cadre de S&E
Quatre ateliers dont trois externes et un interne, ont été planifiés entre septembre 2021 et août 2022 pour permettre de mener des consultations qui alimenteront la conception et la rédaction du prochain cadre de S&E. Alors que l'objectif du premier atelier était d'identifier les mesures à conserver ainsi que celles à mettre à jour ou à remplacer, les deuxième et troisième ateliers (prévus entre mars et août 2022) ont pour but d'identifier les cibles des indicateurs clés de performance (ICP) des résultats de la stratégie.
Ces consultations, auxquelles ont participé plus de 300 experts techniques, ont porté sur onze sujets: 1) VIH/sida, 2) TB, 3) paludisme, 4) intégration des systèmes résilients et pérennes pour la santé (SRPS) et renforcement des systèmes communautaires, 5) façonnage du marché/chaînes d'approvisionnement/achats, 6) production et utilisation des données, 7) équité/droits humains/égalité des sexes, 8) engagement et leadership communautaires, 9) mobilisation des ressources, financement de la santé, optimisation des ressources, 10) préparation et riposte aux pandémies (PPR), et 11) partenariats.
Une approche spécifique a été développée pour le dernier thème, les partenariats, qui met en relief la manière dont le Fonds mondial travaille avec d'autres organisations dans le cadre de la mise en œuvre de sa stratégie. Il s'agit donc de l'efficacité des processus - dans les pays et au niveau mondial - et non du contenu (le "quoi") qui est couvert par d'autres thèmes.
Participants externes
Plus de deux tiers des experts externes sont issus des pays donateurs, notamment de Genève, en Suisse, où le Programme commun des Nations Unies sur le VIH/sida (ONUSIDA) et l'Organisation mondiale de la santé (OMS) ont leur siège, et 37 % des pays de mise en œuvre, la majorité provenant d'Afrique australe et de l'Est et d'Asie, et une petite proportion d'Europe de l'Est et d'Asie centrale, d'Amérique latine et des Caraïbes, du Moyen-Orient et d'Afrique du Nord, et d'Afrique de l'Ouest et du Centre.
Il est intéressant de relever que la plupart des experts des communautés et des thématiques liées à la maladie sont issus des pays de mise en œuvre, avec une forte représentation des responsables gouvernementaux en charge de la mise en œuvre des programmes de lutte contre le paludisme, tandis que les experts techniques dans les domaines du SRPS, de la préparation et de la riposte aux pandémies, du façonnage du marché, des chaînes d'approvisionnement, de la génération et de l'utilisation des données, de l'équité, des droits humains et de l'égalité des sexes, sont majoritairement issus des pays donateurs.
Structure du nouveau cadre d'indicateurs clés de performance
Ancré dans la stratégie 2023-2028, le nouveau cadre des indicateurs clés de performance se veut plus complet et vise à corriger les lacunes antérieures en matière de mesure des progrès réalisés dans la lutte contre les trois maladies. Le nouveau cadre sera réparti en trois différents niveaux d'indicateurs - impact, résultats de la stratégie et résultats financiers - et chaque niveau correspond à un objectif clair et à une documentation et un cadre pertinents du Fonds mondial.
Par exemple, les indicateurs clés de résultats financiers seront directement liés à l'utilisation des allocations aux pays et à leur capacité d'absorption. Les indicateurs clés de résultats de la stratégie seront alignés sur les objectifs stratégiques (OS) de la stratégie 2023-2028, tandis que les indicateurs clés d'impact seront ancrés dans les mesures de l'argumentaire d'investissement.
Cette démarche répond à la nécessité de garantir la cohérence et la pertinence des indicateurs et de les relier étroitement à la future théorie du changement (TOC) de la stratégie.
Figure 1: Les trois niveaux d'indicateurs
Source: Document du conseil d'administration GF/B47/15
Théorie du changement de la stratégie du Fonds mondial
Selon la théorie du changement, l'impact ultime est l'élimination du VIH, de la tuberculose et du paludisme dans le cadre de l'objectif de développement durable n°3 ("Assurer la santé et le bien-être de tous à tous les stades de la vie"). Pour atteindre cet objectif, le Fonds mondial consolide le partenariat avec toutes les parties prenantes afin d'accélérer l'appropriation par les pays non seulement de la lutte contre les trois maladies, mais également du renforcement des systèmes de santé nationaux en vue de garantir un accès équitable pour tous.
Dans la nouvelle stratégie 2023-2028, dix nouveaux engagements ("changements clés" ou "pistes de changement" ou "mini-théories du changement") ont été identifiés: 1) Se concentrer davantage sur la prévention à présent que des progrès ont été réalisés pour sauver des vies, 2) Des services plus complets, centrés sur les personnes, qui rentrent dans le cadre du SRPS, 3) Un appui plus systématique aux systèmes communautaires, 4) Renforcer la voix unique des personnes vivant avec les trois maladies, 5) Intensifier la lutte contre les obstacles tels que les barrières liées au genre, les inégalités et les violations des droits humains, 6) Une meilleure viabilité aux niveaux financier et programmatique, 7) Un meilleur accès à des solutions innovantes pour les personnes les plus nécessiteuses, 8) La priorité à la prise de décision basée sur les données, 9) La reconnaissance du partenariat avec le Fonds mondial et une répartition claire des rôles et des responsabilités, 10) Un modèle de financement efficace. Vous pouvez lire les détails de la théorie du changement régissant la mise en œuvre de la nouvelle stratégie dans notre récent article disponible ici.
Processus d'identification des indicateurs clés de performance
Le premier atelier a permis d'élaborer une liste complète d'indicateurs conçus pour être intégrés à la fois dans le cadre des indicateurs clés de performance au niveau mondial et dans le cadre modulaire au niveau des pays utilisé pour l'élaboration des demandes de financement.
Le cadre modulaire détermine les principaux domaines de programmation pour chaque subvention. Il présente un aperçu de la conception du programme et de toutes les activités décrites dans la demande de financement jusqu'à leur mise en œuvre, et il relie les interventions aux données financières. Le cadre de performance qui en résulte est basé sur le cadre modulaire.
Les indicateurs du cadre des ICP sont axés sur la mesure des activités et de la performance du Fonds mondial et sont utilisés pour soutenir les décisions au niveau de la direction et communiquer les progrès aux bailleurs de fonds et aux autres parties prenantes. Ils sont définis pour une période de six ans correspondant à la durée de la stratégie du Fonds mondial.
Les indicateurs du cadre modulaire permettent de mesurer la performance des subventions pour les interventions des programmes de lutte contre le VIH, la TB et le paludisme et le SRPS. Ils sont utilisés pour le suivi et la supervision de la mise en œuvre des subventions et pour communiquer les progrès aux responsables de mise en œuvre et aux partenaires dans les pays. Ces indicateurs couvrent les trois années du cycle de subvention.
Bien que ces deux ensembles d'indicateurs interviennent à des niveaux différents (mondial et pays), ils doivent néanmoins être alignés afin d'éviter toute discordance concernant la manière dont le Fonds mondial mesure les performances à ces deux niveaux. Par exemple, il existe actuellement 15 éléments de mesure communs à chacun des deux cadres.
Figure 2: indicateurs communs
Les indicateurs sont évalués sur la base d'une série de questions systématiques fondées sur les principes suivants: importance, intégration, redevabilité, capacité d'action et disponibilité. Les ICP actuels peuvent être modifiés, supprimés ou de nouveaux indicateurs peuvent être ajoutés.
Points clés identifiés par les parties prenantes
Les circonscriptions ont salué les efforts de consultation déployés en vue de l'élaboration d'un nouveau cadre d'indicateurs clés de performance. Ils ont apprécié le processus complexe mené de manière approfondie et participative. Cependant, ils ont formulé plusieurs observations sur les moyens de l'améliorer :
Le délai très court est une préoccupation partagée par la plupart des circonscriptions. La présentation finale au Conseil d'administration est prévue en novembre 2022, ce qui signifie que le temps imparti aux discussions pourrait s'avérer insuffisant pour permettre des débats approfondis sur les questions clés. Et si, de ce fait, le conseil d'administration estime qu'il est nécessaire de disposer de plus de temps et n'approuve pas le nouveau cadre des ICP à cette date, la mise en œuvre de la nouvelle stratégie du Fonds mondial pourrait commencer sans aucun ICP.
Malgré le niveau élevé des consultations avec les experts externes, certaines circonscriptions ont estimé qu'une discussion strictement au sein du conseil d'administration reste cruciale pour s'assurer de la pertinence des indicateurs de performance clés, afin de permettre une évaluation adéquate de l'impact du Fonds mondial. Les experts externes peuvent ne pas avoir le même niveau de familiarité avec le Fonds mondial et de connaissance de celui-ci, d'où l'importance d'un débat au sein du Conseil d'administration.
En dépit du manque de disponibilité des données dans certains pays, les parties prenantes préconisent vivement la mise en place d'un cadre solide. L'élaboration de la méthodologie la plus appropriée est prioritaire dans la mesure où les systèmes de données peuvent être renforcés pour garantir la disponibilité des données. Elles ont suggéré de dresser la carte des indicateurs clés de performance à partir de sources telles que les systèmes nationaux d'information sanitaire, les enquêtes/évaluations et d'autres outils.
Les circonscriptions ont également posé la question de savoir comment la qualité des indicateurs serait évaluée et garantie et ont sollicité des informations supplémentaires telles que des évaluations qualitatives.
Elles ont accueilli avec satisfaction l'achèvement de la théorie de changement de la stratégie du Fonds mondial et ont noté que celle-ci constitue un outil permettant d'identifier les vulnérabilités potentielles du modèle opérationnel du Fonds mondial.
Enfin, les parties prenantes ont noté que la terminologie du Fonds mondial est très complexe et que des efforts doivent être consentis pour rendre les indicateurs clairs pour tous à tous les niveaux de mise en œuvre.
Discussions du conseil administration
Le processus minutieux d'élaboration du cadre de S&E et la très bonne qualité des données recueillies ont été appréciés. Mais, une fois de plus, des préoccupations ont été exprimées au sujet des délais serrés compte tenu de ce qui reste à faire. Certains participants ont mentionné la nécessité d'utiliser les données de performance des subventions pour obtenir des résultats. La collecte de données plus précises et exactes dans le secteur des droits humains a également été recommandée. En outre, la question de la sous-performance a été soulevée. Les membres du Conseil d'administration ont demandé de continuer à mesurer les indicateurs qui permettent d'évaluer les progrès dans des domaines essentiels mais difficiles, tels que l'IPTP3 (femmes recevant au moins trois doses de traitement préventif intermittent [TPI]), dont les résultats sont constamment insuffisants. Ils ont également sollicité la création d'un marqueur d'égalité entre les sexes et une meilleure mesure des performances relatives aux droits humains.
Le document du Conseil d'administration Update on M&E and KPI Framework Development, devrait être disponible très prochainement sur le site https://www.theglobalfund.org/en/board/meetings/47/.
