« C'était comme des montagnes russes dans un orage ! Une fois… la familiarité grandit, il était plus facile de parler de concepts. J'ai trouvé la dynamique praticien-universitaire si fascinante. Je suis tellement reconnaissant pour cette expérience.
L'évaluation vient à la fin, n'est-ce pas ? Parallèlement à l'apprentissage? Et les résultats du projet ? Pas avec la méthodologie et l'approche TIPC. Elle n'accepte pas cette conceptualisation linéaire de la MEL. L'approche TIPC vise à faire les choses différemment - et non pas à faire comme si de rien n'était. À travers le Consortium avec l'expérimentation de politiques ou de programmes, nous repensons à la manière de suivre, d'évaluer et d'apprendre des projets, en superposant la «méthodologie TIPC».
Ensemble, les chercheurs et les décideurs examinent les pratiques politiques au microscope pour examiner et co-créer des expériences transformatrices qui aident à atteindre les objectifs de développement durable (ODD). La nouvelle « méthodologie TIPC » est un parcours d'apprentissage en plusieurs étapes qui utilise Évaluation formative comme tremplin vers Résultats transformateurs. Voici comment l'équipe du projet sur l'eau en Afrique du Sud a trouvé la nouvelle approche.
Avec la méthodologie TIPC, le suivi, l'évaluation et l'apprentissage (MEL) se produisent en continu sur place, pas aux étapes finales. Les volets MEL s'entremêlent pour constituer la force de la méthodologie. La MEL n'est pas complétée par une équipe distincte survolant, disséquant le projet à la fin avec une liste de contrôle de cases à cocher, mais par ceux qui dirigent, font, vivent, adaptent et font évoluer le projet, le programme ou la politique. Et ainsi, les résultats ont une application et une action immédiates.
La réflexion continue est tissée dans la conception MEL pour informer sur ce qu'il faut ensuite modifier ou entretenir pour obtenir des résultats transformateurs. Il est essentiel de souligner que ce processus de cocréation et l'espace pour le faire is l'essence de la méthodologie et, par conséquent, son résultat. Résonner au centre de la conception MEL vient la conviction que cette évaluation continue, avec l'ajustement nécessaire du projet, offre la plus grande opportunité de construire une voie transformatrice. La méthode est qualifiée de « théorie transformatrice du changement utilisant l'évaluation formative ».
Dans ce dernier blog de notre série, axé sur l'expérience de l'équipe de prototypage de la méthodologie TIPC dans le projet sud-africain Living Catchments Water Provision, qui s'efforce d'atteindre l'objectif de développement durable 6, nous examinons la MEL dans ce contexte et les implications pour l'innovation transformatrice. Politique (TIP) dans son ensemble.
Les réflexions proviennent d'Alex Marsh, conseiller en politique de biodiversité et d'infrastructures écologiques et Aimee Ginsburg, responsable du projet de comptabilité du capital naturel pour les infrastructures écologiques à l'Institut national de la biodiversité d'Afrique du Sud (SANBI) ; et Chux Daniels, chercheur associé au partenaire de coordination du TIPC au sein de l'unité de recherche sur les politiques scientifiques (SPRU) de l'école de commerce de l'Université de Sussex, et responsable du pôle Afrique du TIPC et de ce projet.
L'objectif central de SANBI est de réunir, pour l'Afrique du Sud, la valeur inhérente à la fois à l'infrastructure bâtie et à « l'infrastructure écologique ». Le premier blog de cette série discute plus en détail de cette approche, en examinant pourquoi il est important de considérer l'infrastructure bâtie comme égale à l'« infrastructure » naturelle. Cette perspective illustre parfaitement la théorie sociotechnique au centre de la Transformative Innovation Policy (TIP).
Ginsburg s'efforce d'aider à gérer et à guider le développement des comptes de capital naturel afin de démontrer en termes économiques la valeur de l'écologie et de la comptabilité naturelle pour la nation et le monde. Elle examine comment cela se traduit pour les objectifs de développement durable (ODD). Son rôle est de soutenir la prise de décision et l'orientation des travaux avec des preuves et des données centrées sur la comptabilité naturelle. Comme pour le projet Living Catchments Water Provision, une comptabilité naturelle est effectuée pour chaque nouveau projet. L'organisation de l'information sur l'environnement est essentielle pour lutter contre le changement climatique et la perte de biodiversité. Par exemple, le rôle de Ginsburg est d'auditer les écosystèmes et les paysages sud-africains pour comprendre comment, par exemple, ils ont pu être modifiés pour d'autres utilisations des terres affectant la biodiversité. Comme c'est le cas avec d'autres mesures mondiales telles que le produit intérieur brut (PIB), comment la normalisation peut-elle avoir lieu afin qu'il existe des moyens de mesure cohérents et transparents ? Comment ces données peuvent-elles soutenir les indicateurs et les métriques MEL dans les expériences et les projets ?
Cette normalisation mondiale pour comprendre la valeur des comptes naturels a récemment fait un bond en avant avec la nouvelle publication Système de comptabilité économique et environnementale (SEEA) cadre des Nations Unies. Celui-ci intègre des données économiques et environnementales pour mieux comprendre les liens entre l'économie et l'environnement, en soulignant la valeur que les écosystèmes apportent aux pays et à leurs habitants. Les activités MEL devront en tenir compte parallèlement au cadre des ODD. Pour la MEL dans le cadre de la méthodologie TIPC – dont une explication est détaillée dans le blog 2 de cette série – Ginsburg a une multitude de questions pertinentes :
« Où sont les limites des données ? Comment peut-il élaborer des indicateurs pour les ODD ? Comment communiquer efficacement les comptes naturels ? Comment les utilisons-nous ? Quelles sont les implications politiques ? »
Ginsburg voit le potentiel d'étendre la méthodologie TIPC à un large éventail de programmes et explique sa motivation et son intérêt pour cette nouvelle méthodologie :
« Nous développons la stratégie nationale sur la comptabilité naturelle, et je voudrais appliquer la méthodologie TIPC à ce processus de développement. De quelles autres manières pouvons-nous nous adapter pour intégrer ce que nous apprenons ? C'est pourquoi je m'intéresse au TIP et que je fais partie de l'expérience visant à intégrer la méthodologie TIPC dans notre projet Living Catchments. »
Le deuxième contributeur, Alex Marsh, décrit comment elle travaille pour la mobilisation des ressources de SANBI en travaillant stratégiquement sur des composants principaux impliquant : la pratique pour les conseils politiques et l'intégration ; façons de travailler avec les gens et les institutions pour apporter des conseils politiques fondés sur la science. Voici son implication dans le projet : «Je suis impliqué dans la troisième composante de l'approvisionnement en eau des bassins versants vivants de SANBI projet qui examine les processus publics et politiques.
L'impression initiale de Marsh sur TIP impliquait une « profonde curiosité ». Elle explique: "C'était formidable de rencontrer des gens qui pensent de cette façon. SANBI est un pionnier de l'intégration… depuis quinze ans. Cependant, nous sommes relativement peu connus dans les milieux académiques car nous n'écrivons pas d'articles. Donc, l'interaction était super; sur la façon dont la recherche peut fonctionner de manière significative dans l'espace des praticiens. Comment pouvons-nous polliniser de manière croisée ? Le processus social est essentiel. Comment permettons-nous aux expériences de changer notre façon de travailler ? Dans le secteur public, le rythme est intense. Les relations continues avec TIPC nous aident à pétrir ce que nous apprenons. »
Les discussions ont commencé par se concentrer sur la complexité de la MEL et cette nouvelle perspective - comment la conception des indicateurs de l'équipe SANBI a-t-elle changé ? Qu'est-ce qui a été appris ici ?
Tout d'abord, pour le processus, Marsh suggère :
« Je pense que nous aurions pu avoir une séance supplémentaire sur la conception d'indicateurs. Les indicateurs sont très pragmatiques et liés aux résultats du projet. Il s'agit de trouver des moyens de changer la pratique. Il est très difficile de mesurer l'impact et les résultats de manière significative. Il doit être quantitatif et qualitatif. Les histoires sont importantes pour démontrer les changements apportés par la mise en œuvre du projet ; parler d'expérience et ne pas être réductionniste.
“J'ai dû gérer les attentes autour de ce qui pourrait être un 'résultat'. Essayer de changer et de mesurer le comportement des gens à partir de nouvelles informations pour montrer l'apprentissage dans une modalité de co-apprentissage. Les produits de connaissance peuvent être réalisés de manière profondément collaborative. Produire les matériaux avec l'engagement câblé mis dans le processus fait partie du travail d'intégration que je fais. J'ai interviewé des gens et j'y retournerai pour le faire dans le cadre de la MEL.
En réfléchissant à la cocréation dans le cadre du projet, Marsh capture l'expérience de l'équipe :
« J'ai des opinions bien arrêtées là-dessus ! La première rencontre a été comme des montagnes russes dans un orage ! Je ne comprenais pas le terrain sur lequel je me trouvais et puis nous roulions. Le principe de l'établissement de la confiance est de permettre la collaboration. Peut-être que l'équipe TIPC pourrait réfléchir à la façon d'adoucir l'entrée pour trouver des moyens d'avoir des conversations avant, pour nous aider tous à nous retrouver de manière plus significative. Une fois cette familiarité accrue, il était beaucoup plus facile de parler de concepts, car vous saviez d'où venaient les gens. La dynamique praticien-universitaire m'a tellement fascinée. Je suis tellement reconnaissant pour cette expérience.
"Nous parlons beaucoup (de la perspective transformatrice), y réfléchissons dans SANBI, nous sommes un groupe de scientifiques praticiens, nous collaborons avec des universitaires mais nous ressentons très intensément la différence entre les approches et je pense que l'exploration des ensembles de compétences dans le la pièce est importante. »
"Ce que SANBI fait de mieux au monde, c'est d'opérer dans une niche consistant à utiliser un processus social profond et à pouvoir conserver un espace de manière à permettre aux gens de se sentir comme s'ils avaient leur mot à dire dans le processus."
En formulant une recommandation pour que le processus de cocréation s'épanouisse davantage, Marsh conclut : « Si nous avions jumelé nos ensembles de compétences avant le programme de travail, nous aurions pu mieux encadrer les conversations. Par exemple, nos processus sociaux profonds travaillant avec ceux des résultats transformateurs. Pour la cocréation, cela aiderait à être explicite sur nos espoirs. Cela aurait ajouté une autre couche de magie !
Ginsburg a soutenu cette observation en expliquant: « Oui, dans les premières séances, j'ai eu du mal à me situer, même si j'ai fait la lecture et « compris » la théorie – c'était le comment ? Comment tout cela s'emboîte-t-il ? Une sorte de couplage du processus TIPC et du processus d'apprentissage social (que nous utilisons) aurait pu aider à donner de l'espace pour se trouver.
Cela suggère qu'une analyse et une cartographie du processus interdépendant utilisé par les équipes d'expérimentation TIPC, avant ou dans les premières étapes du projet de prototype, seraient avantageuses pour le développement de la MEL, en particulier pour la phase de conception. Cela permettrait aux gens de « se situer » et de comprendre le contexte et le discours dans lesquels chaque équipe est intégrée. Par conséquent, cela émerge tout au long du processus, bien que l'accent mis sur cela dans l'étape « d'intégration » soit mis en évidence comme une tactique pour aider favoriser les résultats positifs plus rapidement avec l'établissement précoce de la confiance, de la sensibilisation et des relations.
Cela favoriserait la dynamique d'équipe et l'initialisation des projets. Ici, l'approche s'éloigne davantage du saut direct, de l'approche «business-as-usual» où les équipes peuvent ne pas être «formées» de manière nuancée, finalement plus productive, en accordant une attention particulière aux interactions humaines au centre. Pour que cela réussisse, il faut à la fois un engagement de temps et un élan. Avec l'expérience sud-africaine sur l'eau, car c'était la première fois que la méthodologie était testée, l'équipe TIPC était également en train d'apprendre. C'est une expérience des deux côtés.
Du côté des chercheurs du TIPC, Chux Daniels, responsable du TIP Africa Hub, a déclaré que : "Non seulement au début, il aurait dû y avoir plus de temps, mais aussi pour la session MEL elle-même par la suite". Daniels conseille d'ajouter deux sessions supplémentaires pour la MEL dans la composante finale de la méthodologie TIPC qui guide chaque expérience politique. Les sessions supplémentaires se concentreront sur le développement d'indicateurs, en plus de fournir un espace pour tester et réfléchir sur les indicateurs sélectionnés. Contemplant cela plus loin, il identifie que la tension et l'équilibre se situent entre : la ressource de temps disponible ; garder l'élan et la structure nécessaires; et explorer amplement les expériences MEL des équipes. En faisant référence à ceux-ci, Daniels termine : « De nombreux facteurs ont façonné tout cela. Ce sont les leçons auxquelles nous avons retenu notre attention. Et tout cela s'est passé en un temps où COVID a ajouté au défi ! »
Un autre aspect positif abordé dans l'interview était les «réflexions sur la réflexion». En produisant la série de blogs South Africa Water Experiment, pour donner l'occasion d'illustrer l'expérience et les points de vue des équipes, nous avons créé un espace important pour cette activité réflexive essentielle qui a été appréciée par les personnes impliquées. Ginsburg a explicitement soulevé ce point à la fin de l'interview : « J'aimerais ajouter à quel point c'est important. Ce processus d'interview et de réflexion après. Nous avons parlé de "l'intégration". Pour moi, ce débriefing « externe » est également très utile pour la prochaine étape du travail, en particulier pour la façon dont tout cela est lié à la nouvelle stratégie nationale sud-africaine sur laquelle je travaille. Des rappels et des pointeurs me viennent de cette discussion. C'est une partie importante du processus.
Marsh continue : « Un autre point lié à l'intérêt d'un débriefing conséquent est que nous avons tous été surpris par le niveau d'intensité. En équipe, nous avons fait un autre exercice de réflexion approfondie sur la façon dont cela se passait pour tout le monde, et cela nous a été très utile. Ainsi, le conseil serait que les équipes politiques intègrent cela dans le programme principal. Cette séance a été, je dois le dire, assez belle.
En plus de se concentrer sur l'équipe, Marsh et Ginsburg ont observé qu'en partageant l'expérience de l'équipe avec un public plus large, en l'occurrence au événement d'apprentissage régional en Afrique du Sud, qui a eu lieu du 20 au 22 octobre 2020 ; il y avait beaucoup d'aspects MEL positifs.
"La session du forum élargi de l'Afrique du Sud, où notre collègue, Shanna Nienaber, a parlé du programme à un public plus large, cela a ouvert l'espace pour des conversations importantes autour de - que s'est-il réellement passé ?!"
Démontrant la perspective à long terme adoptée sur le travail du TIPC et les relations positives qui ont été développées, Marsh conclut :
"Ce processus de débriefing est tellement génial aussi car nous savons que nous avons passé des années ensemble...!"
En résumant les réflexions sur les apprentissages de l'équipe, Ginsburg montre comment l'expérience éclairera d'autres domaines de travail importants en Afrique du Sud :
"Je veux développer plus clairement une théorie (transformatrice) du changement avec d'autres partenaires car c'est un exercice précieux. Il a attiré plus de facteurs à mon attention au fur et à mesure que la stratégie se développe. Nos trucs de processus social seront les rouages du travail, mais ce qui est important maintenant, c'est comment il est entrepris, et ce qu'il va accomplir. Ce sont les éléments les plus doux. La cocréation sera désormais interprétée différemment. Nous devrions réfléchir à la manière dont nous articulons la méthodologie TIPC et à la manière de l'utiliser avec d'autres partenaires tels que Statistics South Africa.
Marsh exprime avec enthousiasme ses dernières réflexions :
"Avoir de nouveaux collègues pour réfléchir à la façon dont vous travaillez sur la stratégie et la politique est la plus grande possibilité qui en découle ! Ce partenariat naissant est formidable. Avoir un champ d'experts avec qui réfléchir et avoir une communauté de pratique pour ce créneau de travail. Nous réfléchissons aux théories du changement depuis des années - comment les faire ? ! Le gouvernement dit qu'il veut plus de théories du changement, mais pas comment, c'est donc un domaine très vivant et génératif à faire avancer. Deuxièmement, avec cette théorie transformatrice du changement, j'ai eu des conversations avec des partenaires qui s'intéressent à ce que nous avons fait, qui regardent ce qui en ressort, nous cherchons à appliquer cela à la conception de programmes et de processus sur des projets plus importants. C'est assis à l'horizon. Ce cadre pourrait être puissamment appliqué. Nous aimerions également écrire avec l'équipe sur des documents de recherche. Je sais à quel point cela serait précieux à faire avec l'équipe TIPC. Pour la politique et la recherche, pour les relier ensemble pour rendre notre travail plus significatif, pour provoquer le changement que nous voulons tous voir dans le monde.
Principaux points à retenir sur la conduite d'une expérience TIP :
Pour les équipes chargées des politiques :
- Adoucissez-vous à la théorie avec plus d'activités et de temps pour établir une relation de confiance avec l'équipe du projet TIPC afin que la théorie atterrisse plus facilement et que les gens puissent s'y « localiser ». Au début, cela peut ressembler à « des montagnes russes dans un orage ! » Préparez-vous au changement de perspective et ne faites pas comme si de rien n'était.
- La confiance et une bonne collaboration sont apparues à mi-chemin du processus. Mais au début, comme pour beaucoup de choses, c'était intimidant et il y avait de l'incertitude. Alors, soyez ouvert à cela et ayez des séances de réflexion pour l'équipe intégrées au côté du projet.
- L'expérience de prototypage et l'apprentissage peuvent être intégrés à d'autres projets clés. Par exemple, l'Afrique du Sud l'applique à sa stratégie nationale pour la comptabilité du capital naturel (NCA).
Pour les équipes de recherche du TIPC :
- Pour la gestion des parties prenantes, ayez des conversations et des ateliers engagés et approfondis avec les partenaires pour discuter de leurs besoins, des attentes mutuelles de la collaboration, de leurs perceptions du TIPC et des expériences avec le MEL tout au long du processus.
- Clarifier le rôle de l'équipe TIPC (pas de consultants, mais de partenaires) et le but de la MEL pour la cocréation vers des résultats transformateurs.
- Consacrez plus de temps à la traduction des concepts, aux activités de courtage et à l'accessibilité globale. Établir un lien réitéré avec le travail et les contextes des partenaires du projet.
- Traduire les concepts théoriques en quelque chose de significatif pour les partenaires, mettre l'accent sur un processus d'apprentissage à double sens.
- Ajoutez un volet interne « apprentissage en équipe » au volet d'apprentissage.
- Impliquez les mêmes personnes dans diverses expériences politiques pour soutenir l'apprentissage et faciliter le transfert de connaissances et de compréhension.
- Utiliser et comprendre les concepts théoriques de manière similaire dans tous les projets, d'autant plus que la généralisation aide à identifier les défis communs dans différents contextes.
- Développer des outils généralisables au-delà de la durée de vie du TIPC.
Quelle belle histoire et expérience ! Bravo à TIPC et à l'équipe 👌