En décembre 2021, le projet MOTION, une collaboration entre TIPC et EIT Climate-KIC, a pris fin. Au cours de ses deux années de collaboration étroite avec des partenaires de trois projets EIT Climate-KIC - AGIR sur NBS, SATURNE et SuSMo – MOTION a soutenu les activités de renforcement des capacités et de suivi, d'évaluation et d'apprentissage (MEL) pour renforcer leur potentiel de transformation. La première année a consisté à développer un «Théorie transformatrice du changement» pour chaque projet (Figures 1, 2 et 3). S'appuyant sur la méthodologie modulaire de TIPC, les partenaires se sont engagés dans plusieurs interactions guidées pour connecter les intrants, les activités principales et les extrants de chaque projet avec "résultats transformateurs” qui aident à tirer parti de leurs impacts souhaités. Les théories transformatrices du changement ont rendu explicite la logique et le processus de changement anticipé de chaque projet, facilitant les réflexions avec les partenaires sur la façon de l'améliorer, révélant les goulots d'étranglement, les dépendances contextuelles et les potentiels de transformation.
Figure 1 : Théorie du changement transformatrice de SuSMo : quatre voies de changement centrées sur l'engagement des parties prenantes
Figure 2 : Théorie du changement transformatrice SATURN
Figure 3 : ACT on NBS Transformative Theory of Change
Au cours de la deuxième année de MOTION, nous avons développé un plan de suivi, d'évaluation et d'apprentissage (MEL) pour chacun des trois projets, basé sur leur théorie transformatrice du changement (ToC). La première étape consistait à discuter avec les partenaires de leurs attentes en matière de MEL - par exemple, en savoir plus sur une voie de changement spécifique au sein de leur ToC ou suivre un résultat transformateur donné - et identifier collectivement les indicateurs qui pourraient être utilisés à cette fin. Dans SuSMo, les partenaires ont choisi de se concentrer sur trois voies : Engagement des parties prenantes (SE), Données pour l'évaluation d'impact (DIE), et Politique, réglementation et approvisionnement (PRP) et d'utiliser des indicateurs associés à quatre résultats transformateurs, à savoir la mise en réseau (pour surveiller la voie SE), circulation de connaissances et d'outils, apprendre/désapprendre et changements dans les attentes (tous les trois pour surveiller DIE et PRP). Dans SATURN, les partenaires ont choisi de se concentrer sur deux résultats de transformation, à savoir, circulation et montée en puissance. Celles-ci ont été choisies sur la base des points forts du projet SATURN précédemment identifiés (avec l'aide de la TdC transformatrice), ainsi que des domaines dans lesquels les partenaires voyaient un besoin d'améliorations supplémentaires. Dans ACT on NBS, les partenaires ont opté pour trois paires de Transformative Outcomes (ou "Transformative Outcomes paths") : (1) la mise en réseau et apprentissage; (2) circulation et réplication; et (3) montée en puissance et institutionnalisation.
Pour faciliter la discussion et l'identification d'indicateurs potentiels pour SuSMo, l'équipe MOTION a préparé un schéma (Figure 4) qui illustrait comment le réseau d'engagement des parties prenantes pouvait être surveillé et les outils en cours de développement à travers les deux autres voies (DIE et PRP) étaient associés à les résultats transformateurs.
Figure 4 : Schéma conceptuel pour identifier les indicateurs pour les voies SuSMo sélectionnées : engagement des parties prenantes (réseau) et données pour l'évaluation de l'impact et la politique, la réglementation et l'approvisionnement (changement des pratiques)
Lors de l'identification et de la sélection des dimensions du changement transformateur à surveiller, il est important de viser un équilibre entre leur pertinence pour obtenir un impact et la faisabilité de leur suivi au moyen d'indicateurs. Ces caractéristiques sont souvent en contradiction les unes avec les autres. En effet, les partenaires SuSMo ont identifié ce compromis, lorsqu'on leur a demandé quelles dimensions étaient les plus pertinentes et lesquelles étaient plus faciles à surveiller (Figure 5).
Figure 5 : Le compromis entre la pertinence de l'impact et la faisabilité du suivi des dimensions de changement associées aux voies sélectionnées par SuSMo
Compte tenu de cette difficulté, l'équipe MOTION a proposé de baser l'évaluation des apprentissages liés aux parcours sélectionnés et aux résultats transformateurs sur une enquête, à laquelle devaient répondre les partenaires SuSMo et SATURN. Lorsqu'elles sont bien conçues, les enquêtes contribuent à approche formative de suivi, d'évaluation et d'apprentissage que les projets ou programmes de changement transformateur exigent. Contrairement aux enquêtes traditionnelles qui cherchent souvent à caractériser l'état d'un système à un moment donné (pensez par exemple aux enquêtes socio-économiques périodiques utilisées pour décrire un quartier ou une ville, et qui visent souvent à fournir des indicateurs quantitatifs) , les enquêtes utilisées dans le cadre d'un processus formatif visent à susciter la réflexion et l'apprentissage chez les répondants. Ce type d'enquête est bidirectionnel : il crée un dialogue entre le répondant/participant et l'enquêteur. Dans un processus MEL formatif, les enquêtes sont donc un outil de collecte d'informations ou de connaissances, qui constitue la base de la réflexion, de l'apprentissage et de l'adaptation. En revanche, pour ACT on NBS, une approche alternative a été développée, consistant en l'agrégation de données/informations qualitatives collectées à travers une série d'entretiens, permettant aux participants d'approfondir les concepts et les apprentissages les plus pertinents.
Dans le cas de l'enquête, sa conception (ou « protocole », dans le jargon technique) consistait en la présentation de plusieurs déclarations sur les trois voies (SuSMo) et les résultats transformateurs (SuSMo et SATURN) qui étaient essentiels pour atteindre les résultats souhaités. répercussions. Après avoir évalué les énoncés à l'aide d'une échelle allant de « fortement en désaccord » à « fortement d'accord » (exemples dans les figures 6 à 9), les répondants ont été invités à justifier leurs choix. C'était le mécanisme clé pour induire la réflexion et l'apprentissage. Répondre à l'enquête n'était pourtant qu'une étape intermédiaire dans le processus MEL. Plus important était le processus de restitution des résultats synthétisés aux répondants. Pour SuSMo, cela a été fait par le biais d'un atelier animé par l'équipe MOTION, et dans le cas de SATURN, les résultats de l'enquête ont été synthétisés dans une vidéo en ligne (Figures 10-11).
Figure 6-9 : Exemples de résultats de l'enquête MEL de SuSMo qui ont été transmis aux répondants lors d'un atelier en ligne
Illustration 10-11 : : Exemples de résultats du sondage de SATURN qui ont été synthétisés dans une vidéo en ligne distribuée aux répondants
Enfin, l'équipe MOTION a organisé un atelier de conclusion sur le processus MEL avec SuSMo et SATURN et deux séries d'entretiens finaux avec les partenaires ACT on NBS. Ces activités ont été organisées pour fournir aux partenaires du projet un espace réflexif pour de nouvelles réflexions sur le processus global de mise en œuvre, les apprentissages réalisés et pour discuter des ambitions au-delà de la durée de vie du projet. Lors de l'atelier SuSMo, les partenaires ont discuté des plans de diffusion des outils qu'ils ont développés - par exemple, des lignes directrices pour l'évaluation et la politique de mobilité partagée, l'approvisionnement et l'évaluation. L'intention était de formaliser ce plan par le biais d'un protocole d'accord entre les partenaires SuSMo, qui inclure des tests supplémentaires et l'amélioration des outils. L'un des obstacles à l'obtention d'un impact permanent qui a été discuté par les partenaires de l'atelier était que le domaine de la mobilité partagée évoluait rapidement et constamment, de sorte que les lignes directrices pouvaient devenir obsolètes avant d'avoir été pleinement testées. Par conséquent, une leçon était que le suivi et l'évaluation continus devaient avoir lieu et devenir un élément fixe du processus, du développement de l'outil au déploiement. L'approche de suivi et d'évaluation devait être flexible, selon que l'outil était plus pratique (comme celui pour évaluer la durabilité de la mobilité partagée) ou plus théorique (comme dans le cas de la définition des principes du PRP de la mobilité partagée). Une deuxième leçon dévoilée au cours de l'atelier était que les engagements futurs ne devraient pas se concentrer sur les réalisations passées mais sur l'anticipation des tendances pour mettre à jour et améliorer les outils. À cette fin, deux objectifs ont été discutés par les partenaires : (a) la création d'un référentiel de « mémoire collective » pour les données et les matériaux collectés et créés via SuSMo, qui devait (b) constituer la base d'un observatoire partagé de la mobilité. En ce qui concerne la mise en place d'un réseau de mobilité partagée, SuSMo a pu rassembler diverses parties prenantes au niveau de la ville, mais un défi pour l'avenir serait de maintenir l'intérêt des parties prenantes - par exemple, en présentant des réussites de mobilité partagée basées sur le SuSMo outils – pour maintenir la cohésion du réseau.
A l'atelier SATURN, les éléments d'amélioration sur circulation gravitaient autour (a) de la collecte et de la synthèse de connaissances et d'expériences ; (b) l'accessibilité aux connaissances et expériences externes ; et (c) le partage de connaissances et d'expériences entre les partenaires et avec les parties prenantes. À travers ces aspects, le besoin de plus de ressources humaines et de capacités au sein du projet a été souligné comme essentiel pour les améliorer. En outre, une utilisation plus efficace des activités de diffusion et de communication ciblées telles que l'utilisation des médias sociaux pour attirer l'attention et l'intérêt a été considérée comme importante pour améliorer les résultats transformateurs sélectionnés à l'avenir. Les éléments pour s'améliorer montée en puissance centré autour de : (a) l'engagement d'acteurs externes ; (b) la valorisation des résultats du projet par les parties prenantes externes et (c) l'adoption des résultats du projet. Les aspects importants pour l'amélioration de ces éléments étaient l'engagement actif des responsables du défi (par exemple, les municipalités) dès le début du projet en vue de co-développer les produits et les résultats. Plus de ressources et un accent stratégique sur les activités d'engagement des parties prenantes, ce qui aiderait à développer des relations durables avec SATURN et ainsi à accroître l'intérêt et la demande pour les produits et les résultats du projet, était encore un autre aspect pour améliorer le résultat transformateur montée en puissance dans de futurs projets.
Au cours des derniers entretiens ACT on NBS, les partenaires ont réfléchi à la mesure dans laquelle les résultats proposés pour la phase MEL, choisis en raison de leur potentiel de transformation plus élevé sur la base de la théorie transformatrice du changement, ont été atteints. Les résultats ont montré un bon niveau de réalisation des quatre résultats suivis, mais ont également mis en évidence des défis de mise en œuvre à court terme. Par exemple, en termes de "renforcement des capacités et d'assistance technique pour une plus grande adoption des solutions basées sur la nature (SNB)" (Parcours de réseautage et d'apprentissage), ACT on NBS a obtenu de bons résultats, mais a dû faire face à deux défis majeurs : (1) bien que les partenaires aient acquis une expérience utile pour élaborer de futurs plans d'affaires, il était difficile d'engager des ressources pour le cofinancement d'événements de renforcement des capacités dans les villes ; (2) des projets plus longs (que ACT on NBS) en interaction continue avec les villes sont nécessaires pour augmenter le nombre de villes participantes et pour renforcer les capacités durables, en particulier avec les villes les moins expérimentées, ce qui pourrait nécessiter un transfert de connaissances et un soutien de la part des villes les plus expérimentées . La même chose a également été exprimée pour les résultats liés à la 'Voie de mise à l'échelle et d'institutionnalisation'. Pour parvenir à l'institutionnalisation (par exemple, des politiques incitant à des projets bancables de solutions basées sur la nature), un réseau plus intégré de villes mettant en œuvre des solutions basées sur la nature est nécessaire, avec des capacités et un savoir-faire plus élevés transférés des villes les plus avancées vers les villes les moins avancées. Les résultats du projet MOTION ont également montré que la théorie transformatrice du changement constituait un outil très pratique lors des dernières étapes d'ACT on NBS en 2021, dans le contexte de l'ensemble du processus interactif, comme l'ont exprimé les personnes (anonymes) interrogées :
"La collaboration avec MOTION a été comme un sauvetage […] non seulement grâce à la capacité de la théorie transformatrice du changement à retracer notre travail avec les municipalités, mais aussi grâce à la systématisation du transfert de connaissances sur le changement transformateur."
"Très utile pour affiner et traduire nos idées initiales sur ce que devrait faire un écosystème d'innovation, un peu plus ciblé avec des buts et des objectifs que vous devez articuler autour des résultats transformateurs."
"Grâce à la collaboration avec le projet MOTION, nous [les partenaires d'ACT on NBS] discutons de l'opportunité et de la manière de continuer à collaborer dans le cadre d'un futur partenariat."
Les informations recueillies tout au long de l'interaction MOTION éclaireront la coproduction d'une théorie du changement transformatrice améliorée pour ACT sur NBS, qui peut être utilisée pour fournir aux initiatives futures des capacités de transformation plus élevées pour la mise à l'échelle des solutions urbaines basées sur la nature.
En fin de compte, les interactions de MOTION avec SuSMo, SATURN et ACT on NBS ont abouti à un partenariat réussi. MOTION a piloté et développé la méthodologie TIPC, en incorporant et en appliquant le cadre conceptuel Transformative Outcomes. Inversement, le partenariat a conduit à deux contributions clés de MOTION à SuSMo, SATURN et ACT on NBS : (a) la systématisation du processus spécifique de chaque projet (activités, résultats, extrants et impact) dans une théorie transformatrice du changement, qui a permis aux partenaires du projet pour voir comment ils s'intègrent et contribuent au système qu'ils cherchent à transformer, et (b) sur la base de cette théorie du changement transformatrice, les partenaires ont pu tirer des idées et des leçons d'apprentissage de second ordre sur la manière de diffuser les produits/résultats des projets et comment aborder de futurs projets (similaires) afin d'améliorer leur potentiel de transformation.
La série de blogs MOTION
Blogue 1 : Déplacer la recherche appliquée en ligne pendant la crise du coronavirus : l'expérience MOTION
Blogue 2 : Renforcement des capacités MOTION : Comment développer une théorie du changement pour la transformation des systèmes ? Notre session de formation à l'International Sustainability Transitions Conference (IST) 2020
Blogue 3 : Un Récit sur la transformation vers une gestion durable de l'utilisation des terres : le portefeuille d'actions de SATURN
Blogue 4: Quand les résultats transformateurs rencontrent une théorie du changement : rendre les expériences politiques plus transformatrices avec MOTION
Blogue 5 : Suivi, évaluation et apprentissage pour les projets de changement transformateur : leçons tirées de la collaboration de MOTION avec SuSMo, SATURN et ACT on NBS
Blogue 6 : MOTION Engagement Citoyen Vers des Villes Durables
Blogue 7 : Résultats et réflexions du projet MOTION