TIPC
Suche

MONITORING, EVALUATION UND LERNEN FÜR TRANSFORMATIVE VERÄNDERUNGSPROJEKTE: LEKTIONEN AUS DER ZUSAMMENARBEIT VON MOTION MIT SUSMO, SATURN UND ACT ON NBS

Blog

Im Dezember 2021 endete das MOTION-Projekt, eine Zusammenarbeit von TIPC und EIT Climate-KIC. Während seiner zweijährigen engen Zusammenarbeit mit Partnern aus drei EIT Climate-KIC-Projekten – ACT auf NBS, SATURN und SuSMo – MOTION unterstützte Aktivitäten zum Kapazitätsaufbau und zur Überwachung, Bewertung und zum Lernen (MEL), um ihr transformatives Potenzial zu steigern. Das erste Jahr bestand aus der Entwicklung eines „Transformative Theorie des Wandels“ für jedes Projekt (Abbildungen 1, 2 und 3). Basierend auf der modulbasierten Methodik von TIPC beteiligten sich die Partner an mehreren geführten Interaktionen, um die Inputs, Kernaktivitäten und Ergebnisse jedes Projekts mit „transformative Ergebnisse“, die dazu beitragen, die gewünschte Wirkung zu entfalten. Die transformativen Theorien des Wandels verdeutlichten die Logik und den antizipierten Veränderungsprozess jedes Projekts, erleichterten Reflexionen mit Partnern darüber, wie sie verbessert werden können, enthüllten Engpässe, kontextuelle Abhängigkeiten und transformative Potenziale.

SuSMo ToC

Abbildung 1: Transformative Theory of Change von SuSMo: vier Veränderungspfade, die sich auf das Engagement der Interessengruppen konzentrieren 

SATURN ToC

Abbildung 2: Transformative Transformationstheorie von SATURN

ACT on NBS ToC

Abbildung 3: ACT zur NBS Transformative Theory of Change

Im zweiten Jahr von MOTION haben wir für jedes der drei Projekte einen Überwachungs-, Bewertungs- und Lernplan (MEL) entwickelt, der auf ihrer Transformative Theory of Change (ToC) basiert. Der erste Schritt bestand darin, mit den Partnern zu diskutieren, was ihre MEL-Erwartungen waren – zum Beispiel mehr über einen bestimmten Änderungspfad innerhalb ihrer ToC zu erfahren oder ein bestimmtes transformatives Ergebnis zu überwachen – und gemeinsam zu identifizieren, welche Indikatoren zu diesem Zweck verwendet werden könnten. In SuSMo entschieden sich die Partner dafür, sich auf drei Pfade zu konzentrieren: Stakeholder-Engagement (SE), Daten zur Wirkungsevaluierung (DIE) und Politik, Regulierung und Beschaffung (PRP) und die Verwendung von Indikatoren, die mit vier transformativen Ergebnissen verbunden sind, nämlich Vernetzung (um den SE-Weg zu überwachen), Verkehr von Wissen und Werkzeugen, Lernen/Verlernen und Änderungen in den Erwartungen (alle drei zur Überwachung von DIE und PRP). Bei SATURN haben sich die Partner entschieden, sich auf zwei Transformationsergebnisse zu konzentrieren, nämlich Verkehr und hochskalieren. Diese wurden basierend auf den zuvor (mit Hilfe des transformativen ToC) identifizierten Stärken des SATURN-Projekts sowie den Bereichen ausgewählt, in denen die Partner Bedarf für weitere Verbesserungen sahen. In ACT on NBS entschieden sich die Partner für drei Paare transformativer Ergebnisse (oder „Transformative Outcome Pathways“): (1) Vernetzung und Lernen; (2) Verkehr und Reproduzieren; und (3) hochskalieren und Institutionalisierung

Um die Diskussion und Identifizierung potenzieller Indikatoren für SuSMo zu erleichtern, erstellte das MOTION-Team ein Schema (Abbildung 4), das veranschaulichte, wie das Stakeholder-Engagement-Netzwerk überwacht werden könnte und die Tools, die über die anderen beiden Pfade (DIE und PRP) entwickelt wurden, damit verbunden waren die transformativen Ergebnisse.

Abbildung 4: Konzeptuelles Schema zur Identifizierung von Indikatoren für die ausgewählten SuSMo-Pfade: Stakeholder-Engagement (Netzwerk) und Daten für Wirkungsevaluierung und Politik, Regulierung und Beschaffung (veränderte Praktiken)

Bei der Identifizierung und Auswahl der zu überwachenden Dimensionen des transformativen Wandels ist es wichtig, ein Gleichgewicht zwischen ihrer Relevanz für das Erreichen von Wirkung und der Möglichkeit ihrer Überwachung durch Indikatoren anzustreben. Diese Eigenschaften stehen oft im Widerspruch zueinander. Tatsächlich identifizierten die SuSMo-Partner diesen Kompromiss, als sie gefragt wurden, welche Dimensionen relevanter und welche einfacher zu überwachen seien (Abbildung 5).

Abbildung 5: Der Trade-off zwischen Wirkungsrelevanz und Monitoring-Machbarkeit von Veränderungsdimensionen im Zusammenhang mit den ausgewählten Pfaden von SuSMo

Angesichts dieser Schwierigkeit schlug das MOTION-Team vor, die Bewertung der Erkenntnisse in Bezug auf die ausgewählten Pfade und transformativen Ergebnisse auf eine Umfrage zu stützen, die von den SuSMo- und SATURN-Partnern beantwortet werden sollte. Umfragen tragen bei geeigneter Gestaltung dazu bei formativer Überwachungs-, Bewertungs- und Lernansatz, den transformative Veränderungsprojekte oder -programme erfordern. Im Gegensatz zu traditionellen Erhebungen, die häufig versuchen, den Status eines Systems zu einem bestimmten Zeitpunkt zu charakterisieren (denken Sie beispielsweise an periodische sozioökonomische Erhebungen, die zur Darstellung eines Viertels oder einer Stadt verwendet werden und die häufig darauf abzielen, quantitative Indikatoren zu liefern) , versuchen Umfragen, die im Rahmen eines formativen Prozesses eingesetzt werden, Reflexion und Lernen bei den Befragten anzuregen. Diese Art von Umfrage ist bidirektional: Sie schafft einen Dialog zwischen dem Befragten/Teilnehmer und dem Umfrageteilnehmer. In einem formativen MEL-Prozess sind Umfragen daher ein Instrument zur Informations- oder Wissensbeschaffung, das die Grundlage für Reflexion, Lernen und Anpassung bildet. Im Gegensatz dazu wurde für ACT zu NBS ein alternativer Ansatz entwickelt, der aus der Aggregation qualitativer Daten/Informationen besteht, die durch eine Reihe von Interviews gesammelt wurden, wodurch die Teilnehmer tiefer in die relevantesten Konzepte und Erkenntnisse eintauchen konnten. 

Im Fall der Umfrage bestand ihr Design (oder „Protokoll“, im Fachjargon) aus der Präsentation mehrerer Aussagen zu den drei Pfaden (SuSMo) und den transformativen Ergebnissen (SuSMo & SATURN), die für die Erreichung ihres Ziels entscheidend waren Auswirkungen. Nach Bewertung der Aussagen anhand einer Skala von „stimme überhaupt nicht zu“ bis „stimme voll und ganz zu“ (Beispiele in den Abbildungen 6–9) wurden die Befragten aufgefordert, ihre Auswahl zu begründen. Dies war der Schlüsselmechanismus, um zum Nachdenken und Lernen anzuregen. Die Teilnahme an der Umfrage war jedoch ein Zwischenschritt im MEL-Prozess. Wichtiger war der Prozess der Rückmeldung der synthetisierten Ergebnisse an die Befragten. Für SuSMo erfolgte dies durch einen vom MOTION-Team moderierten Workshop, und im Fall von SATURN wurden die Umfrageergebnisse in einem Online-Video zusammengefasst (Abbildungen 10-11).

 

Abbildung 6-9: Beispiele für MEL-Umfrageergebnisse von SuSMo, die den Befragten in einem Online-Workshop mitgeteilt wurden

Abbildung 10-11: : Beispiele für Umfrageergebnisse von SATURN, die in einem Online-Video zusammengefasst wurden, das an die Befragten verteilt wurde

Schließlich führte das MOTION-Team einen abschließenden MEL-Prozess-Workshop mit SuSMo und SATURN und zwei Runden abschließender Interviews mit ACT zu NBS-Partnern durch. Diese Aktivitäten wurden organisiert, um den Projektpartnern einen reflexiven Raum für weitere Reflexionen über den gesamten Umsetzungsprozess, die erzielten Erkenntnisse und die Erörterung von Ambitionen über die Laufzeit des Projekts hinaus zu bieten. Auf dem SuSMo-Workshop diskutierten die Partner Pläne zur Verbreitung der von ihnen entwickelten Tools – zum Beispiel Leitlinien für die Bewertung und Politik der gemeinsamen Mobilität, Beschaffung und Bewertung. Es war beabsichtigt, diesen Plan durch ein Memorandum of Understanding zwischen den SuSMo-Partnern zu formalisieren umfassen weitere Tests und Verbesserungen der Tools. Ein Hindernis für das Erzielen einer dauerhaften Wirkung, das von den Partnern des Workshops diskutiert wurde, war, dass sich der Bereich der geteilten Mobilität schnell und ständig ändert, sodass die Richtlinien veraltet sein könnten, bevor sie vollständig getestet wurden. Daher war eine Lehre, dass eine kontinuierliche Überwachung und Bewertung stattfinden und ein fester Bestandteil im Prozess werden muss, von der Tool-Entwicklung bis zum Einsatz. Der Ansatz für die Überwachung und Bewertung musste flexibel sein, je nachdem, ob das Instrument eher praktisch (wie das zur Bewertung der Nachhaltigkeit von Shared Mobility) oder eher theoretische (wie im Fall der Definition der Prinzipien für PRP von Shared Mobility) war. Eine zweite Lektion, die während des Workshops enthüllt wurde, war, dass sich zukünftige Engagements nicht auf vergangene Errungenschaften konzentrieren sollten, sondern auf die Antizipation von Trends, um die Tools zu aktualisieren und zu verbessern. Dazu wurden zwei Ziele von den Partnern diskutiert: (a) die Einrichtung eines „kollektiven Gedächtnisses“ für die durch SuSMo gesammelten und erstellten Daten und Materialien, das (b) die Grundlage für ein gemeinsames Mobilitätsobservatorium bilden sollte. In Bezug auf die Einrichtung eines Shared-Mobility-Netzwerks war SuSMo in der Lage, verschiedene Interessengruppen auf Stadtebene zusammenzubringen, aber eine Herausforderung für die Zukunft würde darin bestehen, das Interesse der Interessengruppen aufrechtzuerhalten – beispielsweise durch die Präsentation von Erfolgsgeschichten der Shared Mobility auf der Grundlage der SuSMo Tools – um das Netzwerk kohärent zu halten.

Beim SATURN-Workshop werden die Elemente zur Verbesserung auf Verkehr gravitiert um (a) Sammlung und Synthese von Wissen und Erfahrung; (b) Zugang zu externem Wissen und Erfahrungen; und (c) Wissens- und Erfahrungsaustausch zwischen Partnern und Interessenvertretern. Bei all diesen Aspekten wurde der Bedarf an mehr Humanressourcen und Kapazitäten innerhalb des Projekts als Schlüssel zu deren Verbesserung hervorgehoben. Darüber hinaus wurde eine effektivere Nutzung von Zielverbreitungs- und Kommunikationsaktivitäten wie die Nutzung von sozialen Medien zum Erregen von Aufmerksamkeit und Interesse als wichtig erachtet, um die ausgewählten transformativen Ergebnisse in Zukunft zu verbessern. Die Elemente zur Verbesserung hochskalieren konzentriert sich auf: (a) Einbeziehung externer Akteure; (b) Valorisierung von Projektergebnissen durch externe Stakeholder und (c) Übernahme von Projektergebnissen. Wichtige Aspekte zur Verbesserung dieser Elemente waren das aktive Engagement der Herausforderungseigentümer (z. B. Kommunen) von Beginn des Projekts an im Hinblick auf die gemeinsame Entwicklung von Outputs und Ergebnissen. Mehr Ressourcen und ein strategischer Schwerpunkt auf Aktivitäten zur Einbindung von Interessengruppen, die dazu beitragen würden, dauerhafte Beziehungen zu SATURN aufzubauen und dadurch das Interesse und die Nachfrage nach Projektergebnissen und -ergebnissen zu steigern, waren ein weiterer Aspekt zur Verbesserung des transformativen Ergebnisses hochskalieren bei zukünftigen Projekten.

Während der abschließenden ACT on NBS-Interviews reflektierten die Partner darüber, inwieweit die für die MEL-Phase vorgeschlagenen Ergebnisse, die aufgrund ihres höheren transformativen Potenzials auf der Grundlage der Transformative Theory of Change ausgewählt wurden, erreicht wurden. Die Ergebnisse zeigten eine gute Erreichung der vier überwachten Ergebnisse, zeigten aber auch kurzfristige Herausforderungen bei der Umsetzung auf. Zum Beispiel in Bezug auf „Kapazitätsaufbau und technische Unterstützung für eine stärkere Akzeptanz naturbasierter Lösungen (NBS) (Netzwerk- und Lernpfad) erzielte ACT on NBS gute Ergebnisse, stand aber vor zwei großen Herausforderungen: (1) Obwohl die Partner Erfahrungen sammelten, die für die Entwicklung zukünftiger Geschäftspläne nützlich waren, war es schwierig, Ressourcen für die Kofinanzierung von Veranstaltungen zum Kapazitätsaufbau in Städten bereitzustellen; (2) längere Projekte (als ACT zu NBS) in kontinuierlicher Interaktion mit Städten sind erforderlich, um die Anzahl der teilnehmenden Städte zu erhöhen und dauerhafte Kapazitäten aufzubauen, insbesondere bei weniger erfahrenen Städten, die möglicherweise Wissenstransfer und Unterstützung durch die erfahreneren erfordern . Dasselbe wurde auch für Ergebnisse im Zusammenhang mit der „Upscaling- und Institutionalisierungspfad'. Um eine Institutionalisierung zu erreichen (z. B. politische Anreize für bankfähige naturbasierte Lösungen) ist ein stärker integriertes Netzwerk von Städten erforderlich, die naturbasierte Lösungen implementieren, mit höheren Kapazitäten und Know-how-Transfer von fortgeschritteneren zu weniger fortschrittlichen Städten. Die Ergebnisse des MOTION-Projekts zeigten auch, dass die transformative Theorie des Wandels in den letzten Phasen von ACT zu NBS im Jahr 2021 im Kontext des gesamten interaktiven Prozesses ein sehr praktisches Werkzeug darstellte, wie von (anonymen) Befragten ausgedrückt:

„Die Zusammenarbeit mit MOTION war wie eine Rettung […] nicht nur durch die Fähigkeit der Transformative Theory of Change, unsere Arbeit mit Kommunen zurückzuverfolgen, sondern auch durch die Systematisierung des Wissenstransfers zum transformativen Wandel.“

„Sehr nützlich, um unsere anfänglichen Ideen darüber, was ein Innovationsökosystem tun sollte, zu verfeinern und zu übersetzen, etwas zielgerichteter mit Zielen und Vorgaben, die Sie um die transformativen Ergebnisse herum artikulieren müssen.“

„Dank der Zusammenarbeit mit dem MOTION-Projekt sind wir [ACT on NBS-Partner] in Gesprächen darüber, ob und wie wir die Zusammenarbeit im Rahmen einer zukünftigen Partnerschaft fortsetzen können.“

Die während der gesamten MOTION-Interaktion gesammelten Informationen werden die Koproduktion einer verbesserten transformativen Theorie des Wandels für ACT auf NBS unterstützen, die verwendet werden kann, um zukünftige Initiativen mit höheren transformativen Fähigkeiten für die Skalierung urbaner naturbasierter Lösungen bereitzustellen.   

Am Ende des Tages führten die Interaktionen von MOTION mit SuSMo, SATURN und ACT auf NBS zu einer erfolgreichen Partnerschaft. MOTION hat die TIPC-Methodik erprobt und weiterentwickelt, indem es den konzeptionellen Rahmen von Transformative Outcomes integriert und angewendet hat. Umgekehrt führte die Partnerschaft zu zwei wichtigen Beiträgen von MOTION zu SuSMo, SATURN und ACT zu NBS: (a) die Systematisierung des spezifischen Prozesses (Aktivitäten, Ergebnisse, Outputs und Auswirkungen) jedes Projekts in einer transformativen Theorie des Wandels, die es den Projektpartnern ermöglichte um zu sehen, wie sie in das System passen und zu dem System beitragen, das sie transformieren möchten, und (b) auf der Grundlage dieses transformativen Inhaltsverzeichnisses konnten die Partner Erkenntnisse und Lehren zweiter Ordnung darüber ziehen, wie die Ergebnisse/Ergebnisse aus den Projekten verbreitet werden können und wie man zukünftige (ähnliche) Projekte angeht, um deren Transformationspotential zu verbessern.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.