Blog 3: Monitoring, Evaluation & Learning (MEL) aus einem Testprojekt zur transformativen Innovationspolitik: Reflexionen aus dem südafrikanischen Wasser- und Biodiversitätsprogramm

„Es war wie eine Achterbahnfahrt im Gewitter! Sobald… die Vertrautheit gewachsen war, war es einfacher, über Konzepte zu sprechen. Ich fand die praktizierende-akademische Dynamik so faszinierend. Ich bin so dankbar für diese Erfahrung.“

Die Bewertung kommt am Ende, oder? Zusammen mit dem Lernen? Und die Ergebnisse des Projekts? Nicht mit der TIPC-Methodik und dem Ansatz. Es akzeptiert diese lineare Konzeptualisierung von MEL nicht. Beim TIPC-Ansatz geht es darum, Dinge anders zu machen – nicht „business-as-usual“. Im gesamten Konsortium mit Politik- oder Programmexperimenten denken wir erneut darüber nach, wie Projekte überwacht, bewertet und aus ihnen gelernt werden können, wobei wir die „TIPC-Methodik“ überlagern.

Gemeinsam untersuchen Forscher und politische Entscheidungsträger die politische Praxis, um transformative Experimente zu untersuchen und mitzugestalten, die dazu beitragen, die Ziele für nachhaltige Entwicklung (Sustainable Development Goals, SDGs) zu erreichen. Die neu entwickelte „TIPC-Methodik“ ist eine mehrstufige Lernreise, bei der Formative Evaluation als Sprungbrett in Richtung Transformative Ergebnisse. So fand das südafrikanische Wasserprojektteam den neuen Ansatz.

Mit der TIPC-Methodik geschieht Monitoring, Evaluation & Learning (MEL) kontinuierlich vor Ort, nicht in der Endphase. Die MEL-Stränge verweben sich durchgehend, um die Stärke der Methodik auszumachen. MEL wird nicht von einem separaten Team vervollständigt, das über dem Projekt schwebt und das Projekt am Ende mit einer Check-Box-Checkliste analysiert, sondern von denen, die das Projekt, Programm oder die Politik betreiben, tun, leben, anpassen und weiterentwickeln. Und so haben die Erkenntnisse sofortige Anwendung und Wirkung.

Kontinuierliche Reflexion ist in das MEL-Design eingewoben, um zu informieren, was als Nächstes zu transformativen Ergebnissen optimiert oder gefördert werden muss. Es ist wichtig zu betonen, dass dieser Ko-Kreationsprozess und der Raum dafürS das Wesen der Methodik und damit ihr Ergebnis. Aus dem Zentrum des MEL-Designs geht die Überzeugung hervor, dass diese kontinuierliche Bewertung mit der notwendigen Feinabstimmung des Projekts die größte Chance bietet, einen transformativen Weg zu bauen. Die Methode wird als „Transformative Theorie des Wandels mit formativer Evaluation“ bezeichnet.

In diesem abschließenden Blog unserer Serie, der sich auf die Erfahrungen des Teams konzentriert, das die TIPC-Methodik im South African Living Catchments Water Provisioning-Projekt, das darauf abzielt, das Ziel 6 der nachhaltigen Entwicklung zu erfüllen, prototypisch ist, untersuchen wir MEL in diesem Zusammenhang und die Auswirkungen auf Transformative Innovation Richtlinie (TIP) als Ganzes.

Die Überlegungen stammen von Alex Marsh, Politikberater für Biodiversität und ökologische Infrastruktur, und Aimee Ginsburg, Projektmanagerin für Naturkapitalbilanzierung für ökologische Infrastruktur am South Africa National Biodiversity Institute (SANBI); und Chux Daniels, Research Fellow beim koordinierenden Partner von TIPC an der Science Policy Research Unit (SPRU) der University of Sussex Business School und Leiter des Africa Hub von TIPC und dieses Projekts.

Der zentrale Antrieb von SANBI besteht darin, für Südafrika den Wert zu vereinen, der sowohl der gebauten Infrastruktur als auch der „ökologischen Infrastruktur“ innewohnt. Der erste Blog dieser Reihe erörtert diesen Ansatz weiter und untersucht, warum es wichtig ist, die gebaute Infrastruktur als natürliche „Infrastruktur“ zu betrachten. Diese Perspektive veranschaulicht perfekt die soziotechnische Theorie im Zentrum der Transformativen Innovationspolitik (TIP).

Ginsburg arbeitet daran, die Entwicklung von Naturkapitalkonten zu verwalten und zu leiten, um in ökonomischer Hinsicht den Wert von Ökologie und natürlicher Bilanzierung für die Nation und die Welt zu demonstrieren. Sie untersucht, wie sich dies auf die Sustainable Development Goals (SDGs) ausdrückt. Ihre Rolle besteht darin, die Entscheidungsfindung und die Arbeitsrichtung mit Beweisen und Daten zu unterstützen, die sich auf die natürliche Buchführung konzentrieren. Wie beim Projekt Living Catchments Water Provision wird für jedes neue Projekt eine natürliche Abrechnung durchgeführt. Die Organisation von Informationen über die Umwelt ist der Schlüssel zur Bekämpfung des Klimawandels und des Verlusts der biologischen Vielfalt. Die Rolle von Ginsburg besteht beispielsweise darin, die südafrikanischen Ökosysteme und Landschaften zu prüfen, um zu verstehen, wie sie beispielsweise für andere Landnutzungen mit Auswirkungen auf die Biodiversität verändert wurden. Wie kann eine Standardisierung wie bei anderen globalen Kennzahlen wie dem Bruttoinlandsprodukt (BIP) erfolgen, damit es konsistente und transparente Messmethoden gibt? Wie können diese Daten MEL-Indikatoren und -Metriken in Experimenten und Projekten unterstützen?

Diese globale Standardisierung zum Verständnis des Wertes natürlicher Konten hat kürzlich mit dem neu veröffentlichten System der umweltökonomischen Gesamtrechnung (SEEA)  Rahmen der Vereinten Nationen. Dabei werden Wirtschafts- und Umweltdaten integriert, um die Zusammenhänge zwischen Wirtschaft und Umwelt besser zu verstehen und den Wert hervorzuheben, den Ökosysteme für Länder und ihre Bevölkerung bringen. Die MEL-Aktivitäten müssen dies neben dem SDG-Rahmen berücksichtigen. Für MEL innerhalb der TIPC-Methodik – eine Erklärung dazu finden Sie in Blog 2 dieser Serie – Ginsburg hat eine Vielzahl relevanter Fragen:

„Wo sind die Datenbeschränkungen? Wie kann sie Indikatoren für SDGs herausarbeiten? Wie kommunizieren wir die natürlichen Konten effektiv? Wie benutzen wir sie? Was sind die politischen Implikationen?“

 

Ginsburg sieht Potenzial in der Ausweitung der TIPC-Methodik auf ein breites Programmspektrum und erklärt ihre Motivation und ihr Interesse an dieser neuen Methodik:

„Wir entwickeln die Nationale Strategie zur natürlichen Bilanzierung, und ich möchte die TIPC-Methodik auf diesen Entwicklungsprozess anwenden. Welche anderen Möglichkeiten können wir uns anpassen, um in das Gelernte einzubauen? Aus diesem Grund interessiere ich mich für TIP und bin Teil des Experiments, die TIPC-Methodik in unser Living Catchments-Projekt zu integrieren.“

 

Die zweite Mitarbeiterin, Alex Marsh, beschreibt, wie sie für die SANBI-Ressourcenmobilisierung arbeitet und strategisch an Leitkomponenten arbeitet, darunter: Praxis für Politikberatung und Mainstreaming; Wege der Zusammenarbeit mit Menschen und Institutionen, um hierzu wissenschaftsbasierte Politikberatung einzubringen. Das ist ihr Engagement im Projekt: „Ich bin an Komponente 3 der Living Catchments Water Provision von SANBI beteiligt Projekt, das öffentliche und politische Prozesse untersucht.“  

Marshs erster Eindruck von TIP war von einer „tiefen Neugier“ geprägt. Sie erklärt: „Es war toll, Leute zu treffen, die so denken. SANBI ist ein Vorreiter im Mainstreaming… seit fünfzehn Jahren. In akademischen Kreisen sind wir jedoch relativ unbekannt, da wir keine Arbeiten schreiben. Die Interaktion war also großartig; darüber, wie Forschung im Praxisraum sinnvoll funktionieren kann. Wie können wir uns gegenseitig bestäuben? Der soziale Prozess ist der Schlüssel. Wie lassen wir zu, dass Erfahrungen unsere Arbeitsweise verändern? Im öffentlichen Sektor ist das Tempo hoch. Kontinuierliche Beziehungen zu TIPC helfen uns, das Gelernte einzuarbeiten.“

Die Diskussionen begannen mit dem Schwerpunkt auf der Komplexität von MEL und dieser neuen Perspektive – wie hat sich die Konzeption des SANBI-Teams von Indikatoren verändert? Was wurde hier gelernt?

Zunächst schlägt Marsh für den Prozess vor:

„Ich denke, wir hätten eine zusätzliche Sitzung zum Entwerfen von Indikatoren abhalten können. Die Indikatoren sind sehr pragmatisch und mit den Ergebnissen des Projekts verknüpft. Hier geht es darum, Wege zu finden, die Praxis zu verlagern. Es ist sehr schwierig, Wirkung und Ergebnis sinnvoll zu messen. Sie muss quantitativ und qualitativ sein. Geschichten sind wichtig, um die Veränderungen aufzuzeigen, die durch die Umsetzung des Projekts bewirkt wurden; aus Erfahrung zu sprechen und nicht reduktionistisch zu sein.“

„Ich musste mit Erwartungen umgehen, was ein ‚Ergebnis' sein könnte. Versuchen, das Verhalten von Menschen anhand neuer Informationen zu verändern und zu messen, um das Lernen in einer Co-Learning-Modalität zu zeigen. Die Wissensprodukte können in einer tief kollaborativen Weise erstellt werden. Die Produktion der Materialien mit dem fest verdrahteten Engagement, das in den Prozess eingebunden ist, ist Teil meiner Mainstreaming-Arbeit. Ich habe Leute interviewt und werde dies im Rahmen der MEL wieder tun.“

In der Reflexion über Cocreation im Rahmen des Projekts fängt Marsh die Erfahrungen des Teams ein:

„Ich habe eine starke Meinung dazu! Das erste Treffen war wie eine Achterbahnfahrt im Gewitter! Ich verstand das Terrain nicht, in dem ich mich befand, und dann rollten wir. Das Prinzip der Vertrauensbildung besteht darin, Zusammenarbeit zu ermöglichen. Vielleicht könnte das TIPC-Team darüber nachdenken, wie man den Eintrag weicher macht, um Möglichkeiten für vorherige Gespräche zu finden, damit wir alle sinnvoller zueinander finden können. Sobald diese Vertrautheit gewachsen war, war es viel einfacher, über Konzepte zu sprechen, da man wusste, woher die Leute kamen. Die praktizierende-akademische Dynamik fand ich so faszinierend. Ich bin so dankbar für diese Erfahrung.“

„Wir reden viel (über die transformative Perspektive) und reflektieren sie in SANBI, wir sind ein Haufen von Wissenschaftlern aus der Praxis, wir arbeiten mit Akademikern zusammen, aber wir spüren den Unterschied zwischen den Ansätzen sehr intensiv und ich denke, dass die Erforschung der Fähigkeiten in der Raum ist wichtig.“

„Was SANBI weltweit am besten kann, ist, in einer Nische zu agieren, in der es darum geht, tiefe soziale Prozesse zu nutzen und Raum so zu halten, dass die Menschen das Gefühl haben, dass sie dabei eine Stimme haben.“

 

Marsh gibt eine Empfehlung für das weitere Aufblühen des Cocreation-Prozesses und schlussfolgert: „Wenn wir unsere Fähigkeiten vor dem Arbeitsprogramm gepaart hätten, hätten wir die Gespräche besser gestalten können. Zum Beispiel unsere tiefen sozialen Prozesse, die mit denen der transformativen Ergebnisse arbeiten. Für die Ko-Kreation würde dies helfen, unsere Hoffnungen deutlich zu machen. Dies hätte eine weitere magische Ebene hinzugefügt!“

Ginsburg unterstützte diese Beobachtung und erklärte: „Ja, in den ersten Sitzungen war es schwer, mich selbst zu finden, obwohl ich die Lektüre gemacht und die Theorie ‚verstanden‘ habe – es war das Wie? Wie passt das alles zusammen? Eine Art Paarung des TIPC-Prozesses und des sozialen Lernprozesses (den wir verwenden) hätte helfen können, Raum für das gegenseitige Finden zu schaffen.“

Dies legt nahe, dass eine Analyse und Abbildung des zusammenhängenden Prozesses, der von den TIPC-Experimentierteams verwendet wird, vor oder in den frühen Phasen des Prototypprojekts für die MEL-Entwicklung, insbesondere für die Konzeptionsphase, von Vorteil wäre. Dies würde es den Leuten ermöglichen, sich selbst zu „lokalisieren“ und den Kontext und den Diskurs zu verstehen, in den jedes Team eingebettet ist. Folglich kommt dies durch den Prozess heraus, obwohl die Betonung darauf in der „Onboarding“-Phase als Taktik hervorgehoben wird, um zu helfen Förderung der positiven Ergebnisse durch frühzeitigen Aufbau von Vertrauen, Bewusstsein und Beziehungen.

Dies würde der Teamdynamik und der Initialisierung der Projekte helfen. Hier bewegt sich der Ansatz weiter weg vom „einsteigern“-Ansatz „Business-as-usual“, bei dem Teams nicht nuanciert und letztendlich produktiver „gebildet“ werden können, indem man den menschlichen Interaktionen im Zentrum große Aufmerksamkeit schenkt. Damit dies gelingt, ist sowohl ein zeitlicher Einsatz als auch ein Momentum erforderlich. Mit dem südafrikanischen Wasserexperiment, bei dem die Methodik zum ersten Mal getestet wurde, lernte auch das TIPC-Team noch. Es ist ein Experiment auf beiden Seiten.

Von Seiten der TIPC-Forscher reflektierte Chux Daniels, Leiter des TIP Africa Hub, Folgendes: „Nicht nur am Anfang hätte mehr Zeit sein sollen, sondern auch für die MEL-Session selbst danach“. Daniels empfiehlt, zwei weitere Sitzungen für MEL in der abschließenden Komponente der TIPC-Methodik hinzuzufügen, die jedes politische Experiment leitet. Die zusätzlichen Sitzungen konzentrieren sich auf die Entwicklung von Indikatoren und bieten Raum für Tests und Überlegungen zu den ausgewählten Indikatoren. Wenn er dies weiter betrachtet, stellt er fest, dass die Spannung und das Gleichgewicht bestehen zwischen: verfügbarer Zeitressource; die nötige Dynamik und Struktur beibehalten; und die MEL-Erfahrungen der Teams ausgiebig zu erkunden. Unter Bezugnahme auf diese beendet Daniels: „Es gab viele Faktoren, die das Ganze geprägt haben. Dies sind die Lektionen, auf die wir achten sollten. Und das alles innerhalb einer Zeit, in der COVID die Herausforderung noch verstärkte!“

Ein weiterer positiver Aspekt des Interviews waren die „Reflexionen der Reflexion“. Mit der Erstellung der South Africa Water Experiment Blog Series haben wir einen wichtigen Raum für diese essentielle reflexive Aktivität geschaffen, die von den Beteiligten geschätzt wird. Ginsburg hat diesen Punkt am Ende des Interviews explizit angesprochen: „Ich möchte hinzufügen, wie wichtig das ist. Dieser Prozess des Interviewens und Reflektierens danach. Wir haben über das „Onboarding“ gesprochen. Auch für mich ist diese „Outboarding“-Nachbesprechung sehr hilfreich für die nächste Arbeitsphase, insbesondere für die Verbindung mit der neuen südafrikanischen Nationalen Strategie, an der ich arbeite. Aus dieser Diskussion kommen mir Erinnerungen und Hinweise. Es ist ein wichtiger Teil des Prozesses.“

Marsch fährt fort: „Ein weiterer Punkt im Zusammenhang mit dem Wert einer ausführlichen Nachbesprechung ist, dass wir alle von der Intensität überrascht waren. Als Team machten wir eine weitere tiefgreifende reflexive Übung darüber, wie es für alle lief, und das war wirklich nützlich für uns. Daher wäre der Rat für die politischen Teams, dies in die Seite des Hauptprogramms aufzunehmen. Diese Sitzung war, muss ich sagen, sehr schön.“

Marsh und Ginsburg konzentrierten sich nicht nur auf das Team, sondern stellten fest, dass sie die Erfahrungen des Teams mit einem breiteren Publikum teilen, in diesem Fall bei der regionale Lernveranstaltung in Südafrika, das vom 20. bis 22. Oktober 2020 stattfand; es gab viele positive MEL-Aspekte.

„Die Sitzung im breiteren Südafrika-Forum, in der unsere Kollegin Shanna Nienaber einem breiteren Publikum über das Programm sprach, öffnete den Raum für die wichtigen Gespräche rund um – was ist eigentlich passiert?!“

Marsh zeigt die langfristige Perspektive der TIPC-Arbeit und die positiven Beziehungen, die entwickelt wurden, und schlussfolgert:

„Dieser Debriefing-Prozess ist auch so großartig, da wir wissen, dass wir Jahre zusammen haben…!“

In Abrundung der Überlegungen zu den Erkenntnissen des Teams zeigt Ginsburg, wie die Erfahrung andere wichtige Arbeitsbereiche in Südafrika beeinflussen wird:

„Ich möchte mit anderen Partnern eine (transformative) Theorie des Wandels klarer entwickeln, da dies eine wertvolle Übung ist. Es hat meine Aufmerksamkeit auf weitere Faktoren gelenkt, während sich die Strategie entwickelt. Unser soziales Prozessmaterial wird das A und O der Arbeit sein, aber was jetzt wichtig ist, ist, wie es unternommen wird und was es erreichen wird. Es sind die weicheren Elemente. Cocreation wird nun anders interpretiert. Wir sollten darüber nachdenken, wie wir die TIPC-Methodik artikulieren und wie wir sie mit anderen Partnern wie Statistics South Africa nutzen können.“

 

Marsh bringt enthusiastisch ihre letzten Gedanken rüber:

„Neue Kollegen zu haben, die darüber nachdenken, wie Sie an Strategie und Politik arbeiten, ist die größte Möglichkeit, die sich daraus ergibt! Diese aufstrebende Partnerschaft ist großartig. Ein Feld von Experten zu haben, mit dem man mitdenken kann, und eine Community of Practice für diese Nische der Arbeit. Wir denken seit Jahren über Theorien der Veränderung nach – wie man sie macht?! Die Regierung sagt, sie wolle mehr Theorien des Wandels, aber nicht, wie das geht, also ist dies ein sehr lebendiger und generativer Bereich, den es vorantreiben kann. Zweitens habe ich mit dieser Transformative Theory of Change Gespräche mit Partnern geführt, die sich für das interessieren, was wir getan haben, die beobachten, was dabei herauskommt. Wir möchten dies auf das Programm- und Prozessdesign bei größeren Projekten anwenden. Das sitzt am Horizont. Dieser Rahmen könnte kraftvoll angewendet werden. Wir würden gerne mit dem Team auch über Forschungspapiere schreiben. Ich weiß, wie wertvoll das mit dem TIPC-Team wäre. Für Politik und Forschung, um diese miteinander zu verbinden, um unsere Arbeit sinnvoller zu machen und den Wandel herbeizuführen, den wir alle in der Welt sehen wollen.“

Die wichtigsten Erkenntnisse zur Durchführung eines TIP-Experiments:

Für Policy-Teams:

• Vertiefen Sie sich in die Theorie mit mehr Aktivitäten und Zeit, um Vertrauen und eine Beziehung zum TIPC-Projektteam aufzubauen, damit die Theorie leichter landet und sich die Leute darin „zufinden“ können. Am Anfang kann es sich wie „Achterbahn im Gewitter“ anfühlen! Bereiten Sie sich auf den Perspektivwechsel vor und machen Sie kein „Business-as-usual“.
• Vertrauen und eine gute Zusammenarbeit sind auf halbem Weg entstanden. Aber am Anfang war es, wie bei vielen Dingen, entmutigend und es herrschte Unsicherheit. Seien Sie also offen dafür und haben Sie reflexive Sitzungen für das Team, die in das Projekt integriert sind.
• Die Prototyping-Erfahrung und das Lernen können in andere Schlüsselprojekte einfließen. Südafrika wendet es beispielsweise in seiner Nationalen Strategie für die Bilanzierung von Naturkapital (NCA) an.

Für TIPC-Forschungsteams:

• Führen Sie für das Stakeholder-Management engagierte und tiefergehende Gespräche und Workshops mit Partnern, um ihre Bedürfnisse, gegenseitigen Erwartungen an die Zusammenarbeit, ihre Wahrnehmung von TIPC und Erfahrungen mit MEL während des gesamten Prozesses zu diskutieren.
• Klären Sie die Rolle des TIPC-Teams (nicht Berater, sondern Partner) und den Zweck von MEL für die Mitgestaltung in Richtung transformativer Ergebnisse.
• Widmen Sie der Übersetzung von Konzepten, Vermittlungsaktivitäten und der allgemeinen Zugänglichkeit mehr Zeit. Eine sich wiederholende Verbindung zur Arbeit und zum Kontext der Projektpartner herstellen.
• Übersetzen Sie theoretische Konzepte in etwas Sinnvolles für die Partner, betonen Sie einen wechselseitigen Lernprozess.
• Fügen Sie dem Lernstrang einen internen „Team-Learning“-Strang hinzu.
• Beziehen Sie dieselben Personen in verschiedene politische Experimente ein, um das Lernen zu unterstützen und den Transfer von Wissen und Verständnis zu erleichtern.
• Verwenden und verstehen Sie theoretische Konzepte in allen Projekten auf ähnliche Weise, insbesondere da die Verallgemeinerung dabei hilft, gemeinsame Herausforderungen in verschiedenen Kontexten zu identifizieren.
• Entwickeln Sie verallgemeinerbare Tools über die TIPC-Lebensdauer hinaus.