TIPC
Buscar

MONITOREO, EVALUACIÓN Y APRENDIZAJE PARA PROYECTOS DE CAMBIO TRANSFORMADOR: LECCIONES DE LA COLABORACIÓN DE MOTION CON SUSMO, SATURN Y ACT ON NBS

Blog

En diciembre de 2021 finalizó el proyecto MOTION, una colaboración de TIPC y EIT Climate-KIC. Durante sus dos años de trabajo en estrecha colaboración con socios de tres proyectos EIT Climate-KIC: ACTUAR en NBS, SATURNO y SuSMo – MOTION apoyó actividades de desarrollo de capacidades y monitoreo, evaluación y aprendizaje (MEL) para mejorar su potencial transformador. El primer año consistió en desarrollar un “Teoría transformadora del cambio” para cada proyecto (Figuras 1, 2 y 3). Basándose en la metodología basada en módulos de TIPC, los socios participaron en varias interacciones guiadas para conectar los insumos, las actividades principales y los productos de cada proyecto con “resultados transformadores” que ayudan a aprovechar los impactos deseados. Las Teorías Transformativas del Cambio explicitaron la lógica y el proceso de cambio anticipado de cada proyecto, facilitando reflexiones con los socios sobre cómo mejorarlo, develando cuellos de botella, dependencias contextuales y potenciales transformadores.

SuSMo ToC

Figura 1: Teoría transformadora del cambio de SuSMo: cuatro vías de cambio centradas en la participación de las partes interesadas 

SATURN ToC

Figura 2: Teoría transformadora del cambio de SATURN

ACT on NBS ToC

Figura 3: ACT en NBS Teoría Transformativa del Cambio

En el segundo año de MOTION, desarrollamos un plan de monitoreo, evaluación y aprendizaje (MEL) para cada uno de los tres proyectos, basado en su Teoría Transformadora del Cambio (ToC). El primer paso consistió en discutir con los socios cuáles eran sus expectativas de MEL, por ejemplo, aprender más sobre un camino de cambio específico dentro de su TdC o monitorear un resultado transformador dado, e identificar colectivamente qué indicadores podrían usarse para ese fin. En SuSMo, los socios optaron por centrarse en tres caminos: Participación de los interesados (SE), Datos para la Evaluación de Impacto (MORIR), y Política, Regulación y Adquisiciones (PRP) y utilizar indicadores asociados a cuatro Resultados Transformativos, a saber redes (para monitorear la vía SE), circulación de conocimientos y herramientas, aprender/desaprender y cambios en las expectativas (los tres para monitorear DIE y PRP). En SATURN, los socios optaron por centrarse en dos Resultados de Transformación, a saber, circulación y ampliación. Estos se eligieron en función de las fortalezas del proyecto SATURN previamente identificadas (con la ayuda de la TdC transformadora), así como las áreas en las que los socios vieron la necesidad de mejoras adicionales. En ACT on NBS, los socios optaron por tres pares de Resultados Transformativos (o “vías de Resultados Transformativos”): (1) redes y aprendizaje; (2) circulación y replicación; y (3) ampliación y institucionalización

Para facilitar la discusión y la identificación de indicadores potenciales para SuSMo, el equipo de MOTION preparó un esquema (Figura 4) que ilustraba cómo se podía monitorear la red de participación de las partes interesadas y cómo se asociaban las herramientas que se estaban desarrollando a través de las otras dos vías (DIE y PRP) para los Resultados Transformadores.

Figura 4: Esquema conceptual para identificar indicadores para las rutas SuSMo seleccionadas: participación de las partes interesadas (red) y datos para evaluación de impacto y política, regulación y adquisiciones (prácticas cambiantes)

Al identificar y seleccionar las dimensiones del cambio transformador para monitorear, es importante buscar un equilibrio entre su relevancia para lograr el impacto y la viabilidad de monitorearlas a través de indicadores. Estas características a menudo están en desacuerdo entre sí. De hecho, los socios de SuSMo identificaron esta compensación cuando se les preguntó qué dimensiones eran más relevantes y cuáles eran más fáciles de monitorear (Figura 5).

Figura 5: La compensación entre la relevancia del impacto y la viabilidad del monitoreo de las dimensiones de cambio asociadas con las vías seleccionadas de SuSMo

Dada esta dificultad, el equipo de MOTION propuso basar la evaluación de los aprendizajes relacionados con los caminos seleccionados y los Resultados Transformadores en una encuesta, que debía ser respondida por los socios de SuSMo y SATURN. Cuando se diseñan adecuadamente, las encuestas contribuyen a la enfoque formativo de monitoreo, evaluación y aprendizaje que requieren los proyectos o programas de cambio transformador. A diferencia de las encuestas tradicionales que a menudo buscan caracterizar el estado de un sistema en un momento determinado (piense, por ejemplo, en las encuestas socioeconómicas periódicas que se utilizan para describir un barrio o una ciudad, y que a menudo tienen como objetivo proporcionar indicadores cuantitativos) , las encuestas utilizadas en el contexto de un proceso formativo buscan provocar la reflexión y el aprendizaje entre los encuestados. Este tipo de encuesta es bidireccional: crea un diálogo entre el encuestado/participante y el encuestado. En un proceso MEL formativo, las encuestas son, por tanto, una herramienta de recopilación de información o conocimiento, que constituye la base para la reflexión, el aprendizaje y la adaptación. Por el contrario, para ACT on NBS, se desarrolló un enfoque alternativo que consiste en la agregación de datos/información cualitativos recopilados a través de una serie de entrevistas, lo que permite a los participantes profundizar en los conceptos y aprendizajes más relevantes. 

En el caso de la encuesta, su diseño (o “protocolo”, en la jerga técnica) consistió en la presentación de varios enunciados sobre los tres caminos (SuSMo) y los Resultados Transformadores (SuSMo & SATURN) que fueron clave para lograr los objetivos deseados. impactos Después de evaluar las declaraciones a través de una escala que va desde “totalmente en desacuerdo” hasta “totalmente de acuerdo” (ejemplos en las Figuras 6-9), se pidió a los encuestados que justificaran sus elecciones. Este fue el mecanismo clave para inducir la reflexión y el aprendizaje. Responder la encuesta todavía fue un paso intermedio en el proceso de MEL. Más importante fue el proceso de retroalimentar los resultados sintetizados a los encuestados. Para SuSMo, esto se hizo a través de un taller facilitado por el equipo MOTION, y en el caso de SATURN, los resultados de la encuesta se sintetizaron en un video en línea (Figuras 10-11).

 

Figura 6-9: Ejemplos de los resultados de la encuesta MEL de SuSMo que se retroalimentaron a los encuestados en un taller en línea

Figura 10-11: : Ejemplos de los resultados de la encuesta de SATURN que se sintetizaron en un video en línea distribuido a los encuestados

Finalmente, el equipo de MOTION llevó a cabo un taller final del proceso MEL con SuSMo y SATURN y dos rondas de entrevistas finales con ACT sobre los socios de NBS. Estas actividades se organizaron para proporcionar a los socios del proyecto un espacio reflexivo para reflexionar más sobre el proceso de implementación general, los aprendizajes logrados y para discutir las ambiciones más allá de la vida útil del proyecto. En el taller de SuSMo, los socios discutieron los planes para difundir las herramientas que han desarrollado, por ejemplo, directrices para la evaluación y política de movilidad compartida, adquisición y evaluación. La intención era formalizar este plan a través de un Memorando de Entendimiento entre los socios de SuSMo, que incluir nuevas pruebas y mejoras de las herramientas. Una barrera para lograr un impacto permanente que fue discutida por los socios en el taller fue que el campo de la movilidad compartida estaba cambiando rápida y constantemente, por lo que las pautas podrían volverse obsoletas antes de ser probadas por completo. Por lo tanto, una lección fue que el monitoreo y la evaluación continuos debían tener lugar y convertirse en un elemento fijo en el proceso, desde el desarrollo de la herramienta hasta su implementación. El enfoque de seguimiento y evaluación tenía que ser flexible, dependiendo de si la herramienta era más práctica (como la de evaluar la sostenibilidad de la movilidad compartida) o más teórica (como en el caso de definir los principios para el PRP de la movilidad compartida). Una segunda lección revelada durante el taller fue que los compromisos futuros no deben centrarse en los logros pasados sino en la anticipación de tendencias para actualizar y mejorar las herramientas. Con este fin, los socios discutieron dos objetivos: (a) el establecimiento de un depósito de "memoria colectiva" para los datos y materiales recopilados y creados a través de SuSMo, que debía (b) formar la base para un observatorio de movilidad compartida. Con respecto al establecimiento de una red de movilidad compartida, SuSMo pudo reunir a diversas partes interesadas a nivel de ciudad, pero un desafío para el futuro sería mantener el interés de las partes interesadas, por ejemplo, mostrando historias de éxito de movilidad compartida basadas en SuSMo. herramientas –para mantener la red cohesionada.

En el taller SATURNO, los elementos de mejora sobre circulación gravitó en torno a (a) la recopilación y síntesis de conocimientos y experiencias; (b) conocimiento externo y accesibilidad a la experiencia; yc) el intercambio de conocimientos y experiencias entre asociados y partes interesadas. En estos aspectos, se destacó la necesidad de más recursos humanos y capacidad dentro del proyecto como clave para mejorarlos. Además, se consideró importante un uso más eficaz de las actividades de difusión y comunicación de destino, como el uso de las redes sociales para atraer la atención y el interés, para mejorar los Resultados Transformadores seleccionados en el futuro. Los elementos para mejorar ampliación centrada en torno a: (a) participación de actores externos; (b) la valorización de los resultados del proyecto por partes interesadas externas y (c) la aceptación de los resultados del proyecto. Los aspectos importantes para mejorar en estos elementos fueron la participación activa de los propietarios del desafío (por ejemplo, los municipios) desde el comienzo del proyecto con miras al desarrollo conjunto de productos y resultados. Más recursos y énfasis estratégico en las actividades de participación de las partes interesadas, lo que ayudaría a desarrollar relaciones duraderas con SATURN y, por lo tanto, aumentaría el interés y la demanda de productos y resultados del proyecto, fue otro aspecto para mejorar el Resultado Transformativo. ampliación en futuros proyectos.

Durante las entrevistas finales de ACT on NBS, los socios reflexionaron sobre la medida en que se lograron los resultados propuestos para la fase MEL, elegidos debido a su mayor potencial transformador basado en la Teoría Transformadora del Cambio. Los resultados mostraron un buen nivel de logro de los cuatro resultados monitoreados, pero también destacaron los desafíos de implementación a corto plazo. Por ejemplo, en términos de 'desarrollo de capacidades y asistencia técnica para una mayor adopción de soluciones basadas en la naturaleza (NBS) (Vía de trabajo en red y aprendizaje), ACT on NBS obtuvo buenos resultados, pero se enfrentó a dos desafíos importantes: (1) aunque los socios adquirieron experiencia que fue útil para desarrollar futuros planes de negocios, fue difícil comprometer recursos para la cofinanciación de eventos de desarrollo de capacidades en las ciudades; (2) se requieren proyectos más largos (que ACT on NBS) en interacción continua con las ciudades para aumentar el número de ciudades participantes y desarrollar capacidades duraderas, especialmente con las ciudades menos experimentadas, lo que podría requerir la transferencia de conocimientos y el apoyo de las más experimentadas. . Lo mismo también se expresó para los resultados relacionados con el 'Vía de mejora e institucionalización'. Para lograr la institucionalización (p. ej., políticas que incentiven proyectos de soluciones basadas en la naturaleza financiables) se requiere una red más integrada de ciudades que implementen soluciones basadas en la naturaleza, con mayores capacidades y conocimientos transferidos de ciudades más avanzadas a ciudades menos avanzadas. Los resultados del proyecto MOTION también mostraron que la Teoría Transformativa del Cambio constituyó una herramienta muy práctica durante las últimas etapas de ACT on NBS en 2021, en el contexto de todo el proceso interactivo, como lo expresaron los entrevistados (anónimos):

“La colaboración con MOTION ha sido como un rescate […] no solo a través de la capacidad de la Teoría del Cambio Transformador para rastrear nuestro trabajo con los municipios, sino también a través de la sistematización de la transferencia de conocimiento sobre el cambio transformador”.

“Muy útil para perfeccionar y traducir nuestras ideas iniciales sobre lo que debería estar haciendo un ecosistema de innovación, un poco más enfocado con metas y objetivos que debe articular en torno a los resultados transformadores”.

"Gracias a la colaboración con el proyecto MOTION, nosotros [los socios de ACT on NBS] estamos en conversaciones sobre si seguir colaborando juntos a través de una futura asociación y cómo hacerlo".

La información recopilada a lo largo de toda la interacción de MOTION informará la coproducción de una Teoría Transformativa del Cambio mejorada para ACT en NBS, que se puede utilizar para proporcionar iniciativas futuras con mayores capacidades transformadoras para ampliar las soluciones urbanas basadas en la naturaleza.   

Al final del día, las interacciones de MOTION con SuSMo, SATURN y ACT en NBS dieron como resultado una asociación exitosa. MOTION puso a prueba y desarrolló aún más la metodología TIPC, incorporando y aplicando el marco conceptual Transformative Outcomes. Por el contrario, la asociación condujo a dos contribuciones clave de MOTION a SuSMo, SATURN y ACT on NBS: (a) la sistematización del proceso específico de cada proyecto (actividades, resultados, productos e impacto) en una Teoría Transformadora del Cambio, que permitió a los socios del proyecto para ver cómo encajan y contribuyen al sistema que buscan transformar, y (b) en base a esta TdC Transformadora, los socios pudieron extraer ideas y lecciones de aprendizaje de segundo orden sobre cómo difundir los productos/resultados de los proyectos y cómo abordar futuros proyectos (similares) para mejorar su potencial de transformación.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.