Em dezembro de 2021, o projeto MOTION, uma colaboração do TIPC e do EIT Climate-KIC, chegou ao fim. Durante os seus dois anos de trabalho em estreita colaboração com parceiros de três projetos EIT Climate-KIC – ACT no NBS, SATURNO e SuSMo – O MOTION apoiou as atividades de capacitação e monitoramento, avaliação e aprendizagem (MEL) para aumentar seu potencial transformador. O primeiro ano consistiu no desenvolvimento de um “Teoria Transformativa da Mudança” para cada projeto (Figuras 1, 2 e 3). Com base na metodologia baseada em módulo do TIPC, os parceiros se envolveram em várias interações guiadas para conectar as entradas, atividades principais e saídas de cada projeto com “resultados transformadores” que ajudam a alavancar os impactos desejados. As Teorias Transformativas da Mudança explicitaram a lógica e o processo de mudança antecipado de cada projeto, facilitando reflexões com parceiros sobre como melhorá-lo, revelando gargalos, dependências contextuais e potenciais transformadores.
Figura 1: Teoria da Mudança Transformativa do SuSMo: quatro caminhos de mudança centrados no envolvimento das partes interessadas
Figura 2: Teoria Transformativa da Mudança de SATURNO
Figura 3: ACT na Teoria Transformativa da Mudança NBS
No segundo ano do MOTION, desenvolvemos um plano de monitoramento, avaliação e aprendizado (MEL) para cada um dos três projetos, com base em sua Teoria Transformativa da Mudança (ToC). O primeiro passo consistiu em discutir com os parceiros quais eram suas expectativas de MEL – por exemplo, aprender mais sobre um caminho de mudança específico dentro de seu ToC ou monitorar um determinado resultado transformador – e identificar coletivamente quais indicadores poderiam ser usados para esse fim. No SuSMo, os parceiros optaram por se concentrar em três caminhos: Engajamento das Partes Interessadas (SE), Dados para Avaliação de Impacto (DIE), e Política, Regulamento e Aquisições (PRP) e utilizar indicadores associados a quatro Resultados Transformativos, nomeadamente rede (para monitorar a via SE), circulação de conhecimento e ferramentas, aprendendo/desaprendendo e mudanças nas expectativas (todos os três para monitorar DIE e PRP). Em SATURN, os sócios optaram por focar em dois Resultados de Transformação, a saber, circulação e upscaling. Estes foram escolhidos com base nos pontos fortes previamente identificados (com a ajuda do Transformative ToC) do projeto SATURN, bem como nas áreas em que os parceiros viram a necessidade de melhorias adicionais. No ACT on NBS, os parceiros optaram por três pares de Transformative Outcomes (ou “caminhos de Transformative Outcome”): (1) rede e Aprendendo; (2) circulação e replicação; e (3) upscaling e institucionalização.
Para facilitar a discussão e identificação de indicadores potenciais para o SuSMo, a equipe do MOTION preparou um esquema (Figura 4) que ilustrou como a rede de engajamento de stakeholders poderia ser monitorada e as ferramentas que estão sendo desenvolvidas pelas outras duas vias (DIE e PRP) foram associadas a os Resultados Transformadores.
Figura 4: Esquema conceitual para identificar indicadores para os caminhos selecionados do SuSMo: Envolvimento das Partes Interessadas (rede) e Dados para Avaliação de Impacto e Política, Regulamentação e Aquisições (mudança de práticas)
Ao identificar e selecionar as dimensões da mudança transformadora a serem monitoradas, é importante buscar um equilíbrio entre sua relevância para alcançar o impacto e a viabilidade de monitorá-las por meio de indicadores. Essas características muitas vezes estão em desacordo entre si. De fato, os parceiros do SuSMo identificaram esse trade-off, quando questionados sobre quais dimensões eram mais relevantes e quais eram mais fáceis de monitorar (Figura 5).
Figura 5: O compromisso entre a relevância do impacto e a viabilidade do monitoramento das dimensões de mudança associadas aos caminhos selecionados do SuSMo
Perante esta dificuldade, a equipa do MOTION propôs basear a avaliação das aprendizagens relacionadas com os percursos e Resultados Transformativos selecionados num inquérito, que deveria ser respondido pelos parceiros SuSMo e SATURN. Quando projetadas adequadamente, as pesquisas contribuem para a monitoramento formativo, avaliação e abordagem de aprendizagem que os projetos ou programas de mudança transformadora exigem. Em contraste com pesquisas tradicionais que muitas vezes procuram caracterizar o status de um sistema em um determinado momento (pense, por exemplo, em pesquisas socioeconômicas periódicas usadas para descrever um bairro ou cidade e que geralmente visam fornecer indicadores quantitativos) , os inquéritos utilizados no contexto de um processo formativo procuram desencadear a reflexão e a aprendizagem dos inquiridos. Esse tipo de pesquisa é bidirecional: cria um diálogo entre o entrevistado/participante e o respondente. Em um processo formativo de MEL, as pesquisas são, portanto, uma ferramenta para coleta de informações ou conhecimento, que forma a base para reflexão, aprendizado e adaptação. Em contrapartida, para o ACT on NBS, foi desenvolvida uma abordagem alternativa, que consiste na agregação de dados/informações qualitativas recolhidas através de um conjunto de entrevistas, permitindo aos participantes um mergulho mais profundo nos conceitos e aprendizagens mais relevantes.
No caso da pesquisa, seu desenho (ou “protocolo”, no jargão técnico) consistiu na apresentação de diversos depoimentos sobre os três caminhos (SuSMo) e os Transformative Outcomes (SuSMo & SATURN) que foram fundamentais para alcançar os objetivos desejados. impactos. Após avaliar as afirmações por meio de uma escala que varia de “discordo totalmente” a “concordo totalmente” (exemplos nas Figuras 6-9), os respondentes foram solicitados a justificar suas escolhas. Este foi o mecanismo chave para induzir a reflexão e a aprendizagem. A realização da pesquisa ainda foi uma etapa intermediária no processo MEL. Mais importante foi o processo de retroalimentação dos resultados sintetizados aos entrevistados. Para o SuSMo, isso foi feito por meio de um workshop facilitado pela equipe do MOTION e, no caso do SATURN, os resultados da pesquisa foram sintetizados em um vídeo online (Figuras 10-11).
Figura 6-9: Exemplos de resultados da pesquisa MEL do SuSMo que foram devolvidos aos entrevistados em um workshop online
Figura 10-11: : Exemplos dos resultados da pesquisa da SATURN que foram sintetizados em um vídeo online distribuído aos entrevistados
Finalmente, a equipe do MOTION realizou um workshop de conclusão do processo MEL com SuSMo e SATURN e duas rodadas de entrevistas finais com ACT em parceiros NBS. Essas atividades foram organizadas para fornecer aos parceiros do projeto um espaço reflexivo para reflexões adicionais sobre o processo geral de implementação, aprendizados alcançados e para discutir ambições além da vida útil do projeto. No workshop do SuSMo, os parceiros discutiram planos para divulgar as ferramentas que desenvolveram – por exemplo, diretrizes para avaliação e política de mobilidade compartilhada, aquisição e avaliação. incluir mais testes e melhorias das ferramentas. Uma barreira para alcançar um impacto permanente que foi discutida pelos parceiros no workshop foi que o campo da mobilidade compartilhada estava mudando rápida e constantemente, de modo que as diretrizes poderiam se tornar obsoletas antes de serem totalmente testadas. Portanto, uma lição foi que o monitoramento e a avaliação contínuos tinham que acontecer e se tornar um elemento fixo no processo, desde o desenvolvimento da ferramenta até a implantação. A abordagem de monitoramento e avaliação deveria ser flexível, dependendo se a ferramenta era mais prática (como a de avaliação da sustentabilidade da mobilidade compartilhada) ou mais teórica (como no caso da definição dos princípios para PRP da mobilidade compartilhada). Uma segunda lição revelada durante o workshop foi que os compromissos futuros não devem se concentrar em conquistas passadas, mas na antecipação de tendências para atualizar e melhorar as ferramentas. Para tanto, dois objetivos foram discutidos pelos parceiros: (a) o estabelecimento de um repositório de “memória coletiva” para os dados e materiais coletados e criados através do SuSMo, que deveria (b) formar a base para um observatório de mobilidade compartilhada. No que diz respeito ao estabelecimento de uma rede de mobilidade compartilhada, o SuSMo conseguiu reunir diversas partes interessadas em nível de cidade, mas um desafio para o futuro seria manter o interesse das partes interessadas – por exemplo, apresentando histórias de sucesso de mobilidade compartilhada com base no SuSMo ferramentas –para manter a rede coesa.
No workshop de SATURN, os elementos para melhoria da circulação gravitava em torno de (a) coleta e síntese de conhecimento e experiência; (b) conhecimento externo e acessibilidade à experiência; e (c) compartilhamento de conhecimento e experiência entre parceiros e partes interessadas. Em todos esses aspectos, a necessidade de mais recursos humanos e capacidade dentro do projeto foi destacada como chave para melhorá-los. Além disso, o uso mais eficaz de atividades de divulgação e comunicação direcionadas, como o uso de mídias sociais para atrair atenção e interesse, foi considerado importante para melhorar os Resultados Transformativos selecionados no futuro. Os elementos para melhorar upscaling centrado em: (a) engajamento de atores externos; (b) valorização dos resultados do projeto por partes interessadas externas e (c) a aceitação dos resultados do projeto. Aspectos importantes para melhorar em todos esses elementos foram o envolvimento ativo dos proprietários do desafio (por exemplo, municípios) desde o início do projeto com vista ao co-desenvolvimento de produtos e resultados. Mais recursos e ênfase estratégica nas atividades de engajamento das partes interessadas, que ajudariam a desenvolver relacionamentos duradouros com SATURN e, assim, aumentar o interesse e a demanda por produtos e resultados do projeto, foi outro aspecto para melhorar o Resultado Transformador upscaling em projetos futuros.
Durante as entrevistas de conclusão do ACT on NBS, os parceiros refletiram sobre até que ponto os resultados propostos para a fase MEL, escolhidos devido ao seu maior potencial transformador com base na Teoria Transformativa da Mudança, foram alcançados. Os resultados mostraram um bom nível de realização dos quatro resultados monitorados, mas também destacaram os desafios de implementação no curto prazo. Por exemplo, em termos de 'capacitação e assistência técnica para uma maior aceitação de Soluções Baseadas na Natureza (NBS) (Caminho de rede e aprendizado), o ACT sobre NBS obteve bons resultados, mas enfrentou dois grandes desafios: (1) embora os parceiros tenham adquirido experiência útil para desenvolver planos de negócios futuros, foi difícil comprometer recursos para o cofinanciamento de eventos de capacitação nas cidades; (2) projetos mais longos (do que ACT sobre NBS) em interação contínua com as cidades são necessários para aumentar o número de cidades participantes e construir capacidades duradouras, especialmente com cidades menos experientes, o que pode exigir transferência de conhecimento e apoio das mais experientes . O mesmo também foi expresso para desfechos relacionados ao 'Caminho de upscaling e institucionalização'. Para alcançar a institucionalização (por exemplo, políticas de incentivo a projetos financiáveis de Soluções Baseadas na Natureza) é necessária uma rede mais integrada de cidades que implementam Soluções Baseadas na Natureza, com maiores capacidades e know-how transferidos das cidades mais avançadas para as menos avançadas. Os resultados do projeto MOTION também mostraram que a Teoria Transformativa da Mudança constituiu uma ferramenta muito prática durante as últimas etapas do ACT on NBS em 2021, no contexto de todo o processo interativo, conforme expresso pelos entrevistados (anônimos):
“A colaboração com o MOTION foi como um resgate […] não apenas pela capacidade da Teoria Transformativa da Mudança de rastrear nosso trabalho com os municípios, mas também pela sistematização da transferência de conhecimento sobre mudança transformadora.”
“Muito útil para aprimorar e traduzir nossas ideias iniciais sobre o que um ecossistema de inovação deve fazer, um pouco mais direcionado com metas e objetivos que você precisa articular em torno dos Resultados Transformativos.”
“Graças à colaboração com o projeto MOTION, nós [parceiros da ACT on NBS] estamos discutindo se e como continuar colaborando juntos por meio de uma futura parceria.”
As informações coletadas ao longo de toda a interação do MOTION informarão a co-produção de uma Teoria Transformativa da Mudança aprimorada para ACT no NBS, que pode ser usada para fornecer iniciativas futuras com maiores capacidades de transformação para aumentar as soluções urbanas baseadas na natureza.
No final das contas, as interações do MOTION com SuSMo, SATURN e ACT no NBS resultaram em uma parceria de sucesso. O MOTION pilotou e desenvolveu ainda mais a metodologia TIPC, incorporando e aplicando a estrutura conceitual de Transformative Outcomes. Por outro lado, a parceria levou a duas contribuições chave do MOTION to SuSMo, SATURN e ACT on NBS: (a) a sistematização do processo específico de cada projeto (atividades, resultados, produtos e impacto) em uma Teoria Transformativa da Mudança, que permitiu aos parceiros do projeto para ver como eles se encaixam e contribuem para o sistema que procuram transformar, e (b) com base neste Transformative ToC, os parceiros foram capazes de extrair insights e lições de aprendizagem de segunda ordem sobre como disseminar os produtos/resultados dos projetos e como abordar projetos futuros (semelhantes) para melhorar seu potencial de transformação.
A série de blogs MOTION
Blog 1: Moving Applied Research Online Durante a Crise Corona: A Experiência MOTION
Blog 2: Capacitação MOTION: Como desenvolver uma teoria de mudança para a transformação de sistemas? Nossa sessão de treinamento na Conferência Internacional de Transições de Sustentabilidade (IST) 2020
Blog 3: A Narrativa sobre a Transformação para o Manejo Sustentável do Uso do Solo: Portfólio de Ações do SATURN
Blog 4: Quando os resultados transformativos encontram uma teoria da mudança: tornando os experimentos de política mais transformadores com MOTION
Blogue 5: Monitoramento, Avaliação e Aprendizagem para Projetos de Mudança Transformadora: Lições da Colaboração do MOTION com SuSMo, SATURN e ACT em NBS
Blogue 6: MOTION Engajamento Cidadão para Cidades Sustentáveis
Blogue 7: Resultados e reflexões do projeto MOTION