TIPC
Procurar

Uma abordagem formativa para avaliação da Política de Inovação Transformativa

Blog

A TIPC não está apenas no negócio de criar novas estruturas de políticas para mudanças transformadoras; um foco programático chave para o Consórcio também é a avaliação de tais políticas. Às vezes, avaliação tem sido entendida como uma palavra da moda para pesquisadores, agências de financiamento, formuladores de políticas, governos e ONGs, que estão sob pressão crescente para fornecer resultados mensuráveis que demonstrem a eficácia ou eficiência de seus projetos. Mas as estratégias de avaliação atuais são “adequadas ao propósito” da estrutura emergente da Política de Inovação Transformativa (TIP)? Em seus esforços para demonstrar esse impacto sempre evasivo, muitos projetos podem se afogar em um mar de indicadores que exigem estudos de caso e estatísticas incisivos, transformando a avaliação em uma lista de verificação sem sentido.

Em vez de atuar como uma verificação superficial em pontos específicos do projeto, a avaliação, em sua forma mais eficaz, deve ser parte do núcleo da política, em diferentes níveis de implementação (por exemplo, programa, projeto). A TIPC busca entrelaçar a estratégia de avaliação no processo de experimentação de políticas. A cocriação de novos quadros de políticas significará a cocriação de novas estratégias de avaliação - Políticas transformativas requerem avaliação transformativa. O Consórcio avança no sentido de desenvolver uma estratégia de avaliação (baseada numa Teoria da Mudança genérica, entre outras), e um conjunto de diretrizes que permitirão avaliar a experimentação de políticas e as contribuições das Agências Nacionais de Ciência e Tecnologia para as transformações sócio-técnicas. sistemas em direção a transições sustentáveis.

Como poderia ser uma estratégia de avaliação para o TIP? A Política de Inovação Transformativa (TIP) difere das estruturas anteriores porque busca explicitamente abordar os desafios sociais e ambientais no início, em vez de assumir - ou, de fato, esperar - que o crescimento econômico acabará resultando na resolução de problemas sociais e ambientais relevantes . Isso por si só significa que os critérios de avaliação serão extremamente diferentes das avaliações de políticas anteriores. Nos meses seguintes, os membros do consórcio TIPC estarão refletindo sobre quais estratégias de avaliação poderiam funcionar em seus ambientes políticos, contribuindo para uma estrutura de avaliação geral. Os elementos e áreas que a equipe do Consórcio irá explorar incluirão a análise de ferramentas, métodos, questões, critérios, sistemas de governança e processos de avaliação.

Uma Teoria da Mudança (Transformativa):

Um primeiro passo importante é a criação de uma Teoria da Mudança (ToC) para a Política de Inovação Transformativa. Um ToC é uma ferramenta de planejamento avaliativo que permite que as partes interessadas trabalhem de trás para frente a partir dos objetivos da política, mapeando os resultados e produtos esperados, processos e entradas que precisarão acontecer para atingir as metas do projeto. Com isso, um caminho explícito é traçado para a estrutura e os avaliadores. A partir de uma Teoria da Mudança genérica que irá estabelecer como vários experimentos TIP acabarão por alimentar uma mudança positiva no sistema sociotécnico mais amplo, também será necessário haver ToCs mais específicos para experimentos individuais para refletir a diversidade contextual em que existem.

Planejando e participando da avaliação:

O próprio processo de avaliação deve refletir a estrutura da política que está avaliando; como esperamos que os processos de criação do TIP sejam inclusivos e participativos, a avaliação também deve ser. As avaliações tradicionais são frequentemente conduzidas por atores externos, especialistas especializados em avaliação que implementam e planejam o processo. Em contraste, é crucial para o TIPC que os atores envolvidos em experimentos de política também participem de (quase) todos os estágios da avaliação desses experimentos, com especialistas externos atuando principalmente como facilitadores. A inclusividade que caracteriza o processo de experimentação de políticas também deve se manifestar no processo de avaliação; deve-se prestar atenção, em particular, à dinâmica de poder que determina quais vozes geralmente são ouvidas mais do que outras.

Novas perguntas, novas respostas:

Uma avaliação só pode ser boa se as questões que a motivam forem claras. Como as questões que conduzirão os experimentos de política da TIPC devem ser muito diferentes das abordagens de política anteriores, as questões de avaliação devem ser diferentes. Geralmente, os estágios de uma avaliação se concentram em 4 áreas - impactos, resultados, processo (ou atividades) e entradas. Mas, dentro dessas quatro áreas, devemos também fazer algumas perguntas-chave que assumem uma relevância especial para a avaliação do TIP.

  1. O que foi gerado?

Os resultados são resultados diretos de experimentos ou processos de políticas e, para muitos programas ou projetos, geralmente incluem relatórios, descobertas ou artigos produzidos. Para a TIPC, os resultados de interesse são aqueles que permitem aos atores continuar a melhorar e contribuir para novas iniciativas transformadoras. Esses serão os resultados de um processo de aprendizagem, como quaisquer capacidades desenvolvidas de atores ou conhecimento acionável que pode ser levado adiante. Mudanças dentro das organizações que realizaram o experimento também poderiam ser exploradas, sejam elas estruturais, uma aceitação em mais experimentação ou novos métodos que agora estão sendo adotados em relação específica à mudança transformativa e inovações transformadoras. Os atores envolvidos no experimento aprenderam alguma habilidade nova e identificável que poderia ser usada para promover a experimentação em mudanças transformadoras? E, mais importante, os atores refletiram profundamente sobre suas práticas e rotinas sociotécnicas atuais? Podemos observar transformações em narrativas, comportamentos e redes em relação aos regimes sociotécnicos existentes?

  1. O que foi realizado?

O impacto geralmente é o que mais interessa aos formuladores de políticas no que diz respeito à avaliação de políticas. Para a TIPC, os impactos de interesse devem estar relacionados aos desafios sociais e / ou ambientais que foram abordados, especialmente aqueles relacionados aos Objetivos de Desenvolvimento Sustentável (ODS). Tomando os ODS como ponto de partida, as possíveis questões a serem consideradas podem indagar se os ODS específicos foram ou não abordados e com que sucesso. Neste sentido, é importante definir - neste contexto - o que é um 'sucesso', evitando falar em 'atribuição de efeito' a favor da ideia de fatores que contribuem para a mudança transformadora. Como podemos avaliar a contribuição para uma transição em direção à sustentabilidade em sistemas sociotécnicos específicos?

  1. Como foi concluído?

Traçar e avaliar o processo de uma experimentação muitas vezes pode lançar luz sobre como o sucesso (ou mesmo o fracasso) foi alcançado e como o processo poderia ser melhorado no futuro. Ao contrário de outros projetos, um experimento TIPC malsucedido não será considerado um fracasso; ainda haverá lições de aprendizado valiosas do processo desse experimento que levarão ao sucesso e ao aprendizado em projetos futuros. Para a TIPC, os experimentos de política devem fornecer oportunidades para reflexividade e aprendizado profundo. Como a dinâmica de poder afetou os processos de tomada de decisão e aprendizagem? Foram consideradas diferentes direções para a tecnologia e caminhos de mudança?

  1. O que foi investido?

Freqüentemente, os avaliadores e formuladores de políticas se concentram nos principais insumos, como recursos financeiros ou Recursos Humanos. Embora isso deva definitivamente ser um fator, o processo de avaliação dos insumos para o TIPC precisará se concentrar em elementos menos tangíveis, mas igualmente importantes. Para que a avaliação participativa seja alcançada com sucesso, a confiança deve estar presente, bem como o apoio, o compromisso e a experiência. Houve uma vontade coletiva de colaborar em bases mútuas? Foram reconhecidos interesses diferentes e conflitantes?

O que foi aprendido? Uma abordagem formativa para avaliação TIP

A avaliação dos TIPs para transições de sustentabilidade apresenta desafios maiores que precisam de uma reflexão cuidadosa sobre a abordagem de avaliação a ser usada. Nesse sentido, surge uma oportunidade com a revisão da literatura existente em combinação com a experiência de formuladores de políticas e ativistas locais envolvidos em políticas de CTI e - às vezes - em processos transformativos. Uma primeira conclusão que parece emergir é que há uma necessidade de uma abordagem formativa para a avaliação de políticas, onde a aprendizagem de segunda ordem (profunda) e a reflexividade são elementos centrais. A função de avaliação do TIP deve ser formativa e não para fins de prestação de contas. Isso também reforça as conexões necessárias entre a Avaliação e outras atividades centrais do Consórcio: capacitação em primeiro lugar, mas também experimentação e pesquisa.

Com este pano de fundo, a TIPC pode desenvolver uma estrutura de avaliação consistente para fornecer uma estratégia de avaliação mais específica e um conjunto de diretrizes. Trabalhar em direção a uma nova abordagem para a avaliação transformativa é um processo reflexivo e participativo que está entrelaçado em todos os estágios do experimento e da criação de uma estrutura de política. À medida que a estrutura evolui e se adapta, o mesmo ocorre com a avaliação. Os experimentos de Política de Inovação Transformativa precisarão de uma nova estratégia avaliativa que deve ser co-criada pelos mesmos atores que conduzem os experimentos de política. À medida que o Consórcio se aprofunda nas suposições e mecanismos subjacentes aos seus próximos experimentos de política, haverá espaço para projetar estratégias de avaliação específicas para a Política de Inovação Transformativa.

Deixe um comentário

O seu endereço de e-mail não será publicado.