TIPC has set about the crucial and challenging task of developing an approach to the evaluation of transformative policies and experiments that is consistent with its policy principles. This approach is termed Formative Evaluation and is being led by Parceiro TIPC, INGENIO.
In consideration, firstly TIP projects are ambitious and operate within complex environments and systems. It is not only a matter of developing a technology, or deploying it in a specific context. Transformation requires organisational, institutional and cultural changes. Many of these changes take place beyond the location and period of the initial project and intervention. If we wait to assess a policy until its potential impactos estão começando a surgir, pode ser impossível atribuir tais impactos às políticas em avaliação. Portanto, as lições derivadas da análise serão obtidas tarde demais para serem usadas em um processo de aprendizagem eficaz. Precisamos resolver os problemas de atribuição e tempo.
Em segundo lugar, a prática de avaliação depende da natureza e do escopo da atividade a ser avaliada, dos recursos e da capacidade de avaliação disponíveis, do ponto no processo político em que a avaliação é introduzida e da estrutura de governança na qual a atividade em avaliação é conduzida. . As atividades do TIPC são realizadas em contextos muito diferentes e envolvem uma ampla variedade de experimentos internacionais em três centros.
Embora não possamos desenvolver um único conjunto de ferramentas para aplicabilidade geral, a TIPC definiu uma estrutura conceitual e uma abordagem genérica que pode abordar questões de atribuição e tempo que podem ser adaptadas às circunstâncias locais.
Os principais elementos desta abordagem de avaliação formativa são os seguintes:
- Nossa abordagem de avaliação é formativa e inclusiva. A avaliação formativa refere-se a um conjunto de princípios e práticas de longa data que visam melhorar o desenho e a implementação de políticas em estreita colaboração com todos os agentes participantes ou diretamente beneficiados por essas tarefas.
- Ele se concentra em tidentificação e monitoramento de resultados transformadores. O Transformative Innovation Policy Consortium (TIPC) está derivando um conjunto de “doze resultados transformadores” que são rastreáveis e atribuíveis às intervenções políticas em consideração, e que podem ser usados como indicadores de se e como a intervenção está desencadeando processos que provavelmente ser transformador por natureza.
- Os objetivos de aprendizagem estão no centro da abordagem. Monitorar se e como esses resultados estão surgindo das intervenções torna-se um passo em um processo de aprendizado que orientará o desenvolvimento e a implementação de políticas para os objetivos transformadores.
- A abordagem utiliza flexíveis “Teorias da Mudança”. O ToC identifica os resultados transformadores que a intervenção está buscando e as maneiras pelas quais se espera que as intervenções levem a tais resultados. À medida que a intervenção evolui, as lições aprendidas com o processo de avaliação podem levar à revisão e adaptação do ToC.
- Isto é com base em uma abordagem aninhada de vários níveis. Várias Teorias da Mudança inter-relacionadas podem ser usadas para abordar diferentes níveis de atividade política: projetos que operam em nível de nicho, programas envolvendo uma variedade de projetos transformadores ou combinações de políticas implantando ferramentas em diferentes setores políticos. Em diferentes níveis de atividade política, esperamos que os resultados transformadores mais relevantes perseguidos também sejam diferentes. O design desses ToCs é informado pela teoria das transições.