TIPC has set about the crucial and challenging task of developing an approach to the evaluation of transformative policies and experiments that is consistent with its policy principles. This approach is termed Formative Evaluation and is being led by Partenaire TIPC, INGENIO.
In consideration, firstly TIP projects are ambitious and operate within complex environments and systems. It is not only a matter of developing a technology, or deploying it in a specific context. Transformation requires organisational, institutional and cultural changes. Many of these changes take place beyond the location and period of the initial project and intervention. If we wait to assess a policy until its potential impacts commencent à émerger, il peut être impossible d'attribuer de tels impacts aux politiques évaluées. Par conséquent, les leçons tirées de l'analyse seront obtenues trop tard pour être utilisées dans un processus d'apprentissage efficace. Nous devons résoudre les problèmes d'attribution et de synchronisation.
Deuxièmement, la pratique de l'évaluation dépend de la nature et de la portée de l'activité à évaluer, des ressources et de la capacité d'évaluation disponibles, du moment du processus politique auquel l'évaluation est introduite et de la structure de gouvernance au sein de laquelle l'activité évaluée est menée. . Les activités de TIPC sont menées dans des contextes très différents et impliquent une grande variété d'expériences internationales à travers trois pôles.
Bien que nous ne puissions pas développer un seul ensemble d'outils pour une applicabilité générale, TIPC a défini un cadre conceptuel et une approche générique qui peuvent résoudre les problèmes d'attribution et de synchronisation qui peuvent être adaptés aux circonstances locales.
Les principaux éléments de cette approche d'évaluation formative sont les suivants :
- Notre approche d'évaluation est formatif et inclusif. L'évaluation formative fait référence à un ensemble de principes et de pratiques établis de longue date qui visent à améliorer la conception et la mise en œuvre des politiques en étroite collaboration avec tous les agents participant ou bénéficiant directement de ces tâches.
- Il se concentre sur tl'identification et le suivi des résultats transformateurs. Le Transformative Innovation Policy Consortium (TIPC) dérive un ensemble de « douze résultats transformateurs » qui sont traçables et attribuables aux interventions politiques à l'étude, et qui peuvent être utilisés comme indicateurs pour savoir si et comment l'intervention déclenche des processus susceptibles de être de nature transformatrice.
- Les objectifs d'apprentissage sont au cœur de la démarche. Contrôler si et comment ces résultats émergent des interventions devient une étape dans un processus d'apprentissage qui orientera l'élaboration et la mise en œuvre des politiques vers les objectifs de transformation.
- L'approche utilise des « théories du changement » flexibles. La théorie du changement identifie les résultats transformateurs recherchés par l'intervention et la manière dont les interventions sont censées conduire à ces résultats. Au fur et à mesure que l'intervention évolue, les enseignements tirés du processus d'évaluation peuvent conduire à la révision et à l'adaptation de la théorie du changement.
- Il est basée sur une approche imbriquée à plusieurs niveaux. Plusieurs théories du changement interdépendantes peuvent être utilisées pour aborder différents niveaux d'activité politique : des projets qui opèrent au niveau d'une niche, des programmes impliquant une variété de projets transformateurs ou des combinaisons de politiques déployant des outils dans différents secteurs politiques. À différents niveaux d'activité politique, nous nous attendons à ce que les résultats transformateurs les plus pertinents recherchés soient également différents. La conception de ces TdC est informée par la théorie des transitions.