TIPC
Chercher

Une approche formative pour l'évaluation de la politique d'innovation transformatrice

Blog

TIPC n'a pas seulement pour mission de créer de nouveaux cadres politiques pour un changement transformateur ; l'évaluation de ces politiques est également un objectif clé du programme du Consortium. Parfois, l'évaluation a été comprise comme un mot à la mode pour les chercheurs, les agences de financement, les décideurs, les gouvernements et les ONG, qui subissent une pression croissante pour fournir des résultats mesurables qui démontrent l'efficacité ou l'efficience de leurs projets. Mais les stratégies d'évaluation actuelles sont-elles adaptées au cadre émergent de la politique d'innovation transformatrice (TIP) ? Dans leurs efforts pour démontrer cet impact toujours insaisissable, de nombreux projets peuvent se noyer dans une mer d'indicateurs qui exigent des études de cas et des statistiques concises, transformant l'évaluation en une liste de contrôle dénuée de sens.

Plutôt que d'agir comme un contrôle superficiel à des points spécifiés du projet, l'évaluation à son niveau le plus efficace devrait faire partie du noyau de la politique, à différents niveaux de mise en œuvre (par exemple, programme, projet). TIPC cherche à imbriquer la stratégie d'évaluation dans le processus d'expérimentation des politiques. La co-création de nouveaux cadres politiques signifiera la co-création de nouvelles stratégies d'évaluation – Les politiques transformatrices nécessitent une évaluation transformatrice. Le Consortium s'oriente vers l'élaboration d'une stratégie d'évaluation (basée sur une théorie générique du changement, entre autres) et d'un ensemble de lignes directrices qui permettront d'évaluer l'expérimentation politique et les contributions des Agences nationales pour la science et la technologie aux transformations des systèmes vers des transitions durables.

À quoi pourrait ressembler une stratégie d'évaluation pour la TP ? La politique d'innovation transformatrice (TIP) diffère des cadres précédents en ce qu'elle cherche explicitement à relever les défis sociaux et environnementaux dès le début, plutôt que de supposer - ou, en fait, d'espérer - que la croissance économique aboutira à terme à la résolution des problèmes sociaux et environnementaux pertinents. . Cela signifie en soi que les critères d'évaluation seront extrêmement différents des évaluations politiques précédentes. Au cours des prochains mois, les membres du consortium TIPC réfléchiront aux stratégies d'évaluation qui pourraient fonctionner dans leurs environnements politiques, contribuant ainsi à un cadre d'évaluation global. Les éléments et les domaines que l'équipe du consortium explorera comprendront l'examen des outils, des méthodes, des questions, des critères, des systèmes de gouvernance et des processus d'évaluation.

Une théorie du changement (transformatif) :

Une première étape importante consiste à créer une théorie du changement (ToC) pour une politique d'innovation transformatrice. Une TdC est un outil de planification évaluative qui permet aux parties prenantes de travailler à rebours à partir des objectifs politiques, en cartographiant les résultats et les extrants attendus, les processus et les intrants qui seront nécessaires pour atteindre les objectifs du projet. Grâce à cela, un cheminement explicite est tracé pour le cadre et les évaluateurs. À partir d'une théorie du changement générique qui expliquera comment plusieurs expériences TIP contribueront finalement à un changement positif dans le système sociotechnique plus large, il faudra également des ToC plus spécifiques pour les expériences individuelles afin de refléter la diversité contextuelle dans laquelle elles existent.

Planification et participation à l'évaluation :

Le processus d'évaluation lui-même doit refléter le cadre de la politique qu'il évalue ; comme nous nous attendons à ce que les processus de création de TIP soient inclusifs et participatifs, l'évaluation doit l'être aussi. Les évaluations traditionnelles sont souvent menées par des acteurs externes, des experts spécialisés en évaluation qui mettent en œuvre et planifient le processus. En revanche, il est crucial pour le TIPC que les acteurs impliqués dans les expériences politiques participent également à (presque) toutes les étapes de l'évaluation de ces expériences, les experts externes jouant principalement le rôle de facilitateurs. L'inclusivité qui caractérise le processus d'expérimentation des politiques devrait également se manifester dans le processus d'évaluation ; une attention particulière doit être portée aux dynamiques de pouvoir qui déterminent quelles voix sont généralement plus entendues que d'autres.

Nouvelles questions, nouvelles réponses :

Une évaluation ne peut être bonne que si les questions qui la motivent sont claires. Étant donné que les questions qui mèneront les expériences politiques du TIPC devraient être très différentes des approches politiques précédentes, les questions d'évaluation devraient donc être différentes. Généralement, les étapes d'une évaluation se concentrent sur 4 domaines – impacts, résultats, processus (ou activités) et intrants. Mais à l'intérieur de ces quatre domaines, nous devrions également nous poser quelques questions clés qui revêtent une importance particulière pour l'évaluation de la TIP.

  1. Qu'est-ce qui a été généré ?

Les résultats sont les résultats directs d'expériences ou de processus politiques et, pour de nombreux programmes ou projets, comprennent souvent des rapports, des conclusions ou des documents produits. Pour le TIPC, les résultats d'intérêt sont ceux qui permettent aux acteurs de continuer à s'améliorer et à contribuer à d'autres initiatives de transformation. Ceux-ci seront les résultats d'un processus d'apprentissage, tels que les capacités construites des acteurs ou les connaissances exploitables qui peuvent être mises en œuvre. Les changements au sein des organisations qui ont entrepris l'expérience pourraient également être explorés, qu'ils soient structurels, une augmentation de l'expérimentation ou de nouvelles méthodes qui sont maintenant adoptées en relation spécifique avec le changement transformateur et les innovations transformatrices. Les acteurs impliqués dans l'expérience ont-ils acquis de nouvelles compétences pertinentes qui pourraient être utilisées pour faire avancer l'expérimentation du changement transformateur ? Et surtout, les acteurs ont-ils profondément réfléchi à leurs pratiques et routines sociotechniques actuelles ? Peut-on observer des transformations dans les récits, les comportements et les réseaux en relation avec les régimes sociotechniques existants ?

  1. Qu'est-ce qui a été accompli?

L'impact est souvent la chose qui intéresse le plus les décideurs en ce qui concerne l'évaluation des politiques. Pour le TIPC, les impacts d'intérêt doivent être liés aux défis sociaux et/ou environnementaux qui ont été relevés, en particulier ceux qui sont liés aux Objectifs de développement durable (ODD). En prenant les ODD comme point de départ, les questions possibles à considérer pourraient demander si oui ou non des ODD spécifiques ont été abordés et avec quel succès. En ce sens, il est important de définir – dans ce contexte – ce qu'est un « succès » et d'éviter de parler d'« attribution d'effet » au profit de l'idée de facteurs contribuant au changement transformateur. Comment évaluer la contribution à une transition vers la durabilité dans des systèmes sociotechniques spécifiques ?

  1. Comment s'est-il terminé ?

Tracer et évaluer le processus d'une expérimentation peut souvent faire la lumière sur la façon dont le succès (ou même l'échec) a été atteint, et comment le processus pourrait être amélioré à l'avenir. Contrairement à d'autres projets, une expérience TIPC infructueuse ne sera pas considérée comme un échec ; il y aura toujours des leçons précieuses à tirer du processus de cette expérience qui conduiront au succès et à l'apprentissage dans les projets futurs. Pour TIPC, les expérimentations politiques doivent offrir des opportunités de réflexivité et d'apprentissage en profondeur. Comment la dynamique du pouvoir a-t-elle affecté les processus de prise de décision et d'apprentissage ? Différentes directions technologiques et voies de changement ont-elles été envisagées ?

  1. Qu'est-ce qui a été investi?

Souvent, les évaluateurs et les décideurs se concentrent sur des intrants clés tels que les ressources financières ou les ressources humaines. Bien que cela doive certainement être un facteur, le processus d'évaluation des intrants pour le TIPC devra se concentrer sur des éléments moins tangibles mais tout aussi importants. Pour réussir l'évaluation participative, la confiance doit être présente ainsi que le soutien, l'engagement et l'expertise. Y a-t-il eu une volonté collective de collaborer sur une base mutuelle ? Des intérêts différents et conflictuels ont-ils été reconnus ?

Qu'est-ce qui a été appris ? Une approche formative pour l'évaluation de la TIP

L'évaluation des TIP pour les transitions vers la durabilité présente des défis plus importants qui nécessitent une réflexion approfondie sur l'approche d'évaluation à utiliser. En ce sens, une opportunité vient de l'examen de la littérature existante en combinaison avec l'expérience des décideurs politiques et des militants locaux impliqués dans la politique STI et - parfois - les processus de transformation. Une première conclusion qui semble émerger est qu'il existe un besoin d'une approche formative de l'évaluation des politiques, où l'apprentissage de second ordre (en profondeur) et la réflexivité sont des éléments centraux. La fonction d'évaluation de TIP devrait être formative plutôt qu'à des fins de responsabilisation. Cela renforce également les liens nécessaires entre l'Evaluation et les autres activités centrales du Consortium : le renforcement des capacités d'abord, mais aussi l'expérimentation et la recherche.

Dans ce contexte, TIPC peut développer un cadre d'évaluation cohérent pour fournir une stratégie d'évaluation plus spécifique et un ensemble de directives. Travailler vers une nouvelle approche pour l'évaluation transformatrice est un processus réflexif et participatif qui est imbriqué à toutes les étapes de l'expérimentation et de la création d'un cadre politique. Au fur et à mesure que le cadre évolue et s'adapte, l'évaluation évoluera également. Les expériences de politique d'innovation transformatrice auront besoin d'une nouvelle stratégie d'évaluation qui doit être co-créée par les mêmes acteurs qui mènent les expériences de politique. Au fur et à mesure que le Consortium approfondira les hypothèses et les mécanismes sous-jacents à la base de ses prochaines expériences politiques, il y aura de la place pour concevoir des stratégies d'évaluation spécifiques pour la politique d'innovation transformatrice.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *