TIPC no solo se dedica a crear nuevos marcos de políticas para el cambio transformador; Un enfoque programático clave para el Consorcio también es la evaluación de tales políticas. A veces, la evaluación se ha entendido como una palabra de moda para los investigadores, las agencias de financiación, los encargados de la formulación de políticas, los gobiernos y las ONG, que se encuentran bajo una presión cada vez mayor para proporcionar resultados medibles que demuestren la eficacia o eficiencia de sus proyectos. Pero, ¿las estrategias de evaluación actuales son “adecuadas para el propósito” del marco emergente de la Política de Innovación Transformativa (TIP)? En sus esfuerzos por demostrar ese impacto siempre esquivo, muchos proyectos pueden ahogarse en un mar de indicadores que exigen estudios de caso y estadísticas concisos, convirtiendo la evaluación en una lista de verificación sin sentido.
En lugar de actuar como un control superficial en puntos específicos del proyecto, la evaluación en su forma más efectiva debería ser parte del núcleo de la política, en diferentes niveles de implementación (por ejemplo, programa, proyecto). TIPC busca entretejer la estrategia de evaluación dentro del proceso de experimentación de políticas. La creación conjunta de nuevos marcos de políticas significará la creación conjunta de nuevas estrategias de evaluación: las políticas transformadoras requieren una evaluación transformadora. El Consorcio avanza hacia el desarrollo de una estrategia de evaluación (basada en una Teoría del Cambio genérica, entre otras), y un conjunto de lineamientos que permitan evaluar la experimentación de políticas y las contribuciones de las Agencias Nacionales de Ciencia y Tecnología a las transformaciones socio-técnicas. sistemas hacia transiciones sostenibles.
¿Cómo sería una estrategia de evaluación para TIP? La Política de Innovación Transformativa (TIP) se diferencia de los marcos anteriores en que busca explícitamente abordar los desafíos sociales y ambientales desde el principio, en lugar de asumir, o, de hecho, esperar que el crecimiento económico eventualmente resulte en la resolución de problemas sociales y ambientales relevantes. . Esto en sí mismo significará que los criterios de evaluación serán extremadamente diferentes de las evaluaciones de políticas anteriores. En los próximos meses, los miembros del consorcio TIPC reflexionarán sobre qué estrategias de evaluación podrían funcionar en sus entornos de políticas, contribuyendo a un marco de evaluación general. Los elementos y áreas que el equipo del Consorcio explorará incluirán la búsqueda de herramientas, métodos, preguntas, criterios, sistemas de gobernanza y procesos de evaluación.
Una teoría del cambio (transformador):
Un primer paso importante es crear una Teoría del Cambio (TdC) para la Política de Innovación Transformadora. Un ToC es una herramienta de planificación evaluativa que permite a las partes interesadas trabajar hacia atrás desde los objetivos de la política, mapeando los resultados y productos esperados, los procesos y los insumos que serán necesarios para lograr los objetivos del proyecto. A través de esto, se establece una ruta explícita para el marco y los evaluadores. A partir de una Teoría del Cambio genérica que expondrá cómo múltiples experimentos de TIP finalmente alimentarán un cambio positivo en el sistema socio-técnico más amplio, también será necesario que haya TdC más específicos para que los experimentos individuales reflejen la diversidad contextual en la que existen.
Planificación y participación en la evaluación:
El proceso de una evaluación en sí mismo debe reflejar el marco de la política que está evaluando; así como esperamos que los procesos de creación de TIP sean inclusivos y participativos, también debe serlo la evaluación. Las evaluaciones tradicionales suelen estar dirigidas por actores externos, expertos especializados en evaluación que implementan y planifican el proceso. En contraste, es crucial para TIPC que los actores que están involucrados en experimentos de políticas también participen en (casi) todas las etapas de la evaluación de esos experimentos, con expertos externos actuando principalmente como facilitadores. La inclusividad que caracteriza el proceso de experimentación de políticas también debe manifestarse en el proceso de evaluación; Se debe prestar especial atención a las dinámicas de poder que determinan qué voces se suelen escuchar más que otras.
Nuevas preguntas, nuevas respuestas:
Una evaluación puede ser buena solo si las preguntas que la impulsan son claras. Como las preguntas que conducirán los experimentos de políticas de la TIPC deberían ser muy diferentes de los enfoques de políticas anteriores, las preguntas de evaluación deberían ser diferentes. Generalmente, las etapas de una evaluación se enfocan en 4 áreas: impactos, resultados, proceso (o actividades) e insumos. Pero dentro de esas cuatro áreas, también deberíamos plantearnos algunas preguntas clave que asumen una relevancia especial para la evaluación del TIP.
- ¿Qué se generó?
Los resultados son resultados directos de experimentos o procesos de políticas, y para muchos programas o proyectos a menudo incluyen informes, hallazgos o documentos que se producen. Para TIPC, los resultados de interés son aquellos que permiten a los actores continuar mejorando y contribuyendo a más iniciativas transformadoras. Estos serán los resultados de un proceso de aprendizaje, como las capacidades desarrolladas por los actores o el conocimiento procesable que se pueda llevar adelante. También se podrían explorar los cambios dentro de las organizaciones que llevaron a cabo el experimento, ya sea estructural, una adopción de más experimentación o nuevos métodos que ahora se están adoptando en relación específica con el cambio transformador y las innovaciones transformadoras. ¿Los actores involucrados en el experimento han aprendido alguna habilidad nueva y con la que se pueda relacionar que puedan usarse para promover la experimentación en el cambio transformador? Y, lo que es más importante, ¿los actores han reflexionado profundamente sobre sus prácticas y rutinas socio-técnicas actuales? ¿Podemos observar transformaciones en narrativas, comportamientos y redes en relación a los regímenes socio-técnicos existentes?
- ¿Qué se logró?
El impacto es a menudo lo que más les interesa a los responsables de la formulación de políticas en lo que respecta a la evaluación de políticas. Para TIPC, los impactos de interés deben relacionarse con los desafíos sociales y / o ambientales que se han abordado, especialmente aquellos relacionados con los Objetivos de Desarrollo Sostenible (ODS). Tomando los ODS como punto de partida, las posibles preguntas a considerar podrían ser si se han abordado o no ODS específicos y con qué éxito. En este sentido, es importante definir - dentro de este contexto - qué es un 'éxito', y evitar hablar de 'atribución de efecto' a favor de la idea de factores que contribuyen al cambio transformador. ¿Cómo podemos evaluar la contribución a una transición hacia la sostenibilidad en sistemas socio-técnicos específicos?
- ¿Cómo se completó?
Trazar y evaluar el proceso de una experimentación a menudo puede arrojar luz sobre cómo se logró el éxito (o incluso el fracaso) y cómo se podría mejorar el proceso en el futuro. A diferencia de otros proyectos, un experimento TIPC fallido no se considerará un fracaso; Todavía habrá valiosas lecciones de aprendizaje del proceso de ese experimento que conducirán al éxito y al aprendizaje en proyectos futuros. Para TIPC, los experimentos de políticas deben brindar oportunidades para la reflexividad y el aprendizaje profundo. ¿Cómo afectó la dinámica del poder a los procesos de toma de decisiones y aprendizaje? ¿Se han considerado diferentes direcciones para la tecnología y vías de cambio?
- ¿Qué se invirtió?
A menudo, los evaluadores y los formuladores de políticas se centran en insumos clave como los recursos financieros o los recursos humanos. Si bien esto definitivamente debe ser un factor, el proceso de evaluación de los insumos para TIPC deberá enfocarse en elementos menos tangibles pero igualmente importantes. Para lograr una evaluación participativa con éxito, debe estar presente la confianza, así como el apoyo, el compromiso y la experiencia. ¿Hubo una voluntad colectiva de colaborar sobre una base mutua? ¿Se reconocieron intereses diferentes y en conflicto?
¿Qué se aprendió? Un enfoque formativo para la evaluación de TIP
La evaluación de los TIP para las transiciones de sostenibilidad presenta mayores desafíos que requieren una cuidadosa reflexión sobre el enfoque de evaluación que se utilizará. En este sentido, una oportunidad surge de revisar la literatura existente en combinación con la experiencia de los formuladores de políticas y los activistas locales involucrados en las políticas de CTI y, a veces, en los procesos transformadores. Una primera conclusión que parece surgir es que existe la necesidad de un enfoque formativo para la evaluación de políticas, donde el aprendizaje de segundo orden (profundo) y la reflexividad son elementos centrales. La función de la evaluación del TIP debe ser formativa en lugar de tener fines de rendición de cuentas. Esto también refuerza las conexiones necesarias entre la Evaluación y otras actividades centrales del Consorcio: el desarrollo de capacidades en primer lugar, pero también la experimentación y la investigación.
Con este telón de fondo, TIPC puede desarrollar un marco de evaluación consistente para entregar una estrategia de evaluación más específica y un conjunto de pautas. Trabajar hacia un nuevo enfoque para la evaluación transformadora es un proceso reflexivo y participativo que se entrelaza en todas las etapas del experimento y la creación de un marco de políticas. A medida que el marco evoluciona y se adapta, también lo hará la evaluación. Los experimentos de políticas de innovación transformadora necesitarán una nueva estrategia de evaluación que debe crearse conjuntamente a través de los mismos actores que llevan a cabo los experimentos de políticas. A medida que el Consorcio profundice en los supuestos y mecanismos subyacentes en la base de sus próximos experimentos de políticas, habrá espacio para diseñar estrategias de evaluación específicas para la Política de innovación transformadora.