Indicadores de Cambio y Evaluación de la Teoría del Cambio
Además
de responder formalmente a fórmulas estándar ya establecidas desde el EML,
tales como las clásicas condiciones MARTE, los indicadores deben permitir ante
todo demostrar fehacientemente los niveles de transformación social alcanzados
en los contextos intervenidos a través de las iniciativas implementadas de
promoción del desarrollo, diferenciándolos claramente de aquellos donde no se
ha presentado dicha intervención. Esto implica, entre otras cosas, una
comparación temporal de los niveles logrados para los principales indicadores
descriptivos de la situación final con aquellos niveles diagnosticados para
estos mismos indicadores durante la situación inicial, y de ambos niveles con
aquellos previstos para una situación futura proyectada, con la intención de
medir los niveles de sostenibilidad que alcanzará la intervención realizada.
1. Definición de
Indicadores de Cambio
Los indicadores de
cambio son aquellos instrumentos de medición del nivel de logro alcanzado en
los procesos de transformación, y siguen la misma lógica de construcción que
los indicadores en el EML y la Gestión por Resultados. Es decir, como
fundamental criterio de calidad, estos indicadores mínimamente deben ser
Medibles, Asequibles, Realistas, Temporales y Específicos – MARTE (también
conocido como SMART, por sus siglas en inglés). Desde el enfoque de la TdC, los
indicadores son concebidos como medidores críticos de efectos/impactos alcanzados
desde una perspectiva de transformación social que proporcionan evidencia de
logro.
Por las características antes mencionadas de este
enfoque, los indicadores de cambio requieren de la instalación y mantenimiento
de observatorios permanentes especializados, los que posibilitarán la
actualización de la data de sustento para la adecuada construcción de
consistentes sistemas de monitoreo de entorno. De igual manera, estos
indicadores de cambio deben ser diseñados desde la perspectiva de los actores
involucrados (proporcionando información en torno a los aspectos de sus vidas
en los que se reflejarán los cambios, la temporalidad y alcance de dichos
cambios, así como los destinatarios directos e indirectos.
En cuanto a la cantidad óptima de indicadores de cambio, se recomienda que, por lo menos, cada resultado tenga un indicador que verifique periódicamente su nivel de avance. Además, un dato importante de mencionar en esta sección es que los orígenes de la TdC surgieron precisamente en el campo del seguimiento y la evaluación, razón por la cual se sigue privilegiando su aplicación en dichas etapas del ciclo de los proyectos y, consecuentemente, son éstas las etapas donde dicho enfoque muestra mayores niveles de desarrollo, aplicación y validación.
2. Tipso de Indicadores
de Cambio según Niveles de Intervención
Desde la
perspectiva del EML, cuando hablamos de Indicadores Verificables Objetivamente
(IVO) nos referimos a la suma de indicadores más sus respectivas metas. Las
matrices que se usan en este enfoque trabajan preferentemente con IVOs. Y
dichos IVOs se clasifican, de acuerdo a su nivel de intervención, en los
siguientes tipos: Eficiencia, Eficacia, Impacto, Sostenibilidad y Pertinencia.
3. Función de los
Indicadores de Cambio
La TdC fundamenta consistentemente el
conocimiento y comprensión de los procesos de transformación de manera que se
hace posible predecir, con un alto grado de confianza, cómo un conjunto de
actividades podría funcionar en diferentes escenarios, o qué ajustes deben
hacerse para optimizar el logro de los resultados. El conocimiento generado a
partir del seguimiento permanente de los indicadores de cambio permite que la
construcción de los escenarios futuros esté sustentada en evidencia validada y
demostrable. Por esta razón, siempre se recomienda que, como parte del sistema
de seguimiento y evaluación implementado, se realicen periódicamente estudios
específicos especializados en profundidad atendiendo las principales temáticas
observadas desde los mencionados indicadores.
Entre otros usos, estos
estudios integrantes de los sistemas de monitoreo y evaluación de los programas
y proyectos apuntan a respaldar un adecuado análisis de riesgos, cuyo objetivo
principal es determinar
aquellos factores que potencialmente podrían poner en peligro la viabilidad de
la intervención programada y/o la obtención de determinados efectos.
4. Los Sistemas de
Monitoreo y Evaluación
Un sistema de
M&E es un conjunto de herramientas metodológicas, bases de datos, procesos
y personal especializado dedicados a recoger, clasificar, actualizar, procesar,
analizar y difundir la información generada a través de la gestión de una
política, programa o proyecto con la finalidad de optimizar sus mecanismos de
toma de decisión.
La herramienta
más importante de un sistema de M&E es la Matriz de Indicadores, la misma
que contiene los principales procesos e instrumentos de medición. Los
indicadores son las medidas específicas que dan cuenta de los avances logrados
en el cumplimiento de los objetivos y metas planificadas para cada nivel de la
jerarquía de objetivos. De acuerdo a esta misma jerarquía, podemos encontrar en
estas matrices cuatro tipos de indicadores: impacto, efecto, producto y
proceso.
Otro de los
elementos fundamentales de los sistemas de M&E es la definición de los
roles de los actores en el proceso de gestión del conocimiento acumulado. Es
necesario explicitar quienes serán los actores que participarán directa e
indirectamente en dicha gestión y cuáles serán los roles específicos de estos
actores en las cuatro funciones básicas: recolección, procesamiento, análisis y
reporte. Asimismo, si dicha participación implica cierto grado de injerencia en
la toma de decisiones, esto también debe plantearse en las observaciones de la
matriz, indicando el nivel de decisión (nulo, bajo, medio o alto) que dichos
actores poseen. Desde la perspectiva de la TdC, esta información es clave, pues
forma parte del mapeo de distribución de poder que debe hacerse como parte del
Análisis Multiactor.
Al mismo
tiempo, dicha matriz, además de incluir todos los niveles de intervención
contemplados en los esquemas clásicos del EML (Impactos, Efectos, Productos e
Insumos), también debe incorporar la medición periódica de los supuestos de
intervención. La inclusión de los “Indicadores de Supuestos” no es una
propuesta nueva. Como hemos visto anteriormente, ya desde el año 1983, cuando
la Agencia Alemana de Cooperación Técnica (Deutsche Gesellschaft für
TechnischeZusammenarbeit – GTZ) crea el Método ZOPP (ZielOrientierte
ProjektPlanung), es decir, de Planificación de Proyectos Orientada a Objetivos,
la MPP utilizada por este método incluía una columna específica dedicada a la
medición de los supuestos.
Este formato de matriz facilita el seguimiento y evaluación de todos los indicadores, incluidos los de medición de supuestos, desde una perspectiva comparada, incorporando a la dinámica permanente de M&E el denominado “Monitoreo de Entorno”.
Frecuentemente, los sistemas de M&E han sido confundidos con sistemas de información. Esta comparación no es tan exacta pues los sistemas de información no necesariamente consideran un componente analítico y aplicativo de los contenidos. En este sentido, antes que sistemas de información, los sistemas de M&E son auténticas estructuras de gestión del conocimiento, orientados a la toma informada de decisiones estratégicas. Estos sistemas consideran como su principal activo a los actores de la intervención y su respectivo conocimiento.
Bibliografía
Chandler,
Alfred D. Jr., (1962/1998) “Strategy and Structure: Chapters in the History of
the American Industrial Enterprise”. MIT Press 1962/1998.
James, Cathy
(2011). “Theory of Change Review. A report commissioned by Comic Relief”. Comic
Relief.
Keystone
(2009). “Development a theory of change. A guide to developing a theory of
change as a framework for inclusive dialogue, learning and accountability for
social impact”. Keystone. Johannesbiurg.
Monje, José
Antonio (2017). Teoría del Cambio en Contextos Complejos: 40 lecciones para la
gestión de proyectos ágiles. 2da edición. Createspace Independent Publishing
Platform, Londres. ISBN 978-1544809984.
Sogge, David
(2004). “Dar y tomar. ¿Qué sucede con la ayuda internacional?”. Icaria.
Barcelona.
