Departamento Nacional de Planeacin G u a para elaboracin de I N D I C A D O R E S Grupo Asesor de la Gestin de Programas y Proyectos de Inversin Pblica GAPI

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 1 PRESENTACIN La evaluacin y el seguimiento son insumos bsicos para tomar decisiones y mejorar los resultados de las polticas pblicas La forma ms efectiva de recibir apoyo y recursos para sus proyectos, programas o polticas, es mostrando resultados Para mostrar resultados, se deben hacer mediciones y para hacer mediciones adecuadas es necesario utilizar buenos indicadores Todo buen indicador debe ser claro, relevante con el objeto de medicin y debe proporcionar informacin peridica para medir si se lograron o no los objetivos propuestos Una gestin orientada a resultados no es posible sin indicadores que permitan la adecuada medicin de dichos resultados Los indicadores son instrumentos centrales en la gerencia pblica moderna, toda vez que permiten hacer seguimiento y evaluacin1. Con el propsito de fortalecer la capacidad de las entidades pblicas en la elaboracin de indicadores, esta gua explica cmo elaborar indicadores segn la parte del proceso de una poltica, programa o proyecto que se desee evaluar. La gua tiene como objetivo adicional homologar definiciones y procesos en torno a la elaboracin de indicadores en la administracin pblica colombiana. La gua desarrolla tres pasos: i) Qu se quiere medir?, ii) Cmo seleccionar el mejor indicador? y; iii) Que informacin se requiere para medir? El desarrollo de cada paso se ilustra con un ejemplo y se incluye un formato gua para el registro de los resultados. Este documento hace parte de los instrumentos metodolgicos del Sistema Nacional de Evaluacin Sinergia- y fue elaborado por el equipo tcnico de la Direccin de Evaluacin de Polticas Pblicas DEPP- y el Grupo Asesor de la Gestin de Programas y Proyectos de Inversin Pblica GAPI- del Departamento Nacional de Planeacin (antes BPIN). 1 El seguimiento es la recoleccin y anlisis continuo de informacin til para tomar decisiones durante la implementacin de una poltica, programa o proyecto, con base en una comparacin entre los resultados esperados y el estado de avance de los mismos. La evaluacin es una valoracin exhaustiva y sistemtica de una intervencin del Estado y sus efectos (positivos o negativos, esperados o no) para determinar su relevancia, eficiencia, efectividad, impacto o sostenibilidad. El objetivo fundamental de evaluar, es incorporar las lecciones aprendidas para mejorar las decisiones relacionadas con mantener, ampliar, reorientar, crear o eliminar una poltica, un programa o un arreglo institucional. (The World Bank- IBRD, Designing and Building a Results-Based Monitoring and Evaluation System, 2000).

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 2 CONTENIDO Pgina Presentacin 1 1. Primer paso: Qu se quiere medir y cmo formular indicadores? 3 2. Segundo paso: Cmo seleccionar el mejor indicador? 8 3. Tercer paso: Que informacin se requiere para medir? 9 Glosario de trminos bsicos en evaluacin 14 Bibliografa 18

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 3 Un indicador es la representacin cuantitativa que sirve para medir el cambio de una variable comparada con otra. Sirve para valorar el resultado medido y para medir el logro de objetivos de polticas, programas y proyectos. Un buen indicador debe ser claro, relevante con el objeto de medicin y debe proporcionarse peridicamente. 1. PRIIMER PASO:: QU SE QUIIERE MEDIIR Y COMO FORMULAR IINDIICADORES? El propsito de este paso es identificar el objeto de medicin, es decir que es lo que se quiere medir con el indicador? Para esto es necesario tener en cuenta los siguientes aspectos. A. Cul es la poltica, programa o proyecto que desea evaluar? Ejemplo Programa para la integracin de infraestructura de zonas apartadas -PIIZA B. Qu aspecto le interesa evaluar de esa poltica, programa o proyecto? (Use la Figura 1 como orientacin) Ejemplo Interesa evaluar los productos inmediatos generados por el programa PIIZA

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 4 Figura 1 Aspectos evaluables de una poltica, programa y/o proyecto Fuente: Sinergia DNP a partir de IBRD, 2000. C. Qu es lo que especficamente le interesa evaluar de ese aspecto de la poltica, programa o proyecto seleccionado en la pregunta anterior? (Use la Figura 2 como orientacin) Ejemplo Interesa comprobar la construccin real de los 800 kilmetros de carreteras previstos Formulacin Planes de desarrollo, objetivos, estrategias y planes de accin de una poltica, programa o proyecto Insumos Recursos financieros, humanos y fsicos que se requieren para adelantar las acciones de una poltica, programa o proyecto Gestin Desarrollo de todas las intervenciones de una poltica, programa o proyecto que transforman sus insumos en productos Productos Productos y servicios consecuencia inmediata de las actividades de una poltica, programa o proyecto Resultados de corto plazo Efectos inmediatos de los productos de una poltica, programa o proyecto, sobre la poblacin afectada Impactos de largo plazo Efectos a largo plazo sobre la poblacin en general atribuibles a la implementacin de una poltica, programa o proyecto

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 5 Figura 2 Ejemplos de aspectos evaluables del Programa de integracin de infraestructura de zonas apartadas - PIIZA D. Una vez definido qu se quiere medir, puede proceder a la elaboracin del indicador, estableciendo las variables que conformarn el indicador y la relacin entre ellas para que produzcan la informacin que se necesita. Para esto, revise las definiciones para los distintos indicadores que se presentan en el Cuadro 1 y seleccione la que mejor se adapte al aspecto que quiere evaluar y que seal al final del Primer Paso. Formulacin Realizacin de estudios de factibilidad / prefactibilidad Seleccin de las carreteras a construir Consecucin de recursos financieros para su ejecucin Insumos Asegurar los recursos financieros Publicar en prensa licitaciones de construccin Firmar los contratos de construccin con participacin de la comunidad Gestin Informar sobre cada proyecto en sus respectivas zonas de influencia Iniciar contratos de construccin Informar a la comunidad sobre el avance de cada proyecto Productos 800 nuevos kilmetros de carreteras regionales construidos en municipios de menos de 30 mil habs. Proyectos ejecutados Resultados Ahorros promedios del 60% en el tiempo de transporte con el municipio ms cercano Iniciacin de proyectos de construccin de hospitales regionales Iniciacin de programas de comercializacin de productos agrcolas de los municipios con nuevas carreteras Impactos Mejoramiento de las condiciones de vida de la poblacin de los municipios beneficiados Aumento del intercambio comercial de productos Mejoramiento de la infraestructura social del municipio (hospitales y escuelas) Parte del programa que interesa evaluar con el indicador en elaboracin

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 6 Cuadro 1 Categoras de indicadores segn aspectos evaluables2 Qu se quiere evaluar de la poltica, programa o proyecto? Indicador recomendado Definicin del Indicador recomendado* Aspectos relacionados con su formulacin Indicadores de formulacin Miden el diseo o formulacin de una poltica, programa o proyecto Aspectos relacionados con sus Insumos Indicadores de insumo Miden los recursos necesarios (financieros, humanos y fsicos) para implementar una poltica, programa o proyecto Aspectos relacionados con sus Actividades o gestin Indicadores de actividad - gestin Miden los procesos, acciones y operaciones adelantados dentro de la etapa de implementacin de una poltica, programa o proyecto. Aportan los elementos en los cuales pueden analizarse la eficiencia, eficacia, oportunidad, ejecucin presupuestal, entre otros, de la entidad ejecutora Aspectos relacionados con sus Productos Indicadores de producto Miden los bienes o servicios directamente provistos por una poltica, programa o proyecto, a partir de la transformacin de sus insumos Aspectos relacionados con sus Resultados Indicadores de resultados Miden los resultados a corto plazo generados por los productos de una poltica, programa o proyecto Aspectos relacionados con sus Impacto Indicadores de impacto Miden los efectos a mediano o largo plazo generados por los productos de una poltica, programa o proyecto, sobre la poblacin directamente afectada, y/o la efectividad del desarrollo del proyecto, en trminos de logro de objetivos econmicos, sociales, polticos, culturales y ambientales definidos en las programas, polticas de los planes de desarrollo * La Figura 3 muestra ejemplos de indicadores para cada caso. 2 Esta es una clasificacin simplificada de indicadores. Para otras clasificaciones ver por ejemplo World Bank (1996),.

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 7 Figura 3 Ejemplo de indicadores y sus respectivas frmulas de aspectos evaluables del Programa de Integracin de Infraestructura de Zonas Apartadas PIIZA- * Nota: Los indicadores de producto pueden estar asociados a productos intermedios o finales. Los primeros se producen al finalizar una actividad importante dentro de una poltica, programa o proyecto en evaluacin. Los finales corresponden a aquellos que se espera tener inmediatamente al finalizar dicha poltica, programa o proyecto. Indicadores de Formulacin Estudios de factibilidad de proyecto adelantados para el PIIZA Indicadores de Insumo Presupuesto anual del Ministerio de Transporte para el PIIZA Indicadores de gestin Kilmetros contratados para la construccin de carreteras por el PIIZA Indicadores de Producto* Kilmetros de carreteras construidos por el PIIZA Indicadores de Resultados Trfico promedio diario en las carreteras construidas por el PIIZA. Indicadores de Impacto Produccin agrcola e industrial de los municipios beneficiados por el PIIZA ESTREA = ((ESTREA / ESTPROG)*100)t1-((ESTREA / ESTPROG)*100)to ESTREA: estudios realizados ESTPROG: estudios programados t1: perodo final, to: perodo inicial RPMP = (RPMP) t1- ((RPMP) to RPMP: recursos del presupuesto del Ministerio asignados al PIIZA t1:perodo final t0:perodo inicial CICP = (CICP) t1 (CICP)) to CICP: Contratos elaborados por carretera PIIZA KCP = (KCP) t1 (KCP) to) KCP: kilmetros de carreteras construidas PIZZA t1: perodo final, to: perodo incial TCP = (TCP)t1- (TCP)t0 TCP: trafico carreteras construidas PIIZA t1: periodo final, t0: periodo inicial PAIMB = (PAIMB)t1 - (PAIMB)t0 PAIMB: Prod. Agri. e Ind. Municipios beneficados t1: periodo final, t0: periodo inicial EJEMPLOS Frmulas Frmulas

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 8 2. SEGUNDO PASO:: Cmo sellecciionarr ell mejjorr iindiicadorr? A. A continuacin elabore una lista con los posibles nombres del (de los) indicador(es). Se sugiere proponer ms de uno. Ejemplo Opcin 1 Kilmetros construidos a travs del programa PIIZA Opcin 2: Kilmetros contratados de carretera regional B. Realice el primer control de calidad de los indicadores escogidos respondiendo las siguientes preguntas para cada indicador: - El indicador expresa qu se quiere medir de forma clara y precisa? - El indicador es relevante con lo que se quiere medir? - La informacin que provee el indicador es suficiente para explicar el logro de dicho objetivo? - La informacin del indicador est disponible? - El indicador es monitoreable? Revise y modifique su lista inicial de indicadores hasta poder responder afirmativamente las cinco preguntas anteriores. En caso de responder negativamente, piense en elaborar indicadores adicionales y someterlos al mismo control de calidad. Ejemplo Para la opcin 1 El indicador expresa claramente que el objeto de la medicin es la longitud nueva en kilmetros, de carreteras regionales construida con el programa PIIZA El indicador SI se relaciona directamente con el objetivo que se quiere medir (800 kilmetros en municipios de menos de 30.000 habitantes). No hace falta otro indicador pues su informacin permite saber con precisin si se logr o no el objetivo de construir 800 kilmetros. La informacin estara disponible dado que los contratistas estn obligados a informar sobre el avance fsico de las obras El indicador es monitoreable porque el programa tiene procedimientos de reporte peridico de su informacin

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 9 Para la opcin 2 El indicador mide la longitud de obras contratadas pero no los kilmetros realmente construidos. Este indicador podra usarse para medir avances en las actividades necesarias para la construccin, pero no para verificar lo construido Nota: Dado que este indicador no es directamente relevante con el objetivo a evaluar no se continu con el control de calidad 3. TERCER PASO:: Qu iinfforrmaciin rrequiierre parra mediirr? Una vez escogido el mejor indicador, el siguiente paso es identificar las fuentes de informacin y sus caractersticas, as como los procedimientos ms adecuados de recoleccin y manejo de la informacin. Esta seccin revisa dichos aspectos a travs de las siguientes preguntas A. La informacin que necesita para alimentar el indicador est disponible? Si la informacin no est disponible, puede utilizar otra informacin disponible que de manera aproximada pueda ser til para la medicin, o recolectar informacin primaria a travs de mediciones directas. B. En que tipo de formato se encuentra la informacin disponible o cmo deseara que fuera el formato de la informacin a producir? La informacin puede estar, por ejemplo, en la siguiente forma: Disponible, como informacin secundaria, en reportes de fuentes oficiales, sean estos en forma impresa, en forma de bases de datos o va Web Disponible, como informacin primaria, directamente a travs de las personas involucradas en la(s) poltica(s)/programa(s)/proyecto(s) Disponible a travs informacin producida de encuestas al pblico hechas por otros encuestadores o generada para alimentar otros indicadores No disponible y se requiere hacer mediciones o encuestas especficamente para alimentar este indicador en elaboracin

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 10 Ejemplo La informacin la enva el interventor de cada proyecto al Ministerio de Transporte en forma de reporte impreso y archivo magntico. El Ministerio de Transporte elabora una base de datos con el avance trimestral del proyecto (en formato de hoja de clculo) que actualiza en su pgina Web. Si el formato en el que se encuentra la informacin es diferente al formato en el que necesita la informacin, debe tener en cuenta qu tan adaptable es la informacin disponible y qu debe hacer para lograr dicha adaptacin. C. Qu mtodo(s) utilizar para recolectar y actualizar la informacin? Utilice la Figura 4 como orientacin. Figura 4 Mtodos de recoleccin de la informacin Ejemplo La informacin se recolectar a partir de la revisin de los reportes oficiales trimestrales del Ministerio de Transporte en su pgina Web. D. Los beneficios de tener la informacin recolectada superan los costos de su recoleccin? Revisin de reportes oficiales Entrevistas (individuales o grupales) Encuestas Estudios Trabajo de campo

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 11 Ejemplo Se espera un bajo costo de recoleccin. Los datos sern tomados directamente de la pgina Web del Ministerio de Transporte. Los beneficios incluyen entre otros: i) mayor control sobre las metas fsicas reales, ii) articulacin de los pagos con el logro de dichas metas y; iii) informacin oportuna sobre avance del programa. En conclusin, los beneficios de tener la informacin del indicador SI superan los costos de su recoleccin. E. Qu usos especficos tendr del indicador? (p.e., controlar el avance general de una poltica o proyecto, tomar decisiones para ajustar el programa, la poltica o proyecto, reportar avances a un tercero, tomar decisiones presupuestales asociadas a una poltica o proyecto, todos los anteriores, etc) Ejemplo Se espera que el Departamento Nacional de Planeacin y el Ministerio de Transporte cuenten con el avance trimestral a tiempo, para: i) hacer seguimiento a la gestin del programa, ii) ajustar el flujo de recursos del programa con base en los resultados realmente obtenidos. F. Por cunto tiempo a futuro planea usar el indicador? Ejemplo El indicador ser recolectado hasta que se presente el reporte final del programa, el cual debe informar sobre la construccin de la totalidad de los 800 kilmetros previstos. G. Defina o verifique los responsables de: - producir la informacin asociada al indicador - recolectar la informacin - analizar dicha informacin - administrar las bases de datos asociadas a dicha informacin - preparar reportes y presentar informacin relacionada con el indicador Ejemplo La informacin ser recolectada por la Direccin de Transporte del Departamento Nacional de Planeacin y el Grupo de Proyectos Especiales del Ministerio de Hacienda. Cada uno podr realizar revisiones sin previo aviso de la actualizacin de sus respectivas bases de datos, as como de la informacin respectiva en la oficina de carreteras regionales del Ministerio de Transporte

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 12 H. Existen necesidades tecnolgicas o de entrenamiento para la recoleccin de la informacin? Ejemplo No se considera necesario dado que los datos sern simplemente tomados de la Web del Ministerio de Transporte. Se dar entrenamiento mnimo para adelantar las visitas de verificacin. I. Cuales mecanismos de verificacin de la informacin que garanticen la confiabilidad del indicador se encuentran disponibles? Ejemplo Los funcionarios del Departamento Nacional de Planeacin y del Ministerio de Hacienda realizarn visitas de verificacin de informacin en el Ministerio de Transporte cada 4 meses y en campo cada 6 meses. Estas verificaciones sern aleatorias y sin previo aviso. Comparar la informacin del interventor contra la informacin proporcionada por el Ministerio de Transporte y publicada en sus reportes y pginas Web. Finalmente, el registro adecuado de la informacin de un indicador es esencial para su gil acceso y actualizacin, as como para consolidar la memoria institucional de la entidad. El siguiente formato, diligenciado para el ejemplo desarrollado a lo largo de la gua, se sugiere con dicho propsito.

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 13 FORMATO DE REGISTRO DE INFORMACIN Informacin Ejemplo Nombre del indicador Kilmetros construidos con a travs del programa PIIZA Poltica, programa o proyecto que se evala a travs del indicador PIIZA : Programa del Ministerio de Transporte para la integracin de infraestructura de zonas apartadas Objetivo que se evala a travs del indicador Construir durante el cuatrienio, 800 kilmetros de carreteras regionales en municipios de menos de 30.000 habitantes Frmula de clculo: ecuacin que explica la forma en que las variables involucradas sirven para calcular el valor de indicador ((KC / KP)*100)t1-((KC / KP)*100)t0 KC: Suma de kilmetros construidos por los proyectos que hacen parte del programa. KP: Suma de kilmetros programados por los proyectos que hacen parte del programa. t1: periodo final de medicin, t0: periodo inicial de medicin Unidad de medicin: unidad mnima de identificacin del valor del indicador Kilmetros construidos en un perodo de tiempo (como porcentaje de avance) Categora Indicador de Producto Descripcin: explicacin sobre qu mide el indicador (objeto de la medicin) El indicador mide la longitud de carreteras construidas en un perodo determinado, como porcentaje de la meta total de construccin del programa. No incluye carreteras ya existentes o que hayan sido rehabilitadas, mejoradas o mantenidas a travs del mismo Programa. Metodologa de medicin: explicacin de los principales aspectos del proceso de medicin del indicador (cmo se hace la medicin) La medicin la realiza cada interventor inspeccin visual directa. Luego el interventor de cada proyecto elabora y enva el reporte de kilmetros construidos cada mes, a la oficina de carreteras regionales del Ministerio de Transporte. El Ministerio de Transporte reporta la sumatoria de los kilmetros construidos por todos los contratistas del PIIZA y los compara con los kilmetros programados de cada proyecto. Solo incluye los kms que cumplieron con especificaciones tcnicas y el control de calidad segn el reporte de interventora. Periodicidad: cada cuanto se produce, recolecta o difunde la informacin? Teniendo en cuenta las caractersticas del programa PIZZA, est establecido que el interventor debe reportar mensualmente al Ministerio segn condiciones del contrato de interventora. El Ministerio de Transporte debe agregar informacin y reportar trimestralmente a la ciudadana afectada, al Departamento Nacional de Planeacin y al Ministerio de Hacienda para asegurar el flujo de recursos del presupuesto al proyecto. Lnea base o valor de referencia: Valor y fecha del indicador al momento de iniciar la ejecucin de la poltica, programa o proyecto 0% construidos a diciembre de 2002 (el programa inici en enero de 2003) Valor final o meta prevista: valor esperado del indicador en un perodo dado 100% kilmetros a 31 de diciembre de 2006 Fuentes de informacin: entidad, dependencia o grupo que produce o administra la informacin del indicador Interventores de cada proyecto de construccin (fuente primaria) Oficina de carreteras regionales del Ministerio de Transporte (fuente secundaria) La informacin se encuentra en los informes escritos de los interventores, en la oficina de carreteras regionales del Ministerio de Transporte y en la pgina WEB del mismo Ministerio Limitaciones: aspectos claves que puedan generar deficiencias en la informacin del indicador Atrasos de los interventores en reportar mensualmente el avance en metas fsicas al Ministerio Atrasos en el Ministerio en actualizar la informacin respectiva en su pgina WEB

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 14 GLOSARIIO Trminos bsicos en evaluacin Gestin: Grupo de acciones necesarias para transformar determinados insumos en productos, en un periodo determinado y dentro del marco de una poltica, programa o proyecto en particular.(Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002) Efecto: Es el resultado de una accin, que puede darse en el corto, en el mediano o el largo plazo. A nivel de proyecto, el efecto es el segundo nivel de resultados dentro del ciclo del proyecto, cuando ste comienza a generar los beneficios previstos en su operacin. (Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002) Evaluacin: Valoracin ordenada sobre el diseo, implementacin o los resultados de un proyecto, programa o poltica. Sirve para generar informacin que ayude a los evaluadores y a los beneficiarios de la poltica, programa o proyecto, para tomar decisiones. (Fuente: Sinergia a partir de OECD 2002). Se refiere a la comparacin numrica o no de los costos y beneficios asociados a una poltica, plan o proyecto. (Fuente: Bpin, 2003) Fuente de informacin: Personas, instituciones, grupos y/o documentos que contienen informacin a partir de la cual es posible extraer datos tiles para generar informacin evaluativa Ejemplo: El DANE para la inflacin trimestral, la Direccin de Carreteras del Ministerio de Transporte para el trfico promedio diario. (Fuente: Sinegia a partir de Bezzi, 2001). Son los canales sectoriales o territoriales por los cuales debe fluir la informacin. (Fuente: Manual de Procedimientos, Bpin, 2002) Impacto: Efectos de largo plazo, positivos y negativos, producidos directa o indirectamente por una poltica, programa, proyecto o por cualquier tipo de intervencin o accin, sobre su poblacin objetivo. Estos efectos pueden ser econmicos, socio-culturales, institucionales, ambientales o tecnolgicos. Los impactos ms inmediatos o en el corto plazo son usualmente llamados resultados. Ejemplo: Mejorar la orientacin del gasto social como impactos de la implantacin del nuevo Sisben. (Fuente: Sinergia a partir de Bezzi, 2001, EU, 2003 y OECD 2002) Es el cambio logrado en la situacin de una poblacin como resultado de los productos y efectos obtenidos con un plan, programa o proyecto. Se trata del nivel ms elevado de resultados y efectos obtenidos por el plan, programa o proyecto, cuando se genera la totalidad de los beneficios previstos en su operacin. (Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002) Lnea de base: Datos e informacin que describe la situacin previa a una intervencin para el desarrollo y con la cual es posible hacer seguimiento y monitorear una poltica, programa o proyecto o efectuar comparaciones relacionadas. Un estudio de lnea base usualmente describe dicha situacin previa o punto de partida, antes de adelantar una poltica, programa o proyecto de asistencia Ejemplo: Situacin nutricional de los nios que sern beneficiados del programa de desayunos infantiles. (Fuente: Sinergia a partir de UNDP, 2003).

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 15 Meta: Valor al que se espera que llegue un indicador como resultado de la implementacin de una poltica, programa o proyecto. Deber ser referida a un perodo de tiempo especfico. Ejemplo: Redisear 302 entidades de la rama ejecutiva de la Administracin pblica a nivel nacional durante el periodo 2003 2006. (Fuente: Sinergia a partir de OECD 2002). Magnitud o nivel especfico de los resultados, productos, efectos o impactos que se esperan alcanzar. Su medicin debe hacerse en trminos de tiempo, cantidad y calidad. (Fuente: Manual de Procedimientos, Bpin, 2002) Metodologa de medicin: Es el grupo de tcnicas y procedimientos adecuados, apropiados y tiles para generar la informacin que alimenta un indicador. Ejemplo: realizacin de encuestas para calcular el ndice de desempleo, pruebas de ssmica realizadas para calcular la presencia de petrleo en el subsuelo.(Fuente: Sinergia) Monitoreo: Examen continuo de los procesos y la generacin de productos de un programa durante la ejecucin del mismo. Su propsito es ajustar sobre la marcha, posibles cambios sobre los aspectos operacionales del programa monitoreado. Mientras una evaluacin se adelanta en un momento especfico y discreto del programa, el monitoreo usualmente genera datos de forma peridica que pueden ser usados para el seguimiento o la evaluacin. Ejemplo: monitoreo de la actividad de un volcn activo. (Fuente: Sinergia a partir de Bezzi, 2001 y EU, 2003) Resultado: Producto, efecto o impacto inmediato, intencional o no, positivo y/o negativo, que se produce debido a las acciones de una poltica, programa o proyecto finalizado, o de cualquier tipo de accin o intervencin adelantada. Ejemplos: horas de viaje ahorradas por uso del Transmilenio, aumento de velocidad promedio de una va repavimentada. (Fuente: Sinergia a partir de OECD 2002). Seguimiento: Examen continuo y sistemtico sobre el avance y el logro de objetivos de una poltica, programa o proyecto. El seguimiento, a diferencia del monitoreo, estudia aspectos menos operativos del programa o proyecto, y utiliza indicadores especficos que influyan en la toma de decisiones de las partes interesadas del mismo. Ejemplos: seguimiento a los compromisos del Plan Nacional de Desarrollo, seguimiento fsicofinanciero a los 100 proyectos estratgicos de inversin del estado (Fuente: Sinergia a partir de OECD 2002) Unidad de medicin: Parte indivisible que sirve de referente para cuantificar la cantidad o tamao de una variable. Ejemplos: kilmetros, habitantes, pesos, horas-hombre (Fuente: Sinergia a partir de Bezzi, 2001) Tipos de indicadores Indicador: Representacin cuantitativa que sirve para medir el cambio de una variable con respecto a otra. Un buen indicador debe ser claro, til para tomar decisiones y actualizable cada vez que se necesite. Proporciona la capacidad de medir el logro de los objetivos propuestos en torno a lo que se hizo, lo que se est haciendo lo que se deber hacer en el futuro. Ejemplos: cobertura del servicio de alcantarillado, porcentaje de desnutricin infantil, inversin en construccin de vivienda de inters social. (Fuente: Sinergia a partir de Bpin, 2002, Bezzi, 2002 y OECD, 2002). Relacin entre variables que miden el cumplimiento de las metas de acuerdo a los resultados esperados de un proyecto o programa. Proporcionan una escala con la que puede medirse un cambio real logrado. (Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002)

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 16 Indicador de gestin: Representacin cuantitativa de una variable en relacin con otra, que permite medir los procesos, acciones y operaciones adelantados dentro la etapa de implementacin de una poltica, programa o proyecto. Ejemplo: horas de clase dictadas dentro de un programa de alfabetizacin. (Fuente: Sinergia a partir de IBRD, 2000) Indicador de formulacin: Representacin cuantitativa de una variable en relacin con otra, que permite medir la calidad del diseo o formulacin de una poltica, programa o proyecto. Ejemplo: Proyectos construidos dentro de un programa de mejoramiento urbano, que contaban con estudios previos de factibilidad. (Fuente: Sinergia) Indicador de impacto: Representacin cuantitativa de una variable en relacin con otra, que permite medir los efectos a mediano y largo plazo, generados por una poltica, programa o proyecto, sobre la poblacin en general. Los efectos medidos son aquellos directamente atribuibles a dicha poltica, programa o proyecto especfico. Incluye efectos positivos y negativos, producidos directa o indirectamente por una intervencin, sean estos intencionales o no. Ejemplos: nivel de ingresos de profesionales con especializacin, aumento de la actividad comercial de poblaciones con nuevas carreteras de acceso. (Fuente: Sinergia a partir de World Bank, 1996 e IBRD, 2000) Indicador de insumo: Representacin cuantitativa de una variable en relacin con otra, que permite medir los recursos financieros, humanos y fsicos necesarios para implementar una poltica, programa o proyecto. Ejemplos: presupuesto anual del programa de mejoramiento vial, nmero de docentes del programa de alfabetizacin, toneladas de alimentos del programa de desayunos infantiles. (Fuente: Sinergia a partir de World Bank, 1996) Indicador de producto: Representacin cuantitativa de una variable en relacin con otra, que permite medir los bienes o servicios directamente provistos por una poltica, programa o proyecto. Ejemplo: pacientes atendidos por un hospital, libros al mes ledos en bibliotecas pblicas, pasajeros al da transportadas por el sistema Transmilenio (Fuente: Sinergia a partir de World Bank, 1996 e IBRD, 2000) Indicador de resultado: Representacin cuantitativa de una variable en relacin con otra, que permite medir los efectos inmediatos o a corto plazo generados por los productos de una poltica, programa o proyecto, sobre la poblacin directamente afectada. Ejemplo: aumento del consumo de energa por congelacin de tarifas, disminucin del consumo de gasolina por aumento de los precios internacionales. (Fuente: Sinergia a partir de World Bank, 1996 e IBRD, 2000)

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 17 Objetos de evaluacin Objetivo: Afirmacin clara que expresa una intencin a travs de una accin especfica, Se debe ser expresar sobre un sujeto especfico. Las tres partes bsicas de un buen objetivo, son: i) la accin (verbo), ii) el objeto sobre el que recae la accin (sujeto) y iii) la descripcin de la accin (frase calificativa). Ejemplos: aterrizar (i) un aeroplano(ii) de forma segura (iii) ; proveer (i) trabajos (ii) en el sector industrial(iii) (Fuente: Sinergia a partir de Bezzi, 2001 y Delp et al. 1977). Finalidad hacia la que se orientan las actividades o acciones de un plan, programa o proyecto (Fuente: Bpin 2003) Poltica: Criterios que sirven para orientar una accin o decisin, expresados usualmente a travs de planes. Una poltica no necesariamente est delimitada en trminos de tiempo, cronograma o presupuesto. Ejemplo: poltica de vivienda hacia el beneficio de las zonas urbanas marginales, poltica de empleo por un (Fuente: Sinergia a partir de EU 2003, y AHD 1985) Programa: Grupo organizado y variado de actividades dirigidas hacia el logro de objetivos especficos (pueden incluir varios proyectos y procesos). Un programa est delimitado en tiempo, cronograma y presupuesto. Ejemplo: Programa Presidencial de Lucha Contra la Corrupcin (Fuente: EU 2003). Estrategia de accin cuyas directrices determinan los medios que articulados gerencialmente apoyan el logro de un objetivo sectorial. Como estrategia, un define los criterios y condiciones para la definicin de la poblacin objetivo, la tipologa de los proyectos seleccionables, las metas, la fecha de cumplimiento, y los recursos requeridos por tipo de proyecto. (Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002) Proyecto: Intervencin singular dirigida hacia el logro de objetivos puntuales dentro de un perodo determinado y con un presupuesto especfico. Un proyecto puede ser parte de un programa. Ejemplo: Proyecto de consolidacin de un sistema de gobierno en lnea. (Fuente: Sinergia a partir de Bezzi, 2001 y EU, 2003) Unidad operacional que vincula recursos, actividades y productos durante un periodo determinado y con una ubicacin definida para resolver problemas o necesidades de la poblacin. Debe formar parte integral de un programa. (Fuente: Metodologa General Ajustada para Formulacin y Evaluacin de Proyectos. Bpin, 2002)

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 18 Biiblliiografa Bezzi, C (2001) Glossario de la ricerca valutativa. (versione provvisoria settembre 2001). Associazione Italiana di Valutazione. En http://www.valutazione.it/ BPIN (2002) Marco terico del banco de indicadores sectoriales. Departamento Nacional de Planeacin. Direccin de Inversiones y Finanzas Pblicas. BPIN (2002) Manual de Procedimientos. Departamento Nacional de Planeacin. Direccin de Inversiones y Finanzas Pblicas. BPIN (2003) Metodologa General Ajustada para la Formulacin y Evaluacin de Proyectos de Inversin. . Departamento Nacional de Planeacin. Direccin de Inversiones y Finanzas Pblicas. CONPES (2001) Gestin pblica orientada a resultados. Compromisos sectoriales 2001. Documento # 3106 Bogot 3 de Abril de 2001. Consejo Nacional de Poltica Econmica y Social. Colombia. DANE (2001) Indicadores estratgicos en entidades territoriales. Criterios para su conceptualizacin, diseo, anlisis e interpretacin. Departamento Administrativo de Estadstica. Colombia Delp, P., Thesen, A., Motiwalla, J and Seshadri, N (1977) Systems tools for project planning . PASITMA (Project of advanced studies in institution building and technical assistance methodology)-International Development Institute. Indiana University. USA. EU (2003) Evaluating EU expenditure programmes: a guide to intermediate and ex post evaluation. European Commission. En http://europa.eu.int/comm/budget/evaluation/guide/guide07_en.htm IBRD (2000) Designing and Buidling a results-based monitoring and evaluation system. A tool for public sector management. The World Bank. OECD (2002) Glossary of key terms in evaluation and results based management. Development Assistance Committee. Evaluation and Aid effectiveness. Sinergia (2003). Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica. Colombia. En http://www.dnp.gov.co/01_CONT/EVALUACI/Pag_nueva_de_SINERG.HTM. UNDP (2003). Handbook on monitoring and evaluation for results. Glossary. United Nations Development Project. En http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/glossary/glossary1.html World Bank (1996). Performance monitoring Indicators. A handbook for task managers. Operations Policy Department. Washington D.C.

G u a g e n e r a ll p a r a e ll a b o r a r I N D I C A D O R E S 19 Sinergia es el Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica, a travs del cual el Gobierno central, en cabeza del Departamento Nacional de Planeacin, lleva a cabo la evaluacin y seguimiento de los resultados e impacto de sus principales polticas, programas y proyectos de inversin. Este sistema aporta un conjunto de instrumentos de gerencia con los cuales se busca: i) lograr una asignacin ms eficiente y transparente de los recursos pblicos; ii) mejorar la eficacia de las polticas, programas e instituciones del Estado; iii) propiciar una cultura de la gestin orientada a resultados; y iv) establecer un marco adecuado de rendicin de cuentas que active el control social de la ciudadana. El Grupo Asesor de la Gestin de Programas y proyectos de Inversin Pblica, Gapi, es la instancia del Departamento Nacional de Planeacin que conecta la planeacin con la programacin y brinda las herramientas para contar con informacin de seguimiento de programas y proyectos de inversin pblica, as como de evaluacin de resultados. Lo anterior lo lleva a cabo a travs de: i) un componente de sistemas que cuenta con una base de datos sobre programas y proyectos de inversin pblica viables tcnica, financiera, econmica, social, institucional y ambientalmente, financiados o susceptibles de ser financiados o cofinanciados con recursos del Presupuesto General de la Nacin, ii) unas metodologas de formulacin y evaluacin de proyectos, iii) un componente legal y procedimental con su Manual de Procedimientos, y iv) un componente de capacitacin y asistencia tcnica en la cual se tratan temas tales como Teora de Proyectos, Metodologa para la formulacin de Indicadores, Manejo de aplicativos diseados para los bancos de proyectos, entre otros. Agradecemos sus comentarios o inquietudes sobre el contenido de esta Gua en sinergia-DNP@dnp.gov.co o webbpin@dnp.gov.co