La evaluación es un componente indispensable de la rendición de cuentas en un Estado democrático y un imperativo de la gestión pública moderna. Los ejercicios de evaluación permiten identificar si los propósitos de una intervención gubernamental se están alcanzando y ponderar la idoneidad de los mecanismos e instrumentos destinados para la resolución de un problema público. En la medida en que toda política pública implica una teoría o modelo causal de transformación social, la carga de la prueba sobre la efectividad y el impacto de los programas corresponden, en primera instancia, al poder público, que está obligado a proveer elementos de juicio y canales para que la ciudadanía conozca, cuestione y valide el quehacer gubernamental. A pesar de que la evaluación de impacto es la más apegada a los criterios científicos de comprobación de hipótesis (impacto esperado del programa), como todo ejercicio de evaluación, se realiza en un contexto político y organizacional que determina su vínculo con los procesos de toma de decisiones, la mejora continua de los programas y la capacidad de la ciudadanía para exigir políticas públicas que agreguen valor al ciudadano, y maximicen la tasa de retorno de las inversiones públicas. A diferencia de los análisis clínicos, la evaluación de impacto opera en contextos políticos y sociales complejos, que imponen desafíos singulares para la identificación rigurosa y metodológicamente sofisticada de los resultados de las intervenciones. Por esta razón, se espera que una “buena” evaluación de impacto responda no sólo a los estándares metodológicos más robustos, sino que asuma un compromiso expreso de ética pública y una orientación clara a la utilización. Se espera que una evaluación tenga transparencia y rigor metodológico, pero también debe demostrar que tiene clara cuál es su intención (qué se va a evaluar, por qué, para qué y qué resultados se esperan obtener); debe ser oportuna; debe ser accesible para los tomadores de decisión y, finalmente, debe ser aplicable.

La Carta Iberoamericana de Calidad en la Gestión Pública estableció dos pilares fundamentales para la calidad en la gestión pública:

i) Toda gestión pública debe estar referenciada a la satisfacción del ciudadano, ya sea como usuario o beneficiario de servicios y programas públicos, o como legítimo participante en el proceso de formulación, ejecución y control de las políticas públicas bajo el principio de corresponsabilidad social; y ii) la gestión pública tiene que orientarse a resultados, por lo que debe sujetarse a diversos controles sobre sus acciones, suponiendo entre otras modalidades la responsabilización del ejercicio de la autoridad pública por medio del control social y la rendición periódica de cuentas (2008: 21-26).

Atendiendo a lo estipulado en la Carta Iberoamericana y a la urgencia de construir una administración pública capaz de hacer frente a los nuevos desafíos de la sociedad –la cual, a la vez de asegurar el cumplimiento de los contratos sociales y económicos, sea garante de los derechos sociales– el ejercicio de la evaluación cobra especial relevancia. Lo anterior se debe a que el buen funcionamiento de las políticas requiere del aprendizaje de los errores y los aciertos de las distintas experiencias, los cuales sólo pueden ser identificados a través de la medición y la revisión de los instrumentos de la política pública. Más aún, una gestión pública de calidad requiere de una evaluación permanente, interna y externa, basada en el principio de eficacia. Esto es, debe estar centrada en los resultados y debe crear sistemas de monitoreo que permitan verificar el curso adecuado de los programas públicos.

Una gestión pública orientada a resultados es impensable sin la generación de evidencia e información creíble y confiable en torno al efecto/cambios social estrictamente atribuibles a la presencia de los programas: el contrafactual. Sólo a partir de la evaluación de impacto es posible determinar qué habría ocurrido con los beneficiarios de un programa en la ausencia del mismo.

En este marco, la formación de sólidas capacidades para la utilización de evaluaciones de impacto como instrumento de rendición de cuentas y como herramienta para la mejora continua de los programas implica una serie de necesidades diferenciadas de capacitación que se fundan en el conocimiento técnico-metodológico, pero no se agoten en él. Para que las evaluaciones de impacto sean demandadas y debidamente utilizadas, los tomadores de decisiones, sin ser expertos en medición de impacto, deben contar con suficientes elementos para i) identificar el tipo de respuesta que ofrece este tipo de evaluación y sus limitaciones; ii) conocer los pre-requisitos de información y manejo gerencial que impone este tipo de evaluación; iii) realizar un análisis costo-beneficio de la realización de este tipo de evaluaciones frente a su alternativas menos costosas;  una vez tomada la decisión de evaluar, iv) valorar la solidez de la propuesta metodológica y la validez de las conclusiones que de ella se derivan. 

El presente Seminario Regional tiene como sus objetivos fundamentales: i) Capacitar a los participantes en el manejo y dominio de las herramientas necesarias para la gestión, el seguimiento y la evaluación de impacto de las políticas públicas; ii) Explorar las técnicas cuantitativas y los estándares que debe cumplir una evaluación de impacto; iii) Identificar la validez de los resultados y los límites impuestos por las decisiones de medición adoptadas; y iv) Intercambiar experiencias entre los copartícipes del proceso de formulación de políticas públicas.

Miércoles, 23 de agosto

El curso será realizado en modalidad semipresencial, y se organizará en tres módulos con sus respectivos subtemas. Tendrá una duración de 36 horas, la parte presencial tendrá una duración de 3 días, divididos en 8 sesiones. Se contará con prácticas para que los participantes puedan aplicar los conceptos y metodologías analizadas. 

Con antelación al curso, se proporcionará a los participantes las lecturas básicas.

Con el fin de acompañar al alumno en su labor posterior al curso, la EIAPP hará un seguimiento y evaluación a las actividades que haya realizado en favor de la aplicación de los contenidos aprendidos, desde actividades formales  o institucionalizadas, tales como la presentación de propuesta de mejora ante autoridades de su institución, solicitudes de audiencia, entre, a actividades informales o poco institucionalizadas, por ejemplo, reuniones entre compañeros de trabajo, envío del material del curso a autoridades y compañeros, entre otras iniciativas.

La creatividad, base de la innovación, debe ser un valor transversal a cualquier actividad de las administraciones públicas evidenciando una actitud curiosa, propositiva, emprendedora y de liderazgo organizacional[1].

Estas evaluaciones serán realizadas a los alumnos y a las autoridades que avalaron la postulación en diferentes momentos al finalizar el curso, a saber: 1er corte: al mes de la última actividad; 2do corte: a los 6 meses luego de la última actividad del curso; 3er corte: a los 12 meses luego de la última actividad del curso.

1.    Repositorio Módulo Virtual / Opcional 

• • • Presentación del curso y Gestión pública para resultados: antecedentes y conceptos
    • El proceso de las políticas públicas y La evaluación de políticas públicas: bases teóricas y conceptuales
    • La evaluación y el seguimiento como política pública
    • Los tipos de evaluación

 2.    Agenda Módulo Presencial 

• • • Evaluación de impacto: causalidad y el problema de atribución
    • Definición del sesgo de selección y probabilidad de selección
    • Diseño experimental: probabilidad, selección aleatoria y contrafactual. Alcances y límites del diseño experimental.
    • Semi-experimentos: modelo de diferencias en diferencias.
    • Metodologías no experimentales: ¿Qué pasa cuando no hay aleatoriedad?
    • Método de emparejamiento
    • Método de variables experimentales
    • Método de regresión discontinua 

3.    Repositorio Agenda Módulo Virtual / Opcional 

• • • Presentación de casos
    • Introducción (discusión grupal I): presentaciones
    • Introducción (discusión grupal II): presentaciones y cierre
    • Métodos mixtos y el problema de la "caja negra" en la toma de decisiones
    • Implicaciones de la evaluación de impacto y retroalimentación del curso

Lugar y fecha

El Seminario Regional “Introducción a la evaluación de impacto de políticas y programas públicos”, se llevará a cabo los días 23, 24  y 25 de agosto de 2017, en Ciudad de México, México. 

La ubicación del evento será en la sede del Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC), la cual queda en el Centro de Investigación y Docencia Económicas (CIDE). Carretera México-Toluca 3655, Lomas de Santa Fé, 01210 Álvaro Obregón. Ciudad de México, México.

Idioma del evento

El idioma de este evento será el español, pero se contará con traducción simultánea para los asistentes angloparlantes.

Alojamiento

Hotel Comfort Inn Santa fé

Prolongación Paseo de la Reforma 557, Santa Fé, Paseo de las Lomas, 01219. Ciudad de México-México.
Teléfono: (52-55) 4748-2100
Contacto: Sra. Carolina Solano. Ejecutiva de Ventas.
Teléfono: (52-55) 4748-2129
E-mail: carolina.solano@comfortinnsantafe.com

En caso de requerir apoyo de la Secretaría Permanente se agradece contactar a la Señora Cora Romero, Oficial de Trámites y Viajes del SELA (Teléfono: (58-212) 9557111 y 9557124; Fax: (58-212) 9516901 y 9515292; Correo electrónico: cromero@sela.org).

Transporte 

Por lo general los hoteles ofrecen servicio de transporte a través de taxis, los cuales se recomienda emplear. Para el presente evento, los organizadores tienen previsto para los participantes invitados, el traslado desde el Aeropuerto Internacional de la Ciudad de México hasta el hotel Comfort Inn Santa Fe, ida por vuelta.

Código de vestimenta

Traje formal.

Introducción 

P. Rossi, H. Freeman y M. Lipsey, “Identifying Issues and Formulating Questions”, “Expressing and Assessing Program Theory”, en op. cit. (caps. 3 y 5), en su libro Evaluation: A Systematic Approach, Thousand Oaks, Sage, 2004. 

Kathryn E. Newcomer et al., “Planning and Designing Useful Evaluations” (cap. 1), en Joseph Wholey, Harry Hatry y Kathryn Newcomer (eds.), Handbook of Practical Program Evaluation, San Francisco, Jossey-Bass, 3.a ed., 1994. 

Metodologías de evaluación de impacto

Método experimental 

Martin Ravallion, “The Mistery of Vanishing Benefits: An Introduction to Impact Evaluation”, The World Bank Economic Review, 15:1 (2001), pp. 115-140. 

Leonard Wantchekon, “Clientelism and Voting Behavior: Evidence from a Field Experiment in Benin”, World Politics, 55:3 (2003), pp. 399-422. 

Metodologías de evaluación de impacto

Métodos cuasiexperimentales 

Shahidur R. Khandker, Gayatri B. Koolwal y Hussain A. Samad, “Propensity-score matching”, “Double difference”, “Instrumental Variable Estimation”, “Regression Discontinuity and Pipeline Methods”,en su libro Handbook on Impact Evaluation: Quantitative Methods and Practices, Washington, D. C., Banco Mundial, 2010 (capítulos 4- 7). 

Evaluación cualitativa de impacto 

Fernando Cortés, Agustín Escobar y Mercedes González de la Rocha, Método científico y política social. A propósito de las evaluaciones cualitativas de los programas sociales, México, El Colegio de México, 2008 (caps. 1, 2 y 3).

Michael Bamberger, Vijayendra Rao y Michael Woolcock, Using Mixed Methods in Monitoring and Evaluation, Washington, D. C., Banco Mundial, 2010 (Policy Research Working Paper, 5245).

El curso estuvo dirigido a funcionarios públicos, ejecutores de política, tomadores de decisión y evaluadores de programas de América Latina y el Caribe requeridos de conocimiento intermedio sobre evaluación de impacto.

Lista de participantes

La Secretaría Permanente del SELA otorgará 20 becas completas para candidatos de América Latina y el Caribe a seleccionar según el mejor perfil entre los postulados de las instituciones responsables de políticas públicas y evaluación de impacto de los Estados Miembros del SELA y del CLAD. 

La beca incluye: 

• Matrícula
• Acceso al Aula virtual del CLAD.
• Pasaje aéreo internacional en clase económica (participantes no mexicanos) desde la ciudad CAPITAL de su país hasta México D.F., y regreso.
• Hospedaje, desayuno, almuerzo y cena durante los días de clases.   
• Traslados del aeropuerto al hotel y viceversa.

No incluye: 

• Consumos personales dentro del hotel de alojamiento y otros gastos no contemplados en estas bases.

1. Cumplir con el perfil descrito en la sección DESTINATARIOS O PERFIL.
2. Los candidatos que deseen postularse y cumplan el perfil, deberán completar el “Formulario de Registro” que se encuentra disponible en la página web de convocatorias.
3. Las postulaciones deben ser avaladas mediante una nota oficial suscrita por el Representante Titular o el Representante Alterno  del CLAD (consultar la sección “Consejo Directivo”), y ser remitida, antes del miércoles 2 de agosto del 2017, al Comité Organizador vía electrónica eiapp@clad.org;  jgordon@sela.org y droa@sela.org.  
   3.1   El interesado(a) puede completar y enviar el formulario de registro e ir gestionando la solicitud del aval correspondiente. No necesariamente debe esperar el envío del aval para completar el formulario.
   3.2   El aval es una nota oficial (en formato de imagen o PDF) del representante Titular y/o Alterno del CLAD en el país respectivo, enviada por éste a la Secretaría Permanente de la Escuela (eiapp@clad.org) y a los funcionarios responsables en la Secretaría Permanente del SELA (jgordon@sela.org y droa@sela.org), donde se indica el apoyo del Representante a la postulación del interesado(a) al curso señalado.
   3.3   Para el envío del aval el interesado(a) debe comunicarse por los distintos medios que se dispone en la sección "Consejo Directivo" solicitando al Representante Titular y/o Alterno la nota aval para completar la postulación.
   3.4   Para os candidatos do Brasil, o processo seletivo é feito na Escola Nacional de Administração Pública (Enap) e é necessário enviar curriculum vitae e carta-aval da chefia imediata, com justificativa de participação no curso, para o e-mail internacional@enap.gov.br Após a seleção, o candidato será informado e orientado a fazer o preenchimento do cadastro no site do Clad. A carta-aval para os pré-selecionados será providenciada pela Enap, Representante Alterno do Brasil junto ao CLAD.

4. Para los candidatos de los países anglófonos del Caribe, remitir la carta aval de la institución que acredita su candidatura, además del curriculum vitae, al Comité Organizador vía electrónica  jgordon@sela.org y droa@sela.org, antes del viernes 11 de agosto del 2017.

La información migratoria para ingresar a Ciudad de México, puede consultarse en la siguiente dirección electrónica: 

• https://www.inm.gob.mx/fmme/publico/solicitud.html

Secretaría Permanente del Sistema Económico Latinoamericano y del Caribe (SELA) 

Coordinación por la Secretaría Permanente del SELA: 

• Javier Gordon Ruiz
  Director (e) de Relaciones para la Integración y Cooperación del Sistema Económico Latinoamericano y del Caribe (SELA)
  Teléfonos: 58-212-955-7111/ 955 7135
  Fax: 58-212-951 5292 / 951-6901
  Correo electrónico: jgordon@sela.org 

• Daniel Roa
  Analista de Relaciones del Sistema Económico Latinoamericano y del Caribe (SELA)
  Teléfonos: 58-212-955-7111/ 955 7103
  Fax: 58-212-951 5292 / 951-6901
  Correo electrónico: droa@sela.org

Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP) del CLAD                  

• Nelson de Freitas
  Encargado de la EIAPP
  Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP) del CLAD
  Teléfono: 58-212-270-9211
  Email: eiapp@clad.org

• Secretaría Permanente del Sistema Económico Latinoamericano y del Caribe (SELA)
• Centro Latinoamericano de Administración para el Desarrollo (CLAD)
• Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP)
• CAF –banco de desarrollo de América Latina
• Centro de Investigación y Docencia Económicas (CIDE)
• Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC)