UNIVERSIDAD DE COSTA RICA
FACULTAD DE CIENCIAS SOCIALES
MAESTRÍA EVALUACIÓN DE PROGRAMAS Y PROYECTOS DE
DESARROLLO
MODELO EVALUACIÓN
SISTEMATICA
PETER ROSSI
BLADIMIRO ARGUETA CORELLA
Phd. Peter Henry Rossi
Nacido 27 de diciembre 1921, en la ciudad de Nueva York, profesor
de Sociología emérito de la Universidad de Massachusetts-Amherst.
Obtuvo su doctorado en Sociología por la Universidad de Columbia
en el GI Bill en 1951 Ocupó cargos docentes en la Universidad de
Harvard, la Universidad de Chicago (el profesor), y la Universidad
Johns Hopkins (Profesor y Presidente del Departamento) antes de su
nombramiento en la Universidad de Massachusetts .
Su trabajo sobre la evaluación de los programas sociales le ha
valido el reconocimiento mundial. Murió en su casa el sábado 7 de
octubre, 2006.
INVESTIGACIÓN EVALUATIVA
EVALUACIÓN SISTEMATICA O INTEGRADORA(integración de las teorías desarrolladas por otros autores)
• La aplicación sistemática de los
procedimientos de la investigación social, para
valorizar la conceptualización y el diseño, la
ejecución y la utilidad de los programas de
intervención social.
• Las evaluaciones son sistemáticas en la medida
en que emplean las vías básicas para recabar
válidamente pruebas confiables.
Rossi presenta su aproximación integradora en base a
tres conceptos:
la idea de evaluación total, -
Comprehensive evaluation
la evaluación a la medida, -taylored evaluation
la evaluación sobre modelo teórico -theory-driven evaluation
Frente a la dispersión sobre las cuestiones a las que una evaluación
debería responder,Rossi formula la idea de una evaluación que agrupa
tres tipos de actividades (evaluación total)
•Es preciso documentarla necesidad de unprograma para planificar, llevar a término yevaluar acciones sociales
Análisis de la conceptualización y del
diseño de una intervención
•El desarrollo de un simple sistema deindicadores para el control de actividadespuede ser tan a más importante que producirinformación sobre su impacto
El control de la implementación de un
programa
•Salvo que los programas tengan un impactodemostrable, será difícil defender su continuidad
La evaluación de la utilidad del programa
Rossi propone la idea de Evaluación a la medida
Adaptar cada evaluación al programa objeto de
estudio
PROGRAMAS NUEVOS O INNOVADORES
PROGRAMAS ESTABLES
PROGRAMAS REFORMAS O
MODIFICACIONES
Para cada estadio o nivel de desarrollo será preciso determinar
las cuestiones y los métodos más adecuados.
Atención al desarrollo de modelos teóricos de las intervenciones sociales
Defiende la necesidad de especificar modelos sobre como
cabe esperar que funcione un programa antes de
evaluarlo. Se pueden tratar los problemas de validez
interna especificando un modelo que tenga en cuenta las
relaciones entre variables de la forma más completa
posible.
Campbell y Crombach con la cuestión de la validez
EVALUACIÓN SOBRE MODELO TEÓRICO
- Tiene que ser muy claro desde qué perspectiva se hace una
evaluación.
- Reconocer de forma explícita la existencia de otras perspectivas.
- No debe incorporar los sesgos del que financia la evaluación.
Stakeholders y Evaluadores
OTORGA UNA ESPECIAL
ATENCIÓN A LOS QUE
ESTÁN MÁS IMPLICADOS
EN LA TOMA DE
DESCIONES (planificador,
administrador, ejecutivo)
PROCESO ENTRE TOMADORES DE DECISIONES CON LOS
USUARIOS.
HABILIDAD PARA ASIMILAR LA TEORÍA DE LA CIENCIA SOCIAL, LOS
MÉTODOS DE INVESTIGACIÓN Y LAS TÉCNÍCAS ESTADÍSTICAS
Papel de Evaluadores
DESEMPEÑA UN ROL
COMO LÍDER Y
CONCILIADOR (MEDIADOR
Y COMUNICADOR)
Los métodos cualitativos suelen ser caros, difíciles de utilizar e
imprecisos.
Sin embargo,
En este caso, es partidario de estructurar de alguna forma la
recogida de datos para poder presentar información de forma
resumida y que permita su análisis
Rossi prefiere las técnicas cuantitativas
recomienda utilizar técnicas cualitativas para el análisis de la
conceptualización, el diseño y para el control de las
operaciones de un programa.
1. Identificar y describir el problema o la preocupación.
2. Preparación de una descripción del programa.
3. Entreuistas con el personal del programa.
4. Exploración del programa.
5. Desarrollar un modelo de intervención/Diseño de un modelo
de programa eualuable
6. Definir una población objeto/Identificación de los usuarios
de la eualuación
7. Diseñar el sistema de entrega y los procedirnientos para
verificarlo.8. Valorar la repercuslón y estimar la eficacia.
Resumen de las actividadesDe evaluación
Evaluation. A systematic approach
Se organiza en base a la distinción entre
Programas innovadores Programas estables en
funcionamiento
Programas objeto de
reformas y cambios
Trabajar con los responsables del programa optimizando las probabilidades de
obtener una buena intervención y una buena evaluación.
La importancia de
trabajar con
objetivos
específicos
Los modelos
de impactoEl análisis de la
forma de prestación
del servicio.
La posibilidad
de
experimentar.
Prefiere los experimentos para la evaluación.
Seleccionar el mejor diseño posible, en función de las condiciones y
circunstancias específicas de cada caso
Defiende una utilización
instrumental de
sus resultados.
Evaluadores entiendan la
forma de trabajar de los
decisores, lo que implica:
1. Presentar los
resultados a tiempo,
cuando son necesarios y
de forma breve
2. Ser sensible a las
posiciones de todas las
partes
3. Planificar su
difusión y
utilización
En resumen
• Concibe la evaluación como una actividad políticay de dirección
• Relevancia al análisis de los resultados, pero tambiéna otras facetas del diseño como a la gestión yprocedimientos de implementación de lasintervenciones públicas.
• Utiliza tecnicas cualititivas y cuantitativas
• Todas las fases de la evaluación pueden aplicarse aprogramas en diferentes etapas.
• La evaluación tiene tres usos: Decisión de continuar ono continuar, Legitimidad y explicación, La política ylos estudios administrativos (fundamentación delaccionar).