-__. _::^^^_ ^,---^

Capítulo 16: De las nuevas tendenciasen evaluación a su aplicación en las

Iniciativas Europeas de desarrollo rural

M.a del Mar Delgado, Eduardo Ramos,Rosa Gallardo y Fernando Ramos *

' Equipo de DesatTOllo Rural. Dpto. de Economía, Sociología y Política Agraria. Univer-sidad de Córdoba.

1. LA ACTITUD COMUNITARIA FRENTEA LOS PROCEDIMIENTOS DE EVALUACIÓNDE LAS INTERVENCIONES ESTRUCTURALES

Desde la aprobación del Acta Única Europea en 1986, el incre-mento de la eficacia en la gestión de los fondos públicos europeos,ha constituido un objetivo clave de la Unión Europea. En efecto, elartículo 130D de la misma, hace referencia explícita a la necesidadde una futura reforma de los Fondos Estructurales, a fin de mejorarsu eficacia para alcanzar una mayor cohesión económica y social enla Comunidad. En base a este principio, el Reglamento Marco de lareforma de los Fondos Estructurale.s adoptado en 1988, y el Regla-mento de Coordinación, hacen referencia específica' a la necesidadde evaluar la eficacia en la utilización de estos fondos, realizandouna evaluación ex-ante y una evaluación ex-post, a fin de apreciar elimpacto de las intervenciones estructurales. El objetivo último deestas evaluaciones es mejorar la gestión de los programas públicos,poniendo a disposición de los gestores y decisores, informaciónrelevante relacionada con dichos programas, incrementando latransparencia de la gestión de los mismos, y mejorando la relacióncoste-eficiencia de las distintas iniciativas puestas en marcha.

Por otro lado, la Comisión Europea reconoce en un informepublicado en 1991 z, la gran heterogeneidad existente en el seno delas administraciones nacionales y regionales en cuanto a la gestión,aplicación y evaluación de los programas europeos financiados confondos estructurales europeos. Por este motivo considera urgenterealizar un importante esfuerzo de armonización de los conceptos yprácticas de evaluación utilizadas en las distintas administracionesimplicadas.

^ Artículo 6 del Reglamento Marco y Artículo 26 del Reglamento de Coordinación.z"Programme européen d'analyse méthodologique pour I'evaluation des politiques struc-

turelles: étude de définition" Comisión Europea, CEOPS, 1991.

323

El Tratado de Maastricht de febrero de 1992 retoma en su títu-lo XVI la idea ya incluida en el artículo 130 del Acta Única Euro-pea, relativa a la necesidad de mejorar la eficacia de las interven-ciones estructurales con el objetivo de incrementar la cohesión eco-nómica y social en la UE, reclamando las disposiciones reglamen-tarias necesarias para asegurar la eficacia de estos fondos.

Con la posterior reforma de los reglamentos de los Fondos

Estructurales en 1993, en el citado artículo 6 se precisan los con-ceptos de evaluación ex-ante, de seguimiento o intermedia y de eva-luación ex-post. En la reforma del artículo 26 del Reglamento deCoordinación se incluye una cláusula en la que se exige realizar laevaluación ex-ante para demostrar las ventajas socioeconómicasque se obtendrán a medio plazo con la movilización de los recursoscorrespondientes en cada caso. Este refuerzo de la legislacióncomunitaria en materia de evaluación es clave, ya que adopta la ideade la necesidad de evaluar para conseguir fondos europeos.

En 1994 se pone en marcha el Programa MEANS3, cuyo objeti-vo es realizar un recorrido por todos los aspectos metodológicos dela evaluación de los programas europeos de carácter socio-econó-mico. Este programa ha contribuido de forma importante al desa-rrollo de metodologías de evaluación y al intercambio de experien-cias. En el marco del mismo, se han venido celebrando Conferen-cias (denominadas Conferencias MEANS) en diversas ciudades:Bruselas (1995), Berlín (1996) y Sevilla (1998). La finalidad de lasmismas ha sido recopilar y analizar los trabajos metodológicos quedistintos grupos han llevado a cabo durante ese periodo, así comopromover la diseminación de las "buenas prácticas" de evaluación.

Así; aunque los procedimientos de evaluación han venido sien-do una práctica habitual en el seno de la Unión Europea, sin embar-go, antes de 1993, la experiencia en estos procedimientos se encon-traba en situación de retraso relativo en relación con la existente enpaíses como Estados Unidos o Canadá. El carácter artesanal de lasprácticas de evaluación europea era evidente. Por ello, era necesariodesarrollar la utilización de la evaluación como un instrumento alservicio de la "transparencia" y"responsabilidad" por un lado, ycomo prueba de la coherencia entre las actuaciones que se preten-

3 Método de Evaluación de Actividades de Naturaleza EstructuraL Comisión Europea,1994.

324

den Ilevar a cabo y los recursos disponibles que existen para tal fin,por otro (C3E, 1998).

Los avances en materia de evaluación de programas (C3E,1998), tanto cuantitativos (número de informes realizados y presu-puesto destinado) como cualitativos (calidad, fiabilidad, pragmatis-mo metodológico...), realizados en los últimos años han sido muyimportantes. Igualmente, la emergencia de una cultura de evalua-ción es evidente tanto en los distintos departamentos de la Comisióncomo en cada uno de los Esfados Miembros. Pero con esto no basta,ya que además de la reglamentación necesaria para impulsar unasprácticas correctas de evaluación resultan indispensables la sensibi-lización y la continuidad de esfuerzo para mantener activa esta diná-mica impulsada por la normativa europea.

A este gran avance ha contribuido de forma muy especial la ela-boración y publicación en 1995 del documento conocido comoSEM 2000 (Comisión Europea, 1995b)'. El creciente incremento enel número y en la dotación presupuestaria de programas públicoseuropeos, las críticas al funcionamiento del sector público y la cri-sis de legitimidad del Estado (VILADOMIU y ROSELL, 1998) lle-varon a la Comisión a iniciar una intensa actividad destinada a hacermás eficaz la gestión de los fondos públicos comunitarios, que seenmarca en una amplia iniciativa recogida en el citado documentode la Comisión. Este amplio documento centra su atención en dis-tintas materias entre las que destacan: la mejora en la gestión finan-ciera, la planificación presupuestaria, la evaluación, la auditoría y elcontrol del fraude. El Programa SEM 2000 recoge, por tanto, laslíneas directrices de la Política de Evaluación de la Comisión Euro-pea. La aplicación de esta Iniciativa supone la reorganización inter-na de los servicios de la Comisión y el reforzamiento del partena-riado con los Estados Miembros.

El Programa SEM 2000 consta de tres fases. Las dos primeras 5,finalizadas a principios de 1996, consistieron en el refuerzo porparte de la Comisión de su propia gestión financiera, mientras quela^última, aún en curso, contempla la mejora de la gestión de los

° Sound and Efficient Managemen[ 2000 (SEM 2000). Comisión Europea, 1995.5 Los resultados de la apGcación de la primera parte de la Iniciativa SEM 2000 se reco-

gen en distin[os documentos de la Comisión entre los que cabe destacar: Communication of 26July 1995: SEC (95) 1301 (4), Communication of 8 November 1995: SEC(95) 1814/3, Com-munication of 8 May 1996: SEC (96) 659 final.

325

recursos comunitarios efectuada por los Estados Miembros, ysupondrá una mayor transparencia por un lado, y una mayor segu-ridad por otro, en beneficio de todos los contribuyentes.

SEM 2000 constituye también el punto de partida en la imple-mentación de un enfoque sistemático de la evaluación que incluyela obligatoriedad de realizar evaluaciones ex-ante, interniedias y ex-post en todos los programas e iniciativas subvencionados por laComisión. Esta última ha considerado como una prioridad que laevaluación de este tipo de programas se Ileve a cabo de forma mássistemática, programada y rigurosa (Comisión Europea, 1996a).Este instrumento es considerado primordial para asegurar la utiliza-ción correcta de los recursos financieros públicos que proceden delpresupuesto comunitario.

Según la doctrina europea, las evaluaciones ex-ante, deben esta-blecer una cuantificación de los objetivos que se pretenden conse-guir con el programa o proyecto a implementar. De esta manera,debe ser posible realizar una comparación entre los resultados pre-vistos inicialmente y los resultados finalmente conseguidos, para asíestablecer la eficacia en el funcionamiento del programa.

Las evaluaciones intermedias, deben realizarse durante el perío-do de implementación de los programas. Por ello deben orientarsehacia los resultados parciales que se van obteniendo, sin considerarlos primeros impactos, ya que estos últimos necesitan períodos detiempo más prolongados para manifestarse. Por ello, su función esde seguimiento y se puede considerar que tienen una intención for-mativa, al pretender poner de manifiesto las posibles desviacionesproducidas en los objetivos operativos, para intenfar corregirlas,cuando aún sea posible hacerlo, al no haber finalizado aún la fase dedesarrollo de los programas.

Finalmente, las evaluaciones ex-post, deben realizarse cuandolas intervenciones ya han terminado. Su objetivo es analizar losimpactos del programa. Aunque a veces estos impactos no se mani-fiestan hasta varios años después de la finalización de los progra-mas, este tipo de evaluación resulta fundamental para conocer cómoha funcionado realmente un programa.

La utilización sistemática de estos tres tipos de evaluación ponede manifiesto y refuerza la importancia y utilidad de la evaluacióncomo instrumento imprescindible, en los procesos de toma de deci-siones y de gestión de los programas y proyectos y en la dotaciónpresupuestaria asignada a los mismos.

326

En la Comunicación de la Comisión "Evaluation: Concretesteps towards best practice across the Commission", se explicitanlos tres objetivos básicos que, a juicio de la Comisión, debe satisfa-cer todo procedimiento de evaluación: a) Mejorar la programacióny la gestión. b) Responsabilidad ante la autoridad financiera y laopinión pública y c) Asignación coherente de recursos (ComisiónEuropea, 1996b).

Con la idea de lograr una implementación completa de la Inicia-tiva SEM 2000 y de alcanzar los objetivos citados, la Comisión rea-liza una serie de recomendaciones (Comisión Europea, 1999) rela-tivas a las prácticas de evaluación que deben llevar a cabo sus dis-tintos departamentos, entre las que pueden destacarse:

- Obligatoriedad de la evaluación ex-ante, en el contexto de lasnuevas propuestas legislativas.

- Desarrollo de indicadores y de sistemas de seguimiento efi-cientes para la recolección de datos, a fin de asegurar la vali-dez y calidad de las evaluaciones.

- Integración de la programación de evaluación en los planesde cada Dirección General y en la planificación de las activi-dades de la Comisión en su conjunto.

Todos estos hechos, instrumentos y medidas diseñados por laComisión Europea en materia de evaluación, definen la actitudcomunitaria frente a los problemas de evaluación de programasfinanciados con fondos públicos, dando muestra de la continuapreocupación y del creciente interés de esta institución por aseguraruna correcta gestión de dichos fondos.

2. PRINCIPALES DIFICULTADES ENCONTRADASEN LA PUESTA EN MARCHA DE UN PROCESODE EVALUACIÓN

Según lo expuesto en el apartado anterior, el objetivo general deuna evaluación debe ser determinar los efectos socioeconómicos delas medidas implementadas, examinando los resultados obtenidos,comparándolos con los recursos utilizados y analizando su costo. Larealización de esta tarea implica el disponer de una buena base esta-dística, de unos objetivos debidamente cuantificados, de un sistema

327

de indicadores apropiado y de un marco metodológico y analíticoconsistente. La dificultad de disponer de todos estos elementos haceque la puesta en marcha de un proceso de evaluación pueda serespecialmente complicada.

Por ello, a pesar del interés demostrado por la Comisión en laimplementación y avance de las técnicas de evaluación así como enla creación de una cultura de evaluación, no solo en su seno sinotambién entre las administraciones de los distintos Estados Miem-bros, la complejidad de la tarea junto con la ausencia de un marcometodológico capaz de incluir todas las situaciones específicas difi-cultan el éxito de esta tarea.

Existen dos grandes cuestiones a las que aún no se ha dado unarespuesta definitiva por parte de la Comisión: ^Cuál es el sistema deindicadores más adecuado para formular una evaluación global delos programas estructurales? y ^cuál es el enfoque más adecuadopara medir el impacto socioeconómico de los mismos?

Además, existen otros factores intrínsecos al proceso de evalua-ción que influyen negativamente en el desarrollo del mismo, comoson: 1) la ausencia de información y datos estadísticos adecuados (engeneral, las bases de datos existentes cubren áreas geográficamentedistintas de aquellas en estudio, y además existe un desfase entre elmomento en el que se necesita disponer de los datos y el momento enel que éstos están disponibles), 2) los períodos de programación sonrelativamente cortos y las evaluaciones se suelen retrasar, por lo queen general, cuando están disponibles, son poco útiles para influir enla planificación y distribución de recursos del nuevo período, 3) enmuchas ocasiones, la vaguedad en la definición de las necesidades dela evaluación, conlleva una vaguedad en el análisis de resultados y enlas recomendaciones derivadas, 4) es difícil medir la objetividad de laevaluación, ante la imposibilidad de la Comisión de contrastar sobreel terreno la consistencia o la fiabilidad de los indicadores o de las téc-nicas utilizadas, 5) la medida de resultados e impactos es dificultadapor la complejidad de establecer relaciones causales entre los distin-tos niveles de objetivos, así como por la existencia de efectos hori-zontales, complementariedades y sinergias entre medidas.

A estos problemas, se puede unir la diferente concepción encuanto a la utilidad de la evaluación existente entre los distintosEstados Miembros. Así, Goybet, (Comisión Europea, 1998b) deforma esquemática, considera que existen tres fases en el nivel deutilidad atribuido a la evaluación.

328

Fase Reglamentaria: La evaluación es considerada como res-puesta a una obligación impuesta por una administración de ordensuperior. En este caso se la ve como una sobrecarga de trabajo y suúnico valor es cumplir con esta obligación.

Fase de Gestión: La evaluación se convierte en un sistema deayuda para el diseño y gestión de futuras intervenciones. En gene-ral, en esta fase se incrementa la calidad de la información suminis-trada y la implicación de los actores y gestores del proceso.

Fase Política: La evaluación es un acto de naturaleza política ysus resultados son objeto de debate. La finalidad buscada es infor-mar a la opinión pública sobre la eficacia en el uso y gestión de fon-dos públicos. En cierto sentido, busca legitimar las políticas públi-cas, informando y buscando el consentimiento del ciudadano sobrela utilización de fondos públicos realizada por el Estado.

Aunque en general los distintos Estados Miembros deberían detender hacia esta última fase, hoy día la mayoría de ellos se encuen-tran en las etapas anteriores. No obstante, la cada vez mayor impor-tancia de la evaluación, junto con la utilidad derivada de su uso y lacreciente presión social hacia una mayor legitimidad en el uso deldinero están condicionando una evolución hacia esta última fase.

3. PRINCIPIOS BÁSICOS EN LA ELABORACIÓNDE METODOLOGÍAS DE EVALUACIÓN

Aunque en la actualidad no se dispone de metodologías únicaspara la evaluación de programas, políticas o proyectos europeos, síexiste acuerdo sobre los principios en los que se debe basar la ela-boración de estas metodologías.

El diseño de una metodología de evaluación ha de estar basadoen 6: 1) La utilización de técnicas analíticas y de investigación conreconocida solvencia para el uso que sé pretende, 2) la utilizaciónde un enfoque sistemático, tanto en su planificación, como en surealización 3) la fiabilidad de los resultados, de manera que unequipo evaluador diferente, utilizando la misma información y lasmismas técnicas, pueda reproducir los resultados obtenidos, 4) laorientación de la evaluación hacia los objetivos que realmente se

6 Comisión Europea, 1997: Evaluating EU expenditure programmes.

329

pretenden con la misma y 5) la orientación hacia los usuarios fina-les de la misma, de manera que provean de información útil a losdecisores y gestores. .

La objetividad de una metodología debe garantizarse por la cali-dad del sistema de indicadores utilizado, la fiabilidad de la infor-mación y la neutralidad en la interpretación de los resultados.

La utilidad de los indicadores, deriva del hecho de que permitenanalizar situaciones complejas y reducirlas a categorías sintéticas,cualitativas o cuantitativas. No obstante, su definición es bastanteproblemática: imponer una serie de indicadores estándar, enmuchos casos reduce las diferentes dimensiones del análisis y no seadapta a las necesidades y a las características del programa a eva-luar. A1 contrario, un número elevado, incrementa la complejidad ypuede llegar a disuadir al evaluador del uso de la batería.

En el diseño de indicadores se han tener en cuenta una serie deprincipios: 1) han de ser significativos, es decir, estar órientádos adar respuesta a preguntas concretas que se consideran relevantes enla evaluación que se lleva a cabo; 2) han de ser simples de forma quela cantidad de información a tratar no sea excesiva, pero sin caer enel reduccionismo; 3) han de ser suficientemente expresivos de lasdimensiones que se quieren analizar; 4) deben ayudar a establecerrelaciones causa-efecto entre los sistemas que interaccionan; 5)

deben de ser prospectivos, en el sentido de que permitan no solo elanálisis de las tendencias presentes y pasadas, sino hacer una pros-pección de la evolución futura de esas tendencias y 6) deben permi-tir comparaciones entre los resultados obtenidos en diferentes pro-yectos, zonas de aplicación, etc.

En definitiva, se recomienda la elaboración y utilización de indi-

cadores sintéticos, que recojan en lo posible las características ante-

riormente definidas.En cuanto a la información necesaria para evaluar un programa,

la misma ha de ser fiable, •es decir, susceptible de poder ser con-trastada a través de diferentes fuentes, ha de poder ser complemen-

tada con otras informaciones existentes, no deben de existir lagunas

de información en aspectos relevantes (en los casos en los que nosea posible el conseguir información primaria, se deberá recurrir ala secundaria y en aquellos casos en los que la obtención de infor-mación directa, sea problemática, se impone el idear métodos quepermitan obtenerla de forma indirecta) y además la información ha

de ser objetiva e independiente (la necesidad de recabar informa-

330

ción de los gestores y decisores implicados en el funcionamientodel programa, junto con la dificultad de comprobar en el terreno, laveracidad de la misma, hacen necesario el testar las fuentes parapoder cumplir este requisito).

Finalmente, un aspecto clave es la neutralidad en la interpretaciónde los resultados obtenidos. Como ya se ha comentado, los indicado-res son medidas o datos estadísticos que facilitan la interpretación deuna situación, pero el rigor estadístico no debe impedir, como a vecesocurre, perder de vista la naturaleza lo que está ocurriendo en la rea-lidad. Además, la visión parcial que transmiten los indicadores, deri-vada de la necesidad de reducir, en lo posible, el número de variablesexistentes en los mismos, no debe apartar al evaluador de la globali-dad en la que está inmerso el sistema a analizar.

EI evaluador, además, ha de ser capaz de distinguir entre las con-notaciones de carácter político y las de carácter técnico de la eva-luación' (CSE, 1996) . Esto le obliga a adoptar una posición demediación entre demandas contradictorias, y a discernir entre losintereses de carácter político y los intereses estratégicos de los acto-res implicados, en el análisis de los resultados.

Para evitar estos problemas, es importante que el evaluadortenga un sólido conocimiento de las técnicas de evaluación emple-adas y que el informe final siga una lógica objetiva, es decir, que losresultados estén firmemente apoyados por la evidencia, que las con-clusiones se apoyen sistemáticamente en los resultados y que lasrecomendaciones se basen en las conclusiones obtenidas.

4. LA EVALUACIÓN DE UNA IlVICIATIVA DE DESARROLLORURAL

La creciente preocupación de la Unión Europea por los proble-mas de las áreas rurales, expresada en el documento "El Futuro delMundo Rural" (European Commission, 1988), cristalizó en el lan-zamiento de la Iniciativa Comunitaria LEADER, destinada a pro-mover el desarrollo de estas áreas rurales.

^ Según el CSE (Conseil Scientifique de I'Evaluation), la evaluación, es a la vez cogniti-va, normativa e instrumental. Las informaciones de valor normativo corresponderían a las opi-niones de los polí[icos y por tanto serían de naturaleza política, mientras que las dimensionescognitiva e inswmental, tendrian un carácter técnico.

331

Esta Iniciativa LEADER fue concebida como una experienciapiloto, que buscaba testar en el territorio, el funcionamiento de nue-vas estrategias y modos de actuar, aplicando principios diferentes alos tradicionalmente empleados en las políticas de desarrollo rural.El éxito de la primera etapa de LEADER, implicó que en el perío-do de programación 1994-99, se lanzara LEADER IL Las evalua-ciones, actualmente en práctica de LEADER II, pretenden aportarluz a la mayor parte de las cuestiones, que dieron origen al lanza-miento de la Iniciativa, de manera, que quede patente no sólo la efi-cacia del instrumento, sino la validez de la idea que dio lugar a lapuesta en marcha de esta Iniciativa Comunitaria.

LEADER II tiene entre sus objetivos prioritarios, el conseguirrespuestas innovadoras a los problemas que afectan a las zonas rura-les. Para ello, dota de fondos públicos directos a una serie de áreasque han elaborado un plan de desarrollo con unas característicasespecíficas, como son el enfoque local, la creación de un partena-riado asociativo, el enfoque ascendente, la innovación o la necesi-dad de creación de redes.

Las técnicas de evaluación convencional se basan en análisis dela eficiencia, eficacia y del impacto de los programas. Sin embargo,al aplicar estos objetivos a la evaluación de una iniĉiativa de lascaracterísticas de LEADER, se aprecia que las conclusiones obteni-das resultan claramente insuficientes, para determinar la bondad dela Iniciativa, lo que resulta especialmente significativo en compara-ción con la evaluación de otros programas. Este diferencial pone demanifiesto la necesidad de utilizar nuevos instrumentos a la hora deevaluar los programas de Desarrollo Rural, de manera que seancapaces de detectar las características específicas de LEADER. Enconcreto, la evaluación de LEADER II es mucho más que la eva-luación de un programa operativo o una iniciativa comunitariafinanciados con Fondos Estructurales, ya que en la misma estánimplicadas una serie de cuestiones derivadas del debate actualmen-te existente en la UE.

Las principales líneas de este debate se articulan en torno a lanueva reforma de la PAC ante las propuestas de la Agenda 2000, eldebate sobre el futuro de las áreas rurales y de las políticas a ins-trumentar para e] apoyo a las mismas, la reflexión sobre los instru-mentos y medidas más eficaces para alcanzar los objetivos que sepretenden, y la idea, cada vez más difundida, de que las estrategiasde desarrollo rural, no deben ser consideradas como ensayos pun-

332

tuales a aplicar a territorios concretos, sino que deben ser aplicadasde manera horizontal en toda la UE.

Por estas razones, en esta evaluación, hay que trascender de lasevaluaciones clásicas que utilizan únicamente criterios cuantifica-bles económicamente, para aportar informaciones adicionales, quepermitan medir los impactos cualitativos derivados de los elemen-tos específicos de esta iniciativa y que eventualmente, sirvan debase para su posible generalización. Esto no implica que no se siganlos mismos procedimientos utilizados en la evaluación de fondosestructurales, basados en indicadores físicos y financieros del pro-greso, los resultados y el impacto obtenidos, sino que además hayque buscar indicadores complementarios capaces de poner de mani-fiesto los intangibles producidos por LEADER.

El Observatorio Europeo LEADER 8, llama a estos intangibles,especificidades de LEADER, e identifica ocho: el enfoque local(basado en la elección de un territorio homogéneo y con una iden-tidad común), el enfoque ascendente o bottom-up, la búsqueda deacciones innovadoras, el enfoque multisectorial. o integrado, lacreación de un partenariado horizontal (a través de la formación deGrupos de Acción Local, encargados de la puesta en marcha y ges-tión de los programas), la creación de redes (a nivel nacional yeuropeo) y la integración de los grupos en ellas, la búsqueda de unacooperación transnacional, que facilite el intercambio de experien-cias y el conocimiento mutuo y finalmente, la financiación de losgrupos, a través de una subvención global.

La lista anterior es meramente indicativa y pretende caracterizaruna serie de factores determinantes del éxito de esta Iniciativa. Noobstante, hay muchos más aspectos que forman parte de la estrate-gia de desarrollo puesta en marcha por LEADER y que pueden seranalizados, como la movilización de recursos endógenos, la dina-mización de la población, la creación y potenciación de la identidadlocal, la recuperación de oficios y tradiciones o el incremento de lacultura y del conocimiento de Europa en las zonas rurales.

Obviamente, estos aspectos son difícilmente evaluables, espe-cialmente, si se utilizan técnicas convencionales. Sin embargo,constituyen la esencia misma de la Iniciativa, su "valor añadido ",la fuente de diferenciación entre esta Iniciativa y el resto de progra-

$ AE[DL, 1998: The Evaluation of LEADER Specificities. Third revised draft.

333

mas y proyectos puestos en marcha en zonas rurales, por ello, elobviarlos conduciría a distorsiones y falta de realismo sobre el sig-nificado de LEADER y sobre los cambios que, gracias a esta Ini-ciativa, se están produciendo en las áreas rurales.

Otro aspecto que dificulta la evaluación es el hecho de que lafilosofía de LEADER está perfectamente explicitada en la Comuni-cación a los Estados Miembros, sin embargo, su aplicación prácticaplantea muchos interrogantes. La diversidad de áreas locales y ladiferente casuística hace que en muchas ocasiones la Comisión déunas orientaciones imprecisas. A su vez, la voluntad de la Comisiónde dejar más campo de acción a los Estados Miembros, en aplica-ción del principio de subsidiariedad, hace que en muchas ocasionessean las administraciones nacionales las que decidan. En la prácticaesto se traduce en la existencia de informaciones contradictoriasentre distintas administraciones (especialmente, en nuestro país,donde la aplicación de LEADER, depende del Estado Central en unprimer nivel de coordinación general y de las Comunidades Autó-nomas como Organismos Intermediarios). Esta diferente competen-cia administrativa, está provocando el que los GAL tengan que deci-dir, en muchos casos, según sus propios criterios y experiencia,entrando a veces, en contradicciones con lo que a posteriori, la

Comisión considera válido.En definitiva, todos estos aspectos diferenciales y diferencia-

dores de LEADER hacen necesaria la puesta a punto de técnicas deevaluación específicas, con una fuerte componente cualitativa, basa-das en la definición de indicadores capaces de dar respuesta a pre-guntas directas y susceptibles de ser cuantificados, para posterior-mente, poder ser agregados en categorías y comparados.

5. PROPUESTA METODOLÓGICA PARA LA EVALUACIÓNINTERMEDIA DE LA INICIATIVA COMUNITARIALEADER II

La necesidad de integrar los elementos propios de una evalua-ción convencional ĉon los elementos específicos .de la IniciativaComunitaria LEADER, ha llevado al Equipo de Desarrollo Rural dela Universidad de Córdoba a diseñar una metodología de evaluaciónintermedia al efecto, que es un intento de adaptar la evaluación clá-sica a las nuevas necesidades descritas. Así, una utilización de indi-

334

cadores cuantitativos ha sido unida al empleo de otros indicadoresde índole cualitativa, pero siempre objetivables y susceptibles deagregación o comparación en su caso.

El objetivo a alcanzar con esta aportación metodológica es, portanto, llegar a conocer tanto los aspectos formales de la ejecución,como aquellos elementos menos visibles que pueden estar produ-ciéndose en los territorios LEADER. En muchas de las actuacionesque se realizan en el marco de la Iniciativa LEADER se movilizanpresupuestos relativamente pequeños, que no producen a simplevista implicaciones cuantitativas destacables de carácter físico 0financiero, pero que pueden tener un gran impacto en ámbitosmenos objetivables y medibles como pueden ser la auto-confianza,la capacidad de iniciativa, los factores de competitividad, la articu-lación económico-social... (VILADOMIU y ROSSELL, 1998).

Antes de describir la metodología de evaluación diseñada, debedestacarse, al igual que para el resto de los elementos de la Iniciati-va Comunitaria LEADER, el carácter experimental de la misma. Elmodelo metodológico debe ser testado, y revisado en función de larealidad a la que se aplique, siempre en la búsqueda de una mayorutilidad para los distintos agentes, instituciones y administracionesimplicadas en la actuación que se evalúa. Por ello, uno de las prin-cipalés ventajas de la metodología que se presenta es su flexibili-dad, es decir, su capacidad de adaptación a los distintos contextosen que sea necesario aplicarla.

Por otra parte, la metodología diseñada, responde a los requeri-mientos o recomendaciones que la Unión Europea, como promotorde la Iniciativa, ha ido estableciendo en sus diferentes documentos9.

Esta metodología de evaluación se estructura en torno a unaserie de elementos relevantes, para cada uno de los cuáles se ha defi-nido un indicador de índole cuantitativa, que pretende cuantificar,en la medida de lo posible, los aspectos cualitativos definidos porcada aspecto relevante.

La metodología de evaluación intermedia se divide en dos níve-les de aplicación: Nivel local y nivel regional. Para ambos niveles seanaliza la situación de partida antes de comenzar a aplicar la Ini-

9 Las recomendaciones de la Comisión se recogen fundamentalmente en los siguientesdocumentos: Comunicación a los Estados Miembros (94/C 180/12) y Procedimiento de Con-trol y Evaluación de los gas[os en Fondos Eswcturales (STAR Doc. VU3479/94REV3).

335

ciativa en cada una de las zonas afectadas, el proceso de imple-mentación de la Iniciativa y los resultados obtenidos con su aplica-ción. Para el análisis de resultados se distingue entre la evaluaciónde los aspectos convencionales (eficiencia, eficacia e impacto), y laevaluación de las especificidades de LEADER II, que se han citadoen el apartado anterior.

Para evaluar tanto los aspectos convencionales como los especí-ficos esta metodología propone una amplia batería de indicadores,de entre los que se seleccionan diez que se denominan indicadoresbásicos10. Para cada indicador básico se define un amplio conjun-to de indicadores complementarios con los que se completa y deta-lla la información que el primero proporciona. Es decisión del eva-luador la utilización de unos u otros indicadores complementarios,en función del carácter de la evaluación y de la realidad que tratade evaluarse.

En el nivel local, la clave reside en la estandarización de la infor-mación cualitativa, de forma que pueda ser clasificada en categorí-as homogéneas para que puedan ser comparadas a cualquier nivelterritorial (AEIDL, 1998). Por otro lado, resulta fundamental en laevaluación de los distintos aspectos correspondientes al nivel local,la implicación de la población afectada en el proceso de evaluación,ya que supone una garantía de realismo y calidad en los resultadosque se obtengan. Como se ha comentado en el apartado anterior, elenfoque local y el enfoque ascendente son dos de las principalesespecificidades de la Iniciativa LEADER, de forma que esta meto-dología ha prestado una especial atención en este nivel del procesode evaluación, al diseño de instrumentos adecuados, ĉapaces deaportar luz sobre los logros alcanzados para cada uno de estosaspectos específicos.

Para analizar la situación inicial en el nivel local, se propone elestudio del estado de distintos aspectos clave, a fin de evaluar laevolución alcanzada durante el período de aplicación de la Iniciati-va, así como su influencia en los resultados que se obtengan en laevaluación de otros factores. Entre estos aspectos cabe destacar elgrado de estructuración socioeconómica previa de la zona de actua-

10 Aunque pronto habremos de argiiir que dentro de la Europa del Sur se ha configuadootro Sur. Es lo que llama el sociólogo italiano Enrico Pugliese "el sur del Sur", en referencia auna serie de regiones que estarían quedando relegadas incluso de la Europa de la "segundavelocidad".

336

ción. Con el análisis de este aspecto se trata de evaluar la capacidadpara inducir un proceso de desarrollo en ese área con garantías razo-nables de autosostenimiento. El nivel de estructuración de la comar-ca puede analizarse mediante el estudio tanto de la experiencia pre-via de la zona en desarrollo rural (participación anterior en iniciati-vas de desarrollo), como del grado de articulación económica (nivelde vertebración de sus sectores económicos) y social (nivel deimplicación de la población en estructuras organizadas) de lamisma. -

Por otro lado, la inclusión de la zona afectada en Objetivo 1 ó Sbpuede resultar determinante para la obtención de mejores o peoresresultados en la evaluación de otros factores, por lo que debe serconsiderado al evaluar la situación de partida a nivel local.

Una vez analizada la situación de partida en este nivel, elsiguiente paso consiste en evaluar los distintos aspectos claves quedeterminan el nivel de corrección y adecuación del proceso dedesarrollo que se está llevando a cabo.

Entre estos aspectos clave adquiere una especial relevancia laestimación de la capacidad de movilización de la población, esdecir el nivel de participación de la misma en las distintas fases delproceso. Para ello, puede cuantificarse tanto la asistencia a las con-vocatorias que se hayan realizado como los contactos mantenidosentre los actores locales.

Otro elemento determinante del nivel de adecuación del proceso anivel local es el grado de implicación social. Se trata de poner demanifiesto si a lo largo del proceso se ha alcanzado el doble objetivo,de informar a la población y atraerla al proceso, y de ser informadopor la misma sobre sus ideas, preferencias o actitudes frente a esteproceso. Un factor importante para este análisis es el grado de cono-cimiento que la población tiene sobre lo que significa LEADER.

El estudio de la capacidad técnica del equipo responsable de laimplementación de la Iniciativa Comunitaria en la zona de actua-ción es otra de las variables a analizar en esta fase. El objetivo esvalorar la adecuación de la formación y de la experiencia del equi-po técnico que está gestionando la ejecución del programa de desa-rrollo en la zona, a las necesidades formativas y técnicas que exigela aplicación de un programa de estas características.

Un elemento fundamental para decidir sobre la idoneidad delproceso que se está llevando a cabo es la mejora de la cohesión eco-nómica y social entre los distintos municipios que conforman el

337

territorio de aplicación de la Iniciativa, es decir la consecución deun mayor equilibrio territorial. De esta forma se pretende identifi-car la concentración o distribución en el territorio de los recursos dela iniciativa, compazando la inversión realizada en los municipiosmás deprimidos con la que se ha llevado a cabo en otros con unmayor nivel de riqueza o un mayor dinamismo.

El análisis de la labor del CEDER como factor de dinamizaciónde la comazca, valorando su proximidad técnica y administrativa, esotro factor importante para la evaluación de la bondad del procesode desarrollo. Se trata de evaluar la capacidad de los sistemas de

comunicación puestos en marcha, para facilitar y agilizar la comu-nicación y los flujos de información entre el centro de gestión y lapoblación local.

El último aspecto clave en el análisis del proceso a nivel local esel procedimiento diseñado para la aprobación de proyectos. Se tratade analizaz la bondad de los procedimientos de evaluación y apro-bación o rechazo de proyectos, estudiando asimismo su adecuacióna las líneas de actuación propuestas en el Programa de InnovaciónRural, y, en su caso, las razones que han provocado que proyectosque han sido aprobados no hayan sido ejecutados.

Por último, paza completaz la evaluación en el nivel local, esnecesario realizar una valoración de los resultados obtenidos en unpunto intermedio del período de ejecución de la iniciativa, comoconsecuencia del proceso de desarrollo que se ha puesto en marcha.No se valora, como se ha hecho en la fase anterior, la forma de tra-bajaz durante el proceso, sino los resultados que se están obtenien-do con el mismo.

Como se ha comentado anteriormente, esta metodología de eva-luación trata de integrar en el análisis de los resultados, tanto losaspectos correspondientes a una evaluación convencional comoaquellos otros específicos de la Iniciativa LEADER.

La evaluación convencional valora la eficacia global (grado delogro conseguido en relación con el que se pretendía obtener) alcan-zada en este punto intermedio con la aplicación de la Iniciativa. Seanalizan tanto las diferencias en cuanto a ejecución del presupuestoentre lo previsto y lo realmente ejecutado, como la bondad del diag-nóstico realizado y su posterior traducción en líneas estratégicas deactuación en la comarca.

La eficiencia global trata de evaluar la relación existente entrelos resultados obtenidos y los recursos empleados para alcanzarlos.

338

Para ello se analiza la relación entre el empleo creado o consolida-do y el coste que ello ha supuesto, entre los proyectos puestos enmarcha y los recursos empleados para su gestión, las mejoras que sehan alcanzado en formación y los recursos invertidos para ello, etc.

Tanto la eficacia como la eficiencia pueden analizarse tambiénde forma desagregada para cada una de las medidas correspondien-tes a Innovación Rural y Cooperación Transnacional.

La evaluación de los resultados alcanzados para aspectos espe-cíficos de LEADER en el nivel local se centran en el análisis de treselementos fundamentales. En primer lugar se propone la evaluaciónde una de las principales especificidades de esta Iniciativa Comuni-taria como es el grado de innovación. Se propone evaluar tanto lainnovación de proceso (introducción de un nuevo proceso en la ela-boración del producto o servicio al que se destina o bien una modi-ficación sustancial en alguna de las etapas), como la innovación deimplantación (introducción de una nueva actividad en una zona enla que antes no existía) y la innovación de recursos (utilización derecursos que hasta ahora no habían sido usados en un proceso pre-viamente existente).

Por otro lado, la capacidad demostrativa, es decir, la ĉapacidadque tienen los proyectos que se han llevado a cabo en el marco dela Iniciativa para ser implantados por otro promotor en la mismazona o en zonas diferentes, es otro de los principales elementos deevaluación específicos en esta fase.

El tercer aspecto específico a evaluar es el nivel de diversifica-ción de actividades alcanzado. Como se ha comentado en el apar-tado anterior, el enfoque multisectorial o integrado es una de lasespecificidades claves de la Iniciativa LEADER, y por lo tanto unelemento determinante a evaluar en esta fase. Se trata de analizarlas diferentes estrategias de diversificación de actividades que sehan Ilevado a cabo en la zona, mediante la evaluación de distintosfactores como son: la introducción de nuevas actividades en lasexplotaciones agrarias o la transformación de actividades tradicio-nales (pluriactividad), la introducción de actividades compatiblescon las actividades principales del titular de la explotación (com-plemento de rentas), la introducción de actividades de transforma-ción y/o distribución de los productos o servicios prestados albeneficiario (profundización en la cadena), o la dedicación total delos recursos a una actividad perteneciente a otro sector (cambio desector).

339

Una vez evaluada tanto la situación de partida como el procesoy los resultados alcanzados en el nivel local, el siguiente paso con-siste en el análisis de estos tres elementos en el nivel regional deaplicación de la Iniciativa LEADER.

Entre los aspectos a evaluar en la situación inicial adquiere unaespecial relevancia la estructura administrativa, es decir, el perso-nal (número y capacidad técnica) y la infraestructura que la Com ĉ-nidad Autónoma ha puesto a disposición del funcionamiento de laIniciativa LEADER II.

Resulta determinante en este nivel el n° de grupos de acciónlocal que la Comunidad Autónoma tenía en LEADER I, ya que setrata de valorar la experiencia que cada Comunidad Autónoma tieneen implantación de Iniciativas Comunitarias de Desarrollo Rural,considerando el número de zonas incluidas en LEADER I.

A1 igual que en el nivel local, la perte.nencia de la zona a Obje-tivo 1 ó Sb puede tener una gran influencia en los resultados alcan-zados a nivel regional.

En la siguiente fase del procedimiento de evaluación, se analizandistintos aspectos claves que detérminan el nivel de corrección yadecuación del proceso de desarrollo que se está llevando a cabo.Entre estos elementos destaca el análisis de los flujos de informa-ción. Se pretende conocer el tipo de información generada por laComunidad Autónoma y su naturaleza, es decir, si responde a peti-ciones de los Grupos o es una iniciativa propia de la AdministraciónAutonómica, así como los retrasos que se producen entre una peti-ción por parte de los Grupos y la respuesta que se les da. El gradode burocratización, es decir, la existencia de una excesiva burocra-tización en los pasos necesarios para realizar una consulta, es otroelemento clave que determina la idoneidad o no del proceso. Unexcesivo grado de burocratización provoca que la gestión no seaágil y que los grupos dediquen más tiempo a cuestiones administra-tivas del estrictamente necesario. Por último, se propone la evalua-ción del grado de autonomía. En este punto se trata de analizar elesquema de actos administrativos de que consta el procedimientodesde que se aprueba un proyecto hasta que se ejecuta el pago, y deentre éstos analizar cuántos de ellos dependen de la ComunidadAutónoma o de otra Administración ajena a los órganos de decisióndel CEDER.

A1 igual que en el nivel local, a nivel regional se evalúan losresultados alcanzados tanto para los aspectos de la evaluación clá-

340

sica como para los aspectos específicos de LEADER. En el caso dela evaluación convencional, se valora la eficacia global media (valormedio de los alcanzados por los distintos GAL pertenecientes a laComunidad Autónoma en la evaluación de este aspecto), la efzcien-cia global media (valor medio de los alcanzados por los distintosGAL pertenecientes a la Comunidad Autónoma en la evaluación deeste aspecto), la eficacia media por medidas (valor medio de losalcanzados por los distintos GAL pertenecientes a la ComunidadAutónoma en la evaluación de estos aspectos) y la eficiencia mediapor medidas (valor medio de los alcanzados por los distintos GALpertenecientes a la Comunidad Autónoma en la evaluación de estosaspectos).

Por último, para evaluar los resultados alcanzados en lo que sehan denominado especificidades de LEADER, se analiza en el nivelregional tanto el diálogo institucional como la coordinación institu-cional, es decir, la capacidad de comunicación, de colaboración y depuesta en marcha de actuaciones conjuntas de las distintas institu-ciones que están implicadas en la implementación del proceso anivel regional.

6. CONCLUSIONES

Loĉ avances en la implantación de una cultura de la evaluacióntanto en la administración europea, como en las distintas adminis-traciones nacionales, hacen que cada vez se incida con mayor énfa-sis en la necesidad de realizar evaluaciones a distintos niveles detodas las políticas públicas implementadas en el territorio. Obvia-mente las políticas de desarrollo rural, como movilizadoras de fon-dos públicos, no son una excep•ión a esta regla, a pesar de susmayores dificultades intrínsecas. Cada vez es mayor el esfuerzodedicado a la elaboración de métodos e instrumentos de evaluacióncapaces de recoger las características específicas de este tipo depolíticas.

Existe un creciente consenso en que este tipo de evaluacioneshan de ser capaces de incorporar y medir aspectos y resultados cuyoanálisis no está previsto en las evaluaciones convencionales, carac-terizadas por un enfoque más economicista y cuantitativo. A1 eva-luar programas de desarrollo rural, se impone el trascender de lamera cuantificación de sus efectos, para incorporar la naturaleza y

341

amplitud de los procesos que estos programas están generando y/oarticulando en el territorio. Algunas de las actuaciones que se reali-zan en el ámbito del Desarrollo Rural, entre las que cabe citar lascorrespondientes a la Iniciativa Comunitaria LEADER II, llevanasociados unos presupuestos relativamente pequeños en compara-ción con los que se movilizan para otro tipo de actuaciones, y quepor tanto no tienen un impacto directo y cuantificable de carácterfísico o financiero. Sin embargo, resultan determinantes para eldesarrollo económico y social de estas zonas por sus implicacionesde carácter cualitativo que afectan a variables tan importantes como,la capacidad de iniciativa, la articulación económico-social, la iden-tificación con un territorio...

La globalización de las acciones de desarrollo rural (materiali-zada en el Reglamento Horizontal y la superación de las zonasObjetivo 1 y Sb) exige una generalización de las prácticas de eva-luación, capaz de establecer la pertinencia de las nuevas políticas ysu capacidad de desarrollo en espacios sujetos a limitaciones muydiferentes. Este principio, a su vez, implica la necesidad de avanzaren la definición de unos criterios mínimos, por parte de las distintasadministraciones y de los evaluadores, sobre los que basar las eva-luaciones. La definición de los mismos, a pesar de ser imprescindi-ble para aportar solidez y coherencia al proceso, se presenta proble-mática debido a la falta de datos estadísticos adecuados y actualiza- ^dos y a las particularidades y diferentes formas con que se articulanestos programas. No obstante, se considera necesario profundizaren este esfuerzo, dada la trascendencia de su objetivo final: permi-tir que los resultados obtenidos puedan ser comparados globalmen-te y que las conclusiones derivadas de ellos, puedan influir en eldiseño de las futuras intervenciones a desarrollar en los espaciosrurales.

BIBLIOGRAFÍA

AEIDL (1998). The Evaluation of LEADER Specificities. Third

revised draft. Bruselas.C3E (CENTRE EUROPEEN D'EXPERTISE EN EVALUATION)

(1998). Le développement de l'évaluation des interventionsstructurelles dans les Etats membres. Lyon.

342

COMISIÓN EUROPEA ( 1988). El futuro del Mundo Rural. Bruse-las.

COMISIÓN EUROPEA ( 1991). Programme européen d'analyseméthodologique pour l'evaluation des politiques structurelles:étude de définition. CEOPS.

COMISIÓN EUROPEA (1994a). Comunicación a los EstadosMiembros de la Iniciativa Comunitaria LEADER II. (94/C180/12). Bruselas.

COMISIÓN EUROPEA (1994b). Procedimiento de Control y Eva-luación de los gastos en Fondos Estructurales (STAR Doc.VU3479/94REV3). Bruselas.

COMISIÓN EUROPEA (1994c). Método de Evaluación de Activi-dades de Naturaleza Estructural (MEANS). Bruselas.

COMISIÓN EUROPEA ( 1995a). Orientations pour le suivi et lesevaluations intermediaires des CCA, DOCUP et Interventions.Bruselas.

COMISIÓN EUROPEA (1995b). Sound and efficient management2000. Bruselas.

COMISIÓN EUROPEA ( 1996a). Lucha contra el fraude. COM(96)173 final. Bruselas.

COMISIÓN EUROPEA (1996b). Evaluation: Concrete steps towardsbest practice across the Corrunission. SEC 96/659 final. Bruselas.

COMISIÓN EUROPEA (1997): Evaluating EU expenditure pro-grammes. Bruselas

COMISIÓN EUROPEA ( 1998). Evaluation review 1998. Bruselas.COMISIÓN EUROPEA (1998b). Actas de la Conferencia MEANS

sobre las prácticas de la evaluación en el campo de las políticasestructurales. Sevilla.

COMISIÓN EUROPEA ( 1998c). Special report n° 15/98 on theassessment of Structural Fund intervention for the 1989-93 and1994-99 periods together with the Commission's replies (DOCEC 347, ] 6-11-98).

COMISIÓN EUROPEA (1999). Spending more wisely: Implemen-tation of the Commission's Evaluation Policy. SEC (1999) 69/4.Bruselas.

CONSEIL SCIENTIFIQUE DE L'EVALUATION (1996). Petitguide de 1'évaluation des politiques publiques. La Documenta-tion Française. París.

DELGADO, M. y RAMOS, E. (1999). La calidad como objetivoen la evaluación de programas europeos. Actas del XII Sim-

343

posio de Cooperativismo y Desarrollo Rural. Morillo de Tou(Huesca).

RAMOS, E., GALLARDO, R., DELGADO, M. y RAMOS, F.(1998). Metodología de Evaluación Intermedia de la aplicaciónde la Iniciativa Comunitaria LEADER II en España. Universi-dad de Córdoba. Córdoba.

MERNAGH, M. (1998). The needs of local groups in terms of eva-luation. Seminar on indicators to asess the LEADER program-me and follow its implementation. Escocia.

VILADOMIU, L. y ROSELL, J. (1998). "Evaluando políticas, pro-gramas y actuaciones de Desarrollo Rural". Revista Española deEconomía Agraria, N° 182. MAPA. Madrid.

344