(M) 4. Necesidades de evaluaciÃ³n - ISCIIIscielo.isciii.es/pdf/inter/v15n1/v15n1a05.pdf ·...

Necesidades de evaluación de las organizacionessociales

Evaluation needs of the social organizations

Isabel María HERRERA SÁNCHEZ*José María LEÓN RUBIO*Silvia MEDINA ANZANO*

RESUMENSe examinan los aspectos teóricos y prácticos que regulan el proceso de la evaluación

cuando el objeto de la misma lo conforman las organizaciones sociales que colaboran conla Administración Pública para la prestación de servicios sociales. De este modo, se pre-tende dar respuesta a las necesidades de evaluación en lo que se refiere a: 1) el conoci-miento de las características del objeto de la evaluación; 2) la formulación de los criteriosque serán empleados para su valoración; 3) el procedimiento a través del cual se obtendráinformación relevante de cara a la valoración; y 4) la utilización de los resultados de laevaluación. Todo ello encaminado a la formulación de un modelo que pueda orientar lapráctica de la evaluación de las organizaciones sociales.

PALABRAS CLAVEOrganizaciones sociales, Servicios sociales, Criterios de evaluación, Modelos.

ABSTRACTThe theoretical and practical aspects regulating the evaluation process are examined

when the object is made up of social organizations collaborating with the GovernmentAgencies for the social services. In this way, it responds to the evaluation needs regardingfollowing: 1) the knowledge of the characteristics of the object being evaluated; 2) the for-

Intervención Psicosocial, 2006, vol. 15 n.º 1 65

Intervención Psicosocial, 2006, Vol. 15 N.° 1 Págs. 65-79. ISSN: 1132-0559

ESPACIO ABIERTO

* Departamento de Psicología Social. Universidad de Sevilla.

Fecha de Recepción: 02-04-2004 Fecha de Aceptación: 06-02-2006

mulation of the criteria that will be used for their assessment; 3) the procedure throughwhich the relevant data needed for assessment is obtained; and 4) the use of the resultsof the evaluation. All of these are directed to the formulation of a model that guides theevaluation practice of the social organizations.

KEY WORDSSocial organizations, Social services, Evaluation criteria, Models.

Necesidades de evaluación de las organizaciones sociales

66 Intervención Psicosocial, 2006, vol. 15 n.º 1

En las últimas décadas, la participa-ción de las organizaciones sociales priva-das en la prestación de servicios socialesse ha visto incrementada de forma verti-ginosa, conformando un nuevo mapaeconómico y social, que se ha venido adenominar Tercer Sector, para referirse alas organizaciones que reúnen las carac-terísticas de tener un origen privado, decarácter no lucrativo y de beneficiarse enbuena medida de la aportación volunta-ria (Salomon y Anheier, 1994).

Las razones de este crecimiento pue-den situarse en los acontecimientos quese produjeron en España entre los añosochenta y noventa (Álvarez de Mon, Mar-tín y Martínez, 1998). Entre ellos: la con-solidación de la democracia, el creci-miento económico y el acceso a los fon-dos comunitarios, la mayor presencia enla vida pública de la labor de lasOONNGG, las reformas de la gestiónpública con la creación de organismosencargados de canalizar las dotacioneseconómicas y la descentralización de lagestión pública propiciando la cercaníacon la iniciativa social, sobre todo, en elnivel municipal (López-Cabanas y Cha-cón, 1997). Otros factores de caráctersociológico fueron, la mayor disponibili-dad del tiempo libre, el retraso en laincorporación al mercado laboral y elcambio en los sistemas de valores en lasociedad democrática española talescomo solidaridad o salvaguardia de losderechos humanos.

Hoy en día, hay amplio consensoentre los agentes sociales a la hora dedestacar y valorar el papel que estánejerciendo estas organizaciones, en parti-cular, su contribución en el bienestarindividual y social. Lo que ha llevado areconocer y confiar su colaboración en lagestión y provisión de los servicios socia-les. En este sentido, se asume que suparticipación en la atención de las nece-sidades y los problemas sociales de la

comunidad contribuye de manera signifi-cativa en la acción social, ya que no sólocolaboran con la Administración en laprestación de servicios, desde una plani-ficación de la política social de arriba-abajo, sino que, ofrecen respuestas a losproblemas sociales en una labor deabajo-arriba en la búsqueda de solucio-nes a estos problemas (López-Cabanas yChacón, 1997; Villasante, 1993).

Sin embargo, esta creciente demandano se ha visto acompañada de una res-puesta eficaz por parte de las entidadessociales, produciéndose un importantedesconocimiento de sus acciones, comose ha llegado a lamentar (Álvarez de Monet al., 1998).

Esta situación ha llevado a que cadavez estén más presionadas por susdonantes y por la sociedad en su conjun-to para que, al igual que la Administra-ción, rindan cuentas de su actuación.Por ello, es necesario introducir mecanis-mos para evaluar con objetividad e inde-pendencia estas organizaciones, lo quesin duda exige desarrollar modelos quenos permitan valorarlas para facilitar latoma de decisiones y elaborar propues-tas de cara a ofrecerles una asistenciatécnica y formativa ajustada a sus nece-sidades.

Este trabajo tiene por finalidad esta-blecer los aspectos teóricos y prácticoscentrales que caracterizan la evaluaciónde las organizaciones sociales en elmarco de su colaboración con la Admi-nistración para la prestación de serviciossociales. Para ello, se ha seguido la líneade trabajo de Shadish, Cook y Leviton(1991), y, en particular, la última revi-sión de Shadish (1994), que siguiendolos argumentos de Scriven (1980) consi-dera que la mejor evaluación debe seraquella que responda a las necesidades aque se enfrenta; esto es, al uso de prácti-cas viables para la construcción del cono-

Isabel María Herera Sánchez, José María León Rubio y Silvia Medina Anzano


cimiento del valor del evaluando, que pue-den ser utilizadas para mejorar los pro-blemas sobre los que el evaluando es rele-vante (p. 352).

CARACTERÍSTICAS DEL OBJETO DE EVALUACIÓN

Sistematizar el proceso de evaluaciónde la intervención social y comunitariaimplica considerar los evaluandos que enun momento dado pueden llegar a serobjetos de análisis.

Utilizando la terminología empleadapor Cook, Leviton y Shadish (1985), sepodría situar en un primer nivel la inves-tigación evaluativa orientada a la políticasocial y a su desarrollo a través de losplanes que la conforman. En este caso,se trataría de una evaluación que exami-naría en sentido crítico las asuncionesde la política social, identificando tresclases de análisis: a) la valoración de lasnecesidades detectadas, por lo general,en organizaciones de bienestar social; b)el análisis distributivo de los recursos ysu uso en un determinado programa; c)los estudios de asignación, a partir delanálisis de un problema o programasocial de cara a determinar las eleccio-nes políticas (véase Rebolloso y Morales,1996).

En un segundo nivel se sitúan losprogramas, que suponen el esfuerzo deconcreción operativa de dicha políticasocial. De éstos, se desprenden, a su vez,dos componentes más específicos: el pro-yecto, que sería el proceso de implanta-ción y ajuste de ese programa a un con-texto social específico, y los elementosdel programa que se suponen necesariosy suficientes para la consecución de lasmetas del mismo.

En este nivel, la evaluación es unafase más en el desarrollo del programa

ya que proporciona información relevan-te sobre el mismo en virtud de la cual sedetermina si el programa objeto se ajus-ta, en qué medida lo hace y cómo pode-mos optimizar en todo momento ese pro-ceso de ajuste, a los objetivos y previsio-nes de toda naturaleza (recursos inverti-dos, metas cubiertas, infraestructuraempleada, etc.); comprendidas en la pla-nificación rigurosa del programa, en suimplementación a lo largo del tiempo yen su culminación (León y Gómez, 1998).

Uno de los factores que determinaránel éxito de un programa lo constituiránaquellos elementos organizativos que lainstitución responsable del programa oservicio pone en marcha para su imple-mentación. Por tanto, podemos situar eneste mismo nivel las organizaciones deservicios sociales como objeto de evalua-ción, ya que forman los escenarios desdedonde se desarrollan los programassociales (Aguilar y Ander-Egg, 1992;Medina, 1997; Rogers y Hough, 1995;Rossi, Freeman y Lipsey, 1999).

En nuestro caso, el evaluando al quehacemos referencia, lo constituyen aque-llas organizaciones voluntarias y de eco-nomía social que participan, junto con laAdministración, en los proyectos y pro-gramas que están dirigidos a la atenciónde las necesidades y los problemassociales. Esto significa un conjuntodiverso de organizaciones tales comoasociaciones, fundaciones, organizacio-nes no gubernamentales, empresas decarácter social, etc. Heterogeneidad queno impide que puedan establecerse ras-gos definitorios que son comunes aéstas. Éstos son los siguientes:

• Origen. La acción social comienzacon la percepción de un problema,carencia o necesidad que motiva auna persona o un colectivo a tomarla iniciativa de resolución e iniciarla auto-organización. Por otro lado,



gran parte de estas entidades, emer-gen de la acción directa de los movi-mientos sociales que evolucionanhacia estructuras organizativasestables con el objetivo de ofreceruna respuesta más institucionalque pueda resolver los problemassociales. En estos casos, las organi-zaciones sociales se sienten legiti-madas y fortalecidas puesto querepresentan el sentir de una comu-nidad (López-Cabanas y Chacón,1997).

• Función social. La participación deestas organizaciones sociales viene aasegurar los principios democráticosde solidaridad, participación y coo-peración. Siendo, en su mayoría, elmodelo de participación adoptado,el de complementariedad de lasacciones del Estado.

• Estructura. Estas entidades se con-figuran como acción social institu-cionalizada (Rueda, 1988, cit. enLópez-Cabanas y Chacón, 1997). Esdecir, un sistema que requiere, ade-más de una clara definición de sumisión, unas estructuras formalesde organización.

• Carácter. Son organizaciones deservicios sociales cuyas característi-cas básicas son: la intangibilidad dela prestación del servicio, la simul-taneidad de la producción y su con-sumo, la dificultad para su estanda-rización, la imposibilidad de almace-namiento, y la variabilidad que estásujeta a la relación que se estableceentre el profesional y el usuario.

• Responsabilidad. Como consecuen-cia de lo anterior, a estas organiza-ciones se les exige una gestión cadavez más profesional, por lo quenecesitan los medios necesariospara que incorporen las técnicas,

los conocimientos y las herramien-tas de gestión y actuación del sectorprivado, teniendo en cuenta las sin-gularidades del sector social (Álva-rez de Mon et al., 1998; Vernis, Igle-sias, Sanz, Urgell, Solernou y Vidal,1998).

• Gestión de los recursos humanos.La intervención de estas organiza-ciones será posible si cuenta con elequipo necesario que aporte losconocimientos y las habilidadesnecesarias encaminadas a: dirigir yliderar en función de unos valores ynormas de funcionamiento, desarro-llar las actividades desde una actua-ción profesional del servicio, admi-nistrar la gestión y, en ciertos casos,disponer de un colectivo que secompromete de forma voluntaria deacuerdo con una motivación perso-nal. Así, la presencia del voluntaria-do constituye un eje relevante parala actuación de muchas de estasorganizaciones; por lo que, en lagestión de los recursos humanos,entran en juego otros factores aje-nos a la simple relación contractualde tipo laboral.

• Medio de relación y comunica-ción. Dado que estas organizacio-nes cooperan con la Administraciónen el desarrollo de los programassociales, la comunicación entreestas entidades y la Administraciónresulta esencial. Ello va a requeriruna coherencia interna de su actua-ción que se logra, además, si man-tiene una adecuada comunicacióncon la población que es objeto de suintervención.

• Fuentes de financiación (públicas-privadas). Por un lado, son organi-zaciones ajenas al funcionamientodel mercado, y, por otro, están insti-tucionalmente separadas del gobier-



no, aunque, una gran parte de sufinanciación depende del apoyo ins-titucional público. Por tanto, elcamino hacia su independencia eco-nómica va a estar determinado porla capacidad para movilizar losrecursos necesarios hacia unadiversificación del origen de los fon-dos (públicos y privados) y por lacapacidad de gestión de los mismos(Álvarez de Mon et al., 1998).

EL PROCESO DE VALORACIÓN

Consideramos la evaluación como unproceso por el cual se determina el valoro mérito del evaluando por su compara-ción con un conjunto de estándares.Esto significa, ante todo, seleccionar loscriterios más pertinentes para establecerun juicio de valor. Para la consideraciónde estos criterios deben conjugarse, porun lado, los valores que provienen delcontexto social y político en el que seencuentran inmersas estas organizacio-nes, y, por otro, los que hacen referenciaexplícita a su gestión.

En primer lugar, un contexto caracte-rizado por la existencia de un marco jurí-dico favorable a la participación de estasorganizaciones, la inclusión de políticasde subvenciones oportunas, la canaliza-ción de sistemas de cooperación entre lopúblico y lo privado, y por último, la pre-sencia de una acción colectiva cada vezmás arraigada, es un exponente de laconfluencia de valores tales como salva-guardia de los derechos humanos, justi-cia social, ciudadanía, igualdad y com-promiso social. En última instancia,estos valores propios de las sociedadesdemocráticas tienen una repercusióndirecta sobre el modo en que estas enti-dades quedan perfiladas. Así, puedendestacarse aspectos tales como: configu-ración de una acción social instituciona-lizada para resolver los problemas socia-

les a los cuales se comprometen, apoyofinanciero de la Administración quecorresponde con el compromiso defomento del asociacionismo y de partici-pación de la iniciativa social y, por últi-mo, presencia de voluntariado respon-diendo al compromiso de solidaridad.Todas estas consideraciones deberánquedar explícitas cuando se inicia unproceso de evaluación.

El segundo aspecto que debemos exa-minar también con especial atencióntiene que ver con la responsabilidad quedeben asumir estas entidades para darcuenta a la sociedad de su acción (Wholeyy Newcomer, 1997). Como señalan Álva-rez de Mon et al. (1998), en el momentoen que exista una mayor transparenciade los objetivos que persiguen, el origen yla aplicación de los recursos alcanzados,así como los resultados alcanzados, lasociedad dispondrá de los elementos obje-tivos para valorar si son instituciones dig-nas de confianza (p. 17).

En fin, junto a las característicasintrínsecas de las organizaciones socia-les, que les confiere una cierta idiosin-crasia (solidaridad, compromiso, etc.)dado el contexto donde se promueven,hay una necesidad de fomentar una cul-tura de gestión de eficacia y la eficiencia.

De lo expuesto, debemos reflexionarsobre los criterios que deben considerasepara determinar el éxito o fracaso de lacolaboración de las organizaciones socia-les con la Administración pública. Paraello, nos centraremos en los aspectosrelativos a las cuatro fases señaladas porScriven (1980) en su Lógica de Evalua-ción, éstas son: 1) establecimiento de loscriterios de mérito que determinan laforma de etiquetar el objeto de evalua-ción para ser juzgado como bueno o útil;2) elaboración de estándares o normasde funcionamiento que especifican nive-les o grados de mérito; 3) recogida de



información sobre el desempeño delobjeto sometido a evaluación y compara-ción con los estándares de funciona-miento establecidos previamente; y 4)síntesis o integración de los datos dentrode un juicio de valor.

Respecto a la selección de los criteriosde valor (primer paso), desde un punto devista descriptivo, diferentes grupos deinterés mantendrán ideas diferentessobre lo que constituye una participa-ción eficaz. Desde aquellos que asignanlos recursos (donantes), a las organiza-ciones objeto de las ayudas, consideran-do también las personas voluntarias, lapoblación que recibe los servicios queprestan estas organizaciones, los distin-tos grupos y organizaciones que repre-sentan los intereses de diferentes secto-res de población, los movimientos socia-les, la comunidad científica y, por últi-mo, la sociedad civil. Así, por ejemplo, laAdministración podrá demandar la eva-luación para tomar decisiones relativas ala adjudicación de recursos, en este sen-tido, los criterios de evaluación se rela-cionarán con la supervisión y el controlde los fondos públicos concedidos. Porsu parte, las entidades sociales podrándemandar la evaluación para juzgar laconsecución de los objetivos propios dela Acción Social, esto es, la creación delos cauces formales de participación.

En consecuencia, la presencia de dis-tintos grupos de interés que participan oestán implicados en la selección de loscriterios de valor, será, sin duda, uno delos principales problemas que se planteaen el proceso de evaluación, puesto queesta pluralidad va a significar la con-fluencia de valores, en muchas ocasionesconflictivos. Más aún, las posibles dis-crepancias que puedan existir entreellos, también afectarán a la selección delos indicadores más pertinentes paradefinir cada uno de estos criterios (New-comer, 1997).

Por esta razón, pensamos que laselección de los criterios de valor va asuponer, también, un proceso prescripti-vo, dado que, como ya hemos visto, valo-res sociales tales como solidaridad ocompromiso social son factores que con-dicionan la relación o colaboración quese establezca con la AdministraciónPública en la prestación de un serviciosocial, por lo que deberán estar presen-tes en todo momento de la evaluación.

En cuanto al segundo paso de la lógi-ca de la evaluación, supone estableceruna comparación que determine el gradoen que el evaluando satisface un conjun-to de estándares o normas de desempe-ño. Esta comparación puede tener subase en referencia a unas normassiguiendo un criterio absoluto o bien conrelación a otros evaluandos bajo criteriosrelativos (Cook, Leviton y Shadish,1985). Así, cuando los evaluadores estáninteresados en medir los efectos o resul-tados de una organización, bajo estánda-res absolutos, éstos se establecen por elnivel deseado de desempeño en el senti-do prescriptivo y normativo. Para ello,puede implicarse a determinados grupos(expertos, gestores de los programas,etc.) o bien seguir normas legislativas oconsideraciones éticas que determinanlos valores absolutos. Cuando los están-dares siguen criterios comparativos,entre las opciones posibles se encontra-rían: partir de la selección de un grupode control sin tratamiento, establecervariaciones planificadas de alternativasposibles, o bien, comparar el desempeñode un evaluando con el logro de otros.

El tercer paso, la selección de lasvariables e indicadores que permitanverificar los criterios de mérito, suponeque las organizaciones sociales introduz-can de forma paulatina una serie demedidas de desempeño orientadas nosólo a demostrar la eficacia de sus pro-gramas sino también la capacidad insti-



tucional o capacidad de actuación de lasorganizaciones receptoras del apoyofinanciero, respondiendo así al movi-miento reciente de evaluación del de-sarrollo (Piccioto, 1997). Estas medidasde desempeño abarcan cuatro compo-nentes: los insumos (input), las activida-des, los productos (output) y los resulta-dos (outcome).

Por último, el proceso de valoraciónculmina con la integración o combina-ción de los resultados en un juicio final(cuarto paso); bien con la suma de loshallazgos discretos de cada uno de loscriterios de mérito identificados, quepuede complementarse con la asigna-ción de ponderaciones establecidas deforma cuantitativa o cualitativa, o bien,disponiendo de un perfil del conjunto depuntuaciones dispuestas en un histo-grama. Este procedimiento lleva a lacategorización del evaluando o un juiciode su valor. De este modo, con la sínte-sis se llega a un mayor entendimientodel evaluando al ofrecer conclusionesjustificadas sobre la base de los están-dares y la recogida de información de suejecución.

Este último paso ha sido, sin lugar adudas, el más cuestionado por los auto-res. Así, para Stake y Migotsky (1997)este modelo sigue un razonamiento for-mal que no es habitual en la prácticaactual, dado que la determinación delmérito de un objeto es un proceso com-plejo y condicional. La naturaleza cam-biante del evaluando significa que loscriterios de mérito y la asignación depesos también pueden cambiar a lo largodel proceso de evaluación. En este senti-do, el evaluador deberá recopilar losvalores de otros, examinarlos de formaescéptica y describirlos, siendo los recep-tores de la evaluación los que organiza-rán y analizarán los datos obtenidos yemitirán los informes de la manera queconsideren más apropiada.

La conclusión que podemos sacar detodo lo expuesto es que la secuencia depasos de Scriven es un claro esfuerzopara ofrecer valoraciones objetivas.Ahora bien, en el contexto social, lanaturaleza multivariada, no uniforme ycambiante de las políticas, programas oservicios hace más difícil que el evalua-dor pueda seguir de manera racionalestos pasos. Todo lo cual exige la nego-ciación con las partes implicadas, sobretodo, en aquellos contextos donde la eva-luación tiene importantes implicacionespolíticas y donde los valores e ideologíasde los grupos implicados son bastantesdivergentes (Rossi, Freeman y Lipsey,1999).

CONSTRUCCIÓN DEL CONOCIMIENTO

Para realizar un juicio de valor nobasta sólo con la selección de los crite-rios pertinentes de valoración y susestándares de desempeño, también sonimprescindibles unas bases conceptua-les del objeto de evaluación y un métodosistemático para acceder a este conoci-miento. Como consecuencia, es necesa-rio que en todo proceso de evaluación sedisponga de una amplia base conceptualque permita, por un lado, realizar unaevaluación ajustada a las característicasque presenta el evaluando, y, por otro,contrastar, verificar o sugerir nuevasvías de investigación. Sólo así, la evalua-ción podrá servir para el avance delconocimiento. Lo cual nos lleva a consi-derar los modelos teóricos que sirven debase para el conocimiento de las organi-zaciones sociales y guían su evaluación.

Teniendo en cuenta que los modelosevaluativos son inseparables de losmodelos de intervención, como hanseñalado López-Cabanas y Chacón(1997), y que las organizaciones socialesfuncionan dentro de un sistema socialcomplejo, los modelos teóricos que acom-



pañen la evaluación de estas organiza-ciones deben partir de un enfoque multi-disciplinar y multinivel. Uno de estosmodelos es el modelo transaccional eco-lógico propuesto por Seidman (1983),desde el cual se identifican las organiza-ciones sociales como sistemas de distri-bución, siendo éste el eslabón directoentre el exosistema, esto es, la estructu-ra económica y política que determinalos planes y políticas y el sistema recep-tor, los individuos y microsistemas queson los beneficiarios de las políticas yprogramas sociales.

Por otra parte, considerando los prin-cipios del modelo ecológico (Kelly, 1966;Trickett, Kelly y Todd, 1972), la evalua-ción debe: 1) Llegar a conocer a lastransacciones que mantienen las organi-zaciones sociales con los diferentes exo-sistemas y con el sistema receptor (prin-cipio de interdependencia entre los ele-mentos de un sistema); 2) Incidir en lacapacidad de la comunidad o de la insti-tución para movilizar, identificar y resol-ver los problemas sociales siguiendo elprincipio de adaptación, esto es, las con-ductas necesarias para que el individuo,grupo o sistema pueda evolucionar encada contexto (véase Parker, Eng, Schulze Israel, 1999); 3) Considerar la evolu-ción de la comunidad, y las organizacio-nes sociales en particular, esto es, cómovan reaccionando y adaptándose a laintervención (principio de sucesión, lahistoria que representa tanto la conti-nuidad como los cambios de los sistemasen los distintos contextos); y 4) Centrarsu atención en aspectos tales como lautilización y cobertura de los recursos,partiendo del principio de recursos cícli-cos que considera la utilización y reposi-ción de las distintas formas de energíasde los sistemas para adaptarse a lasdemandas del medio (López-Cabanas yChacón, 1997).

En definitiva, nos encontramos ante

un evaluando complejo, con efectos yresultados múltiples, y sobre todo, quetiene lugar dentro de un contexto parti-cular producto de las acciones y signifi-cados de todos los involucrados. Por estarazón, respecto al método, se defiendeuna postura ecléctica y flexible, comopropone Patton (1997). En este sentido,los argumentos que deben servir para laselección del método, ya sea de índolecuantitativa o cualitativa, no tienen porqué depender de la adhesión a un para-digma determinado y sí del entornoespecífico donde se plantea la evalua-ción, de las exigencias del problema deinvestigación y de las necesidades deinformación de las audiencias identifica-das, bien sea para producir conocimien-to generalizable que pueda ser usadopara la planificación de futuras interven-ciones (véase Lipsey, 1997), o bien, pro-mover la transferencia del conocimientoy las habilidades entre los evaluadores ylos grupos implicados a través de proce-sos que conducen al aprendizaje y elempowerment (Parker et al., 1999).

De esta forma, Cook (1997) reconoceque cada paradigma ofrece un caminolegítimo para el conocimiento y compren-sión de la realidad, por lo que la utiliza-ción de diferentes clases de métodospuede ser lo más apropiado para apren-der sobre diferentes clases de fenóme-nos. Razón por la cual, el uso de la trian-gulación, en particular, la mezcla demétodos con el objetivo de proporcionaruna información coincidente desdediversas estimaciones independientes(por ejemplo, las opiniones sobre los pro-gramas, las razones para el uso o el nouso de los servicios o el impacto específi-co de un proyecto), facilitaría una eva-luación más completa y válida en ordena comprender los complejos fenómenos.En cambio, advierte que estos métodosno son intercambiables: mientras que losmétodos cualitativos no son buenos paragenerar estimaciones cuantitativas, los



métodos cuantitativos no permitenexplorar los procesos, a menos que ten-gan una considerable información apriori sobre el programa o que sus plan-teamientos teóricos queden explícitos. Noobstante, la evaluación necesita ambostipos de métodos para llegar a un conoci-miento válido y fiable.

UTILIZACIÓN DE LOS RESULTADOS

Sin duda, una de las cuestiones quemayor interés ha suscitado dentro yfuera de la comunidad evaluativa ha sidoel modo en que el conocimiento generadopor la evaluación es luego utilizado enpolítica social y los programas sociales.Así, la evaluación de las organizacionessociales debe considerar los posiblesusos que puedan derivarse de ellas, estoes: 1) Instrumental, donde los resultadosde la evaluación se utilizarían comoinputs centrales en la toma de decisio-nes; 2) Conceptual, proporcionando nue-vos conocimientos y una mayor com-prensión del objeto de la evaluación, sintener que derivar en actuaciones concre-tas; o 3) Político, donde se utilizarían losresultados de la evaluación en un debatepolítico como ejercicio de persuasión(Cronbach, 1982; Lewinton y Hughes,1981; Weiss, 1998).

Por otra parte, es importante tambiénconsiderar el contexto de acción en elque se desarrollan los programas de eva-luación (Shulha, y Cousins, 1997). Enparticular, los usuarios que van a haceruso de la evaluación. Siguiendo a Weiss(1998), habría que identificar, en primerlugar, los financieros, directores, perso-nal, clientes, etc., es decir, los grupos deinterés implicados en la evaluación einteresados en tener un mejor conoci-miento y comprensión del evaluando. Ensegundo lugar, la organización, esto es,la organización que aprende para adap-tarse a un entorno complejo y cambian-

te; por último, la sociedad civil, aquelsegmento del público que presta la aten-ción en los temas políticos y sociales, endefinitiva, el público informado.

En fin, el análisis del uso de la eva-luación, significa considerar el contextosocial y político en el que tiene lugar laevaluación; las múltiples necesidades deinformación que necesitan las personasimplicadas así como sus intereses parti-culares respecto a la información quepueda proporcionar la evaluación; y, porúltimo, las diferentes estrategias paraoptimizar la utilización de los resultadoso el propio proceso de la evaluación.

LA PRÁCTICA DE LA EVALUACIÓN DE LAS ORGANIZACIONES SOCIALES

Finalmente, como señalan Shadish etal. (1991), los profesionales van a reque-rir conceptos prácticos que orienten lasestrategias generales que deben adoptarpara conducir una evaluación. Por lotanto, la teoría de la práctica es un ele-mento central en la teoría de la evalua-ción, ya que ayuda a clarificar las priori-dades del contexto y las negociacionesque se llevan a cabo para la toma dedecisiones de la tarea evaluativa, dadosunos recursos, un tiempo disponible yunas destrezas determinadas.

Todo lo cual nos sirve para ilustraruna serie de lecciones aprendidas quepueden sugerir líneas prácticas para laevaluación de las organizaciones socia-les, considerando que la elección de lasmejores estrategias y tácticas en el tra-bajo profesional del evaluador dependeráde los contextos específicos donde tienelugar y, sobre todo, de los propósitos deevaluación: rendición de cuentas o res-ponsabilidad, obtención de conocimientoacerca del evaluando y evaluación parael desarrollo y aprendizaje (Chelimsky,1997). En función de estos propósitos,



un plan de evaluación supondría: 1) Laelaboración de un modelo conceptualque oriente las preguntas de evaluación;2) El establecimiento de los criterios devalor; y 3) La selección de los métodos ytécnicas de recogida de información; y 4)La especificación de los caminos inten-cionados para ejercer una influencia enlos implicados. Pasemos a comentarcada uno de estos aspectos.

La elaboración de un modelo concep-tual. Este modelo orienta las preguntasde evaluación acerca de la estructura,características y funcionamiento de lasorganizaciones sociales así como de losprocesos que ponen en marcha su cola-boración con la Administración. Ladeterminación de este modelo se basaríaen la identificación de los elementosprioritarios que los políticos y técnicosde la Administración, los representantesde las entidades y los expertos conside-ran necesarios que se incluyan en dichomodelo. De este modo, pueden plantear-se diversas cuestiones de evaluaciónrelacionadas con los procesos (tanto dela organización responsable del serviciocomo de la propia prestación del servicio)y los resultados (bien considerándose elefecto del apoyo gubernamental a estasorganizaciones o bien los beneficiosalcanzados por los beneficiarios másdirectos los servicios que prestan talesentidades), siendo la negociación unmedio necesario para articular y compa-tibilizar estas prioridades.

El establecimiento de los criterios devalor, respetando los principios que sus-tentan la colaboración de las organiza-ciones sociales desde un punto de vistaprescriptivo. Entre tales criterios sepodrían considerar los siguientes: perti-nencia (adecuación de los resultados yobjetivos de la organización al contextoen el que opera), capacidad institucional(capacidad de gestión de las institucio-nes receptoras de apoyo financiero), sos-

tenibilidad (grado en que las organizacio-nes pueden continuar su acción una vezque se ha retirado la ayuda externa) efi-cacia (relación entre los resultadosalcanzados y los objetivos previstos porla organización responsable del servicio);eficiencia (logros alcanzados en funciónde los recursos empleados), impacto(contribución de la organización en uncontexto más amplio).

Hay que tener presente que estos cri-terios quedarán sujetos a la particularvisión que cada uno de los implicadospueda tener acerca de ellos. Por ejemplo,para la Administración una organizaciónserá pertinente si su actuación respondea las necesidades sociales establecidascon criterios normativos, en cambiodesde la perspectiva de los miembros delas organizaciones o incluso de sus bene-ficiarios lo será en la medida que ofrecerespuestas alternativas a las deficienciasque, bajo su punto de vista, muestra elEstado en la resolución de los problemasque les afectan de forma directa. Poresta razón, desde una aproximación des-criptiva deben considerarse las múltiplespercepciones de valor de los gruposimplicados. De este modo, y de cara a lavaloración y propuestas de mejora, éstosparticiparían en la designación de loscriterios de valoración y en el análisis delos datos recogidos.

Al igual que ocurre con la selección delos criterios de valor, deben establecerse,además, las medidas de desempeño deforma que se recojan aquellos aspectosque son de mayor interés para los diver-sos grupos de implicados. Por lo general,éstas pueden quedar representadas,desde un marco lógico, en términos decontexto (aspectos históricos, políticos,jurídicos, económicos, etc.), insumos(función social de la organización, recur-sos, dispositivos de comunicación dentrode la organización y fuera de ella, diseñode las actuaciones, etc.), actividades



(movilización de la comunidad, reestruc-turación de los servicios, etc.), productos(contabilidad financiera, servicios presta-dos, adherencia a estándares de calidad,etc.) y resultados (los cambios sobre losindividuos, familias, organizaciones, ins-tituciones o la comunidad). La recogidade información siguiendo este modelológico servirá para la interpretación yasignación de significado de tales medi-das, de tal modo que medir insumos-actividades-productos puede ser indicati-vo de la capacidad de la organizaciónpara conseguir con mayor probabilidadresultados (Wholey y Newcomer, 1997).

La selección de los métodos y técnicasde recogida y análisis de la informaciónen función de los criterios de valoracióny las medidas de desempeño especifica-das. Así, por ejemplo, ante el interés porrealizar un seguimiento del gasto públicoen la financiación de las entidades socia-les colaboradoras, el evaluador puedeoptar por realizar un análisis comparati-vo de tales entidades en el contexto espe-cífico de la colaboración con la Adminis-tración Pública con la finalidad de expli-car las fuentes de variación inter-organi-zacional en ese contexto. O bien, realizarestudios de casos para analizar con dete-nimiento una organización e identificarciertas características y procesos socia-les que ocurren dentro de ella, evaluan-do de forma constante sus fortalezas ydebilidades. Sin embargo, ambas alter-nativas presentan limitaciones debidas,en el primer caso, a las dificultades parael establecimiento de dimensiones gene-rales relevantes que hagan posible unaexplicación adecuada de la variabilidadentre las organizaciones, y, en el segun-do, a la imposibilidad de establecer rela-ciones entre variables (Peiró, 1991). Qui-zás, por ello, la utilización de diferentesclases de métodos y técnicas de recogidade información pueden ayudar en laobtención y generación de conocimientoválido y fiable. Por ejemplo, la combina-

ción de estudios de casos con métodoscuantitativos, permitiendo obtener unconocimiento comprehensivo a la vez queanalítico (véase Datta, 1997).

La especificación de los caminos inten-cionados para ejercer una influencia enlos grupos implicados. Ésta quedará suje-ta a los propósitos de la evaluación, así,la evaluación que demanda la Adminis-tración, estará más orientada a obtenerde las organizaciones sociales una mayorresponsabilidad pública de sus accionesy a la toma de decisiones políticas paramejorar la eficacia de la colaboración conlas organizaciones sociales. Por otraparte, los investigadores buscarán lamejor comprensión y explicación de losprocesos que circunscriben la acción deestas entidades. Mientras que, las perso-nas que dirigen y lideran las organizacio-nes sociales disponen de la evaluaciónpara mejorar la gestión y eficacia de susactuaciones. De este modo, la evalua-ción, para los primeros casos, asume unmodelo lineal de carácter sumativo,mediante acciones correctivas. En losúltimos, la evaluación, siguiendo unmodelo no lineal, de carácter formativo yparticipativo, servirá como instrumentoque facilita los procesos de aprendizajeque contribuyan al cambio organizacio-nal, esto es, la transferencia del conoci-miento que proporciona la evaluación alas particularidades de las organizacio-nes, convirtiéndolas en agentes de supropio cambio.

A MODO DE CONCLUSIÓN

Las dimensiones teóricas propuestaspor Shadish, Cook y Leviton, (Shadish,1994; Shadish et al., 1991) nos parecenapropiadas porque obligan a los evalua-dores a ser explícitos sobre las teorías yasunciones que ellos de forma implícitausan en su trabajo. En particular, estaperspectiva nos ha servido para encami-



nar la evaluación de las organizacionesque colaboran con la Administración enla resolución de los problemas socialesteniendo en cuenta las particularidadesde este contexto.

En primer lugar, considerando laestructura y las características del objetode evaluación, es manifiesto que se estáante un tipo de evaluando complejo,tanto por su heterogeneidad (desde orga-nizaciones de autoayuda a organizacio-nes más centradas en la prestación deservicios) como por sus objetivos (promo-ver la participación social y resolver losproblemas sociales), en un contexto conuna elevada susceptibilidad política ysensibilidad social (colaboración con lospoderes públicos). En segundo lugar, haymuchos valores adheridos a la participa-ción social, al igual que también haydiferentes grupos de interés que difierensobre qué medir. Por lo tanto, si quere-mos asegurar que los diferentes puntos

de vista queden representados, debemosconsiderar una evaluación multicriterio,sin olvidar los valores considerados fun-damentales en la Sociedad del Bienestar.En tercer lugar, el conocimiento del eva-luando desde una perspectiva ecológicatiene fuertes implicaciones para la eva-luación, por cuanto exige examinar múl-tiples sistemas que interactúan unos conotros. Por ello, tanto las aproximacionescuantitativas como las cualitativas debenser utilizadas conjuntamente en orden aconducir una evaluación más adecuadaa los propósitos enmarcados. Finalmen-te, teniendo en cuenta el marco deacción en el que tiene lugar la evalua-ción, ésta ejercería su influencia sobrelos individuos, interesados en obtener unmejor conocimiento y comprensión delevaluando, las entidades públicas y pri-vadas interesadas en aprender paratomar decisiones en la dirección adecua-da y la sociedad civil que persigue elbienestar social.





BIBLIOGRAFÍA

Aguilar, M. J. y Ander-Egg, E. (1992). Evalua-ción de servicios y programas sociales. Madrid:Siglo XXI.

Álvarez de Mon, S., Martín, J. y Martínez, J.L.(1998). El tercer sector: retos y propuestas para elpróximo milenio. Madrid: Ministerio de Trabajo yAsuntos Sociales.

Chelimsky, E. (1997). The coming transforma-tions in evaluation. En E. Chelimsky y W. Shadish(Eds.), Evaluation for the 21 st. century: A hand-book (1-29). Thousand Oaks, CA: Sage.

Cook, T.D. (1997). Lessons learned in evalua-tion over the past 25 years. En E. Chelimsky y W.Shadish (Eds.), Evaluation for the 21 st. century: Ahandbook (30-52). Thousand Oaks, CA: Sage.

Cook, T.D., Leviton, L.C. y Shadish, W.R.(1985). Program Evaluation. En G. Lindzey y E.Aronson (Eds.), Handbook of Social Psychology(699-777). New York, NY: Random House.

Cronbach, L.J. (1982). Designing evaluations ofeducational and social programs. San Francisco,CA: Jossey-Bass.

Datta, L. (1997). Multimethod evaluations.Using case studies together with other methods.En E. Chelimsky y W. Shadish (Eds.), Evaluationfor the 21 st. century: A handbook (344-359). Thou-sand Oaks, CA: Sage.

Kelly, J.C. (1966). Ecological constraints onmental health services. American Psychologist, 21,535-539.

León, J.M. y Gómez, T. (1998). Evaluación deprogramas de salud: modelos y una guía para suejecución. En E. Rebolloso (Ed.), Evaluación deprogramas: ámbitos de aplicación (147-159). Barce-lona: Textos Universitarios “Saint Jordi”.

Leviton, L.C. y Hughes, E.F. (1981). Researchon the utilization of evaluations: a review and syn-thesis. Evaluation review, 5 (4), 525-548.

Lipsey, M.W. (1997). What can you build withthousands of bricks? Musings on the accumula-tion of knowledge in program evaluation. Newdirections for evaluation, 76, 7-23.

López-Cabanas, M. y Chacón, F. (1997). Inter-

vención psicosocial y servicios sociales. Un enfoqueparticipativo. Madrid: Síntesis.

Medina, M.E. (1997). Utilidad de la evaluaciónen los servicios sociales comunitarios. Apuntes dePsicología, 49-50, 127-151.

Newcomer, K.E. (1997). Using performancemeasurement to improve programs. New directionsfor evaluation, 75, 5-14.

Parker, E., Eng, E., Schulz, A.J. e Israel, B.(1999). Evaluating community-based health’s pro-grams that seek to increase community capacity.New directions for evaluation, 83, 37-54.

Patton, M.Q. (1997). Utilization-focused evalua-tion: The new century text. Thousand Oacks, CA:Sage.

Peiró, J.M. (1991). Psicología de laOrganización. Tomo 1 (5ª ed.). Madrid: UniversidadNacional de Educación a Distancia.

Picciotto, R. (1997). Evaluation in the WorldBank: Antecedents, instruments and concepts. EnE. Chelimsky y W. Shadish (Eds.), Evaluation forthe 21 st. century: A handbook (220-213). Thou-sand Oaks, CA: Sage.

Rebolloso, E. y Morales, J.F. (1996). Evaluaciónde programas y psicología social. En Álvaro, J.L.,Garrido, A. y Torregrosa, J.R. (Eds.), Psicologíasocial aplicada (475-510). Madrid: McGrawHill.

Rogers, P. y Hough, G. (1995). Improving theeffectiveness of evaluations: Making the link toorganizational theory. Evaluation and programplanning, 18 (4), 321-332.

Rossi, P.H., Freeman, H.E. y Lipsey, M.W.(1999). Evaluation. A systematic approach. Sixthedition. Thousand Oaks, CA: Sage.

Salomon, L. M. y Anheier, H. K. (1994). TheEmerging Sector: The nonprofit sector in compara-tive perspective. An Overview. Baltimore: JohnsHopkins University.

Scriven, M. (1980). The logic of evaluation.Inverness, CA: Edgepress.

Seidman, E. (ed.) (1983). Handbook of SocialIntervention. Beverly Hills, CA: Sage.

Shadish, W.R. (1994). Need-based evaluationTheory. What do you need to Know to do good eval-uation?. Evaluation Practice, 15 (3), 347-358.

Shadish, W.R., Cook, T.D. y Leviton, L.C.(1991). Foundations of Program Evaluation: Theo-ries of Practice. Newbury Park, CA: Sage.

Shulha, L.M. y Cousins, J.B. (1997). Evaluationuse: theory, research, and practice since 1986.Evaluation practice, 18 (3), 195-208.

Stake, R. E. y Migotsky, C. (1997). The evolvingsyntheses of program value. Evaluation practice, 18(2), 89-103.

Trickett, E.J., Kelly, J.G. y Todd, D.M. (1972).The social environment of the school: Guidelinesfor individual change and organizational redevelop-

ment. In S. Golam y C. Eisdorfer (Eds.), Handbookof community mental health (331-406). New York:Appleton-Century-Crofts.

Vernis, A., Iglesias, M, Sanz, B., Urgell, J.Solernou, M. y Vidal, P. (1998). La gestión de lasorganizaciones no lucrativas. Bilbao: Deusto.

Villasante, T.R. (1993). Experiencias y propues-tas de participación ciudadana. Intervención psico-social, 2 (5), 17-31.

Weiss, C.H. (1998). Evaluation. Second edition.Englewood Cliffs, NJ: Prentice Hall.

Wholey, J.S. y Newcomer, K.E. (1997). Clari-fying goals, reporting results. New direction for eva-luation, 75, 91-98.



(M) 4. Necesidades de evaluaciÃ³n - ISCIIIscielo.isciii.es/pdf/inter/v15n1/v15n1a05.pdf ·...

Documents

Transcript of (M) 4. Necesidades de evaluaciÃ³n - ISCIIIscielo.isciii.es/pdf/inter/v15n1/v15n1a05.pdf ·...