Indicadores Objetivos para Medir el Desempeño de la Biblioteca

INDICADORES OBJETIVOSINDICADORES OBJETIVOS PARA MEDIR EL PARA MEDIR EL

DESEMPEÑO DESEMPEÑO DE LA BIBLIOTECADE LA BIBLIOTECA

Dr. Javier López Gijón Facultad de Comunicación y Documentación Universidad de Granada (UGR) Correo-e: [email protected]

Mtra. Belén Ávila Tribunal Superior de Justicia de Andalucía Correo-e: [email protected]

Laboratorio SECABA

TABLA DE CONTENIDOS

• Introducción a la Evaluación• Evaluación y Calidad• Metodología• Indicadores de Primer Nivel• Indicadores de Segundo Nivel• Modelización / Modelo• Conclusiones

• Ejercitación Indicadores 2º Nivel

SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INTRODUCCIÓN A LA EVALUACIÓN


INTRODUCCIÓN A LA EVALUACIÓN

• Qué entendemos por evaluar

• Para qué evaluar

• Para qué la queremos

• Preparando la evaluación

• Enfoques en la evaluación

• Interpretación de resultados


QUÉ ENTENDEMOS POR EVALUAR

• Valorar

• Función diagnóstica

• Conocer puntos fuertes, fallos, limitaciones

• Comparación entre actividad y objetivos

• Comparar lo que es con lo que debería ser

• Indicar cómo mejorar el servicio

• Herramienta para la retroinformación


LA EVALUACIÓN (en la BIBLIOTECA)

• Componente esencial de la gestión

• Parte del proceso de planificación


¿PARA QUÉ EVALUAR? 1 de 2

• Conocer el nivel de rendimiento

• Comprobar y comparar la eficacia

• Grado de cumplimiento de los objetivos

• Asignación coherente de recursos

• Ayuda en la toma de decisiones

• Campo de la investigación bibliotecaria

• Benchmarking


¿PARA QUÉ EVALUAR? 2 de 2

• Medir cambios en la capacidad y uso

• Justificar la existencia del servicio

• Base para determinar la calidad

• Información para la mejora del

rendimiento

• Mejorar la imagen de la biblioteca

• Conocer grado satisfacción usuarios

• Retroalimentación


¿PARA QUÉ LA QUEREMOS?

Representación

SimplificaciónAbstracción

FormalizaciónRealidad

Para generar un MODELOMODELO


PREPARANDO LA EVALUACIÓN

• La recogida de datos (tarea bibliotecaria)

• ¿Qué es un dato? ¿Qué datos capturar?

• Normalización de captura y procesamiento

• Gestión con metas y objetivos

• Clarificar conceptos (eficacia, beneficio…)

• Datos y mediciones fiables, válidos, útiles


ENFOQUES EN LA EVALUACIÓN

Criterios Objetivos: lo que los usuarios HACENHACEN

Criterios Subjetivos: lo que los usuarios DICENDICEN

Visión de la biblioteca desde la gestióngestión: - Evaluación objetiva - Datos - Indicadores

Visión de la biblioteca desde la opinión del opinión del usuariousuario:

- Evaluación Subjetiva - Encuestas / Opiniones de los Usuarios - Satisfacción


EVALUACIONES OBJETIVAS MÁS USUALES

EficaciaEficacia– Alcanzar los resultados previstos en función de los objetivos,

sin tener en cuenta los medios o recursos.

EficienciaEficiencia– Alcanzar los resultados previstos en función de los recursos

empleados.

Costo/BeneficioCosto/Beneficio– Evaluación que relaciona el capital invertido (costos) y el

beneficio generado, con la idea de que el beneficio supere a los costos.

– En el caso de bibliotecas esta evaluación debe verse más como evaluación social, no como económica.

ImpactoImpacto– Efectos/beneficios que produce la biblioteca sobre el entorno

– Pueden ser económicos, socioculturales, tecnológicos, etc.– El impacto de las bibliotecas, a diferencia del ambiental,que

puede ser positivo o negativo, tiende a considerarse solo positivo.


EVALUACIÓN GLOBAL

Evaluación Evaluación GlobalGlobal

(6.35 ó ponderación)

Evaluación Objetiva

(6.20)

• Listado de Indicadores

• Agregación de Indicadores

Evaluación Subjetiva

(6.5)

• Valor Afectivo del Servicio

• La Biblioteca como Lugar

• Control de la Información


INTERPRETACIÓN DE RESULTADOS 1 de 2

• No son absolutas

• En función del logro de los objetivos

• La significación de las mediciones varia

según los objetivos y recursos del centro

• Los objetivos deben reflejar las

necesidades de los usuarios

• No interpretar los indicadores

aisladamente


INTERPRETACIÓN DE RESULTADOS 2 de 2

• Diferentes servicios se miden por

separado

• Debería decirnos si se tiene que actuar,

dónde y cómo podemos mejorar

• Comparaciones

Con la propia biblioteca (en el tiempo)

Con otros centros (benchmarking)

Con normas


EVALUACIÓN y CALIDAD


EVALUACIÓN y CALIDAD

• Datos y Bibliotecas

• ¿Por qué tan pocas mediciones?

• Hacia la Calidad


DATOS y BIBLIOTECAS

• La biblioteca manual (tradicional) y gestión por inercia gestión por inercia ( -

85)

• La fase de la automatización automatización (85 - 95)

• De inercia a gestión basada eficacia eficacia y productividad productividad

(95-)

• Hacia la calidad calidad (00-)

• Necesidad de datosdatos para esta transición

– Escasez y poca fiabilidad de los datos

• Captura datos es fenómeno recientefenómeno reciente en bibliotecas

• Necesario definir un conjunto de indicadoresconjunto de indicadores

– ISO 11620SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

¿POR QUÉ TAN POCAS MEDICIONES? 1 de 2

• Formación insuficienteFormación insuficiente del personal en técnicas cuantitativas.

• Formación humanísticaFormación humanística.

• No aparece hasta los planes de estudio de 1995.

• Desprecio-nula valoración de los datos y las mediciones.

• Poco interés en justificar el servicio.

• Gestión sin objetivosGestión sin objetivos.


¿POR QUÉ TAN POCAS MEDICIONES? 2 de 2

• La evaluación no se considera parte de las funciones del bibliotecario.

• La documentación ha gestionado la biblioteca, pero ha reflexionado muy pocoha reflexionado muy poco sobre ella.

• La biblioteca nono ha tenido retroalimentaciónretroalimentación.

• Falta de acuerdo sobre los indicadores a aplicar.

• NoNo hemos contado con modelosmodelos para seguir.


HACIA LA CALIDAD

• ANECA– Certificación de calidad (2003)– Subvenciones y ayudas a las bibliotecas que

logran la Certificación.

• REBIUN– II Plan Estratégico (2007-2010)

• Línea estratégica 3 (REBIUN y la calidad)

• La prestación de un servicio óptimo de biblioteca en las universidades se considera un factor esencial de calidad del sistema universitario en el EEES.


METODOLOGÍA


METODOLOGÍA

• Método

• Método Ciego

• Método Juego Intelectual

• Método de Conocimiento

• Método de Análisis: TGS

• La Medición

• Cálculo de Indicadores

• Modelo de Evaluación Cuantitativa


MÉTODO: HACIA LA MODELIZACIÓN


MÉTODO CIEGO

Objeto(Datos)

MUNDO MENTALMUNDO FÍSICO

EmpíricoConcretoCantidadExperiencia

Método

(Correspondencia)


MÉTODO JUEGO INTELECTUAL

Conocimiento(Información)

MUNDO MENTALMUNDO FÍSICOFormalAbstractoCualidadLenguaje

Método

(Correspondencia)


MÉTODO DE CONOCIMIENTO

Conocimiento(Información)

Objeto(Datos)

MUNDO MENTALMUNDO FÍSICOEmpíricoConcretoCantidadExperiencia

FormalAbstractoCualidadLenguaje

Método

(Correspondencia)

Abstracción, Medición, Formalización


MÉTODO DE ANÁLISISTEORÍA GENERAL DE SISTEMAS 1 de 2

• Lectura de la BIBLIOTECA como un SISTEMA:

• Indicadores para medirmedir los elementoselementos de la biblioteca, y sus relacionesrelaciones


MÉTODO DE ANÁLISISTEORÍA GENERAL DE SISTEMAS 2 de 2

• Permite el enfoque científicoenfoque científico de sistemas.

• Paralelismo entre máquinas, cerebro y sociedades.

• Visión global (aproximación holísticaholística).

• No sólo conocer las partes, también las

relacionesrelaciones.

• Disciplina lógico-matemática modelosmodelos.

• Desarrolla el concepto de información.

• Una forma de mirar-pensar.

• Lenguaje común entre distintas especialidades.

• Diseño y Cálculo de nuevos indicadoresnuevos indicadores (Segundo Nivel).


MEDICIONES POSIBLES

• Entradas:– Presupuestos..

• Entidad:– Colecciones, Infraestructura, TICs

• Salidas– Servicios, Circulación..

• Población a la que sirve la biblioteca• Entorno

• RelacionesRelaciones entre estos elementos

No sólo conocer las partes, también las relaciones…


LA MEDICIÓN 1 de 2

• Medición:Medición:– Proceso de la captura de datos, procesamiento

y producción de indicadores

• Indicador:Indicador:– Medición que describe lo que ocurre, lo que hay


LA MEDICIÓN 2 de 2

• En base a datosdatos que proceden del objeto a evaluar.

• Mediciones claras antes de evaluar.• La medición es la forma de conocerconocer el objeto.• Aplicar la fórmula de cálculo (procesamientoprocesamiento de

datos).• Herramienta en el proceso de evaluación.• El análisis de las medicionesanálisis de las mediciones puede ser más útil

que los propios resultados.• La estadística como puentepuente entre los modelos

matemáticos y la realidad.• Elaborar modelosElaborar modelos teóricos. • El modelo permite la simulaciónsimulación y la predicciónpredicción.


CÁLCULO DE INDICADORES

• Datos que necesitamos

• Fórmula de cálculo

• Resultado (producto del cálculo)

• Representación gráfica (si merece pena)

• Análisis e Interpretación

• Cómo se mejora

• Indicadores relacionados


MODELO DE EVALUACIÓN CUANTITATIVA

Entendemos por evaluación objetiva la que Entendemos por evaluación objetiva la que

pretende conocer el sistema desde el estudio pretende conocer el sistema desde el estudio

del propio sistemadel propio sistema

OBJETIVO:OBJETIVO:

• Conocer: EficaciaEficacia, EficienciaEficiencia, BeneficiosBeneficios, ImpactoImpacto

CARACTERISTICASCARACTERISTICAS:

• A partir de datosdatos de la Biblioteca

• Aplicación de Indicadores de PrimerPrimer y SegundoSegundo Nivel

• Tabulación y ProcesamientoProcesamiento automático de datos

• Representación gráficagráfica de resultados

• InterpretaciónInterpretación de Resultados

• Benchmarking. Conclusiones

• Informe Final de EvaluaciónSECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INDICADORES DE

PRIMER NIVEL


INDICADORES DE ENTRADAINDICADORES DE PRIMER NIVEL

• Euros por habitante para adquisiciones

• Gasto por revista suscrita

• Gasto en personal por habitante

• Volúmenes añadidos per cápita total– Vol. añadidos a colección pc (Libros)

– Vol. añadidos a colección pc (Revistas papel)– Vol. añadidos a colección pc (Revistas-e)


INDICADORES DE ENTIDADINDICADORES DE PRIMER NIVEL

• Volúmenes per cápita

• Títulos de revistas por 100 habitantes– Títulos de revistas (papel) por 100 habitantes– Títulos de revistas (electrónicas) por 100 habitantes

• Bases de datos por 100 habitantes / investigador

• Tasa de crecimiento de la colección papel

• Tasa de crecimiento de la colección digital

• Índice de profesionalidad

• Habitantes por personal de la biblioteca


INDICADORES DE SALIDAINDICADORES DE PRIMER NIVEL

• Porcentaje de usos

• Media de artículos-e bajados por revistas-e• Circulación per cápita total

– Circulación por habitante – Papel– Circulación electrónica per cápita

• Artículos electrónicos bajados per cápita

• Circulación por trabajador

• Tasa de rotación (Total de la colección)– TR colección papel (Libros y volúmenes revistas papel)– TR colección digital (Volúmenes electrónicos)


FOCALIZACIÓN DE LOS INDICADORES

Tasa Rotación

Euros por habitante

Circulación pc

Tasa Crecimiento Colección

PRIMER NIVEL


CÁLCULO DE INDICADORES: REBIUNINDICADORES DE

PRIMER NIVEL


• REBIUN• ASIBU• USA??• ROBLE (Arg).• Estándares Chilenos

INDICADORES DE

SEGUNDO NIVEL


INDICADORES DE SEGUNDO NIVEL

• OperatividadOperatividad – Operatividad de la colección– Operatividad del gasto para adquisiciones

• Esfuerzo (S)Esfuerzo (S)– Esfuerzo en circulación – Esfuerzo del gasto para adquisiciones

• Formulación del SistemaFormulación del Sistema

• Potencia del Sistema P(Sis)Potencia del Sistema P(Sis)


FOCALIZACIÓN DE LOS INDICADORES SEGUNDO NIVEL

Operatividad presupuesto

Esfuerzo en entrada

Esfuerzo en salida

Operatividad Colección


INDICADOR DE OPERATIVIDAD

• La Operatividad mide la capacidad de un elemento capacidad de un elemento para realizar una funciónpara realizar una función.

• Puede medir la operatividad de las entradas (gasto), o de la entidad (colección).

• La operatividad pone en relaciónrelación la operatividad determinada que estemos calculando respecto a la respecto a la circulacióncirculación.

• Fórmulas:- OC = % circulación - % colección - OGT = % circulación - % gasto total - OGA = % circulación - % gasto adquisiciones


CÁLCULO: OPERATIVIDAD PRESUPUESTO

• Datos: presupuestospresupuestos y circulacionescirculaciones • Fórmula: % circulación - % presupuesto% circulación - % presupuesto • Resultado: XX• Indicadores relacionados: operatividad gasto adquisiciones operatividad gasto adquisiciones y

esfuerzo en presupuestoesfuerzo en presupuesto• Cómo mejorarlo: + circulación+ circulación • Representación gráfica:

Operatividad del Presupuesto

-15,0

-10,0

-5,0

0,0

5,0

10,0

15,0

20,0

25,0

30,0

A Alme B Ca C Cor D Gr E Hu F Ja G Ma H Se

% Gas Tota % Cir Opera GT


INDICADOR DE ESFUERZO

• El Esfuerzo (S) mide la energía energía que se emplea (consume) para lograr un fin.

• Puede medir el esfuerzo de las entradas (gasto), de la entidad (colección) o de las salidas (circulación).

• El esfuerzo pone en relaciónrelación el esfuerzo determinado que estemos calculando respecto a la respecto a la poblaciónpoblación.

• Fórmulas:- Sc= % circulación - % población - Sgt = % gasto total - % población- Sga = % gasto adquisiciones - % población- Sco= % colección - % población


CÁLCULO: ESFUERZO EN CIRCULACIÓN

• Datos: circulacionescirculaciones y poblacionespoblaciones • Fórmula: % circulación% circulación - % población- % población • Resultado: XX• Indicadores relacionados: esfuerzo en entradasesfuerzo en entradas ó operatividad de operatividad de

la circulación la circulación ó circulación per capita circulación per capita • Cómo mejorarlo: + circulación+ circulación • Representación gráfica:


POTENCIA DEL SISTEMA

• La Potencia de un Sistema, P(Sis)P(Sis), mide, como su nombre indica, la potencia que tiene un sistema.

• P(Sis) pone en relación relación la Potencia de Entrada, P(E) P(E) con la Potencia de Salida P(Sal)P(Sal).

• La P(E) P(E) es la alimentación del Sistema.

• La P(Sal) P(Sal) es la capacidad que tiene el Sistema de generar Salidas.

• Fórmula: P(Sis) = P(Sal) / P(E)


GRÁFICO DE LA POTENCIA DEL SISTEMABASE SISTEMA 1

0

0,5

1

1,5

2

2,5

3

3,5Sistema 1

Sistema 2Sistema 3

P(Sis) P(Sis)=1


GRÁFICO DE LA POTENCIA DEL SISTEMABASE SISTEMA 2

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1,0

Sistema 1

Sistema 2Sistema 3

P(Sis) P(Sis)=1


MODELIZACIÓN / MODELO


MODELIZACIÓN / MODELO

• ¿Qué es un Modelo?• Sistema Empírico y Modelo• Modelo• Proceso de Modelización• Formulación de un Sistema• Correlación• Principio General de la Circulación• Estados de un Sistema• Los Tres Mundos


¿QUÉ ES UN MODELO?

Representación

SimulaciónPredicciónRealidad


SISTEMA EMPÍRICO Y MODELO


MODELO

1. Cierta descomposición de M en partes

2. Relaciones entre componentes de S son análogas a las que se establecen en M

3. M permite engendrar datos, que son aproximados a los de S


¿QUÉ PODEMOS CONSEGUIR?

Idea-Modelo Representación

Realidad

Predicción

Simulación

Control


PROCESO DE MODELIZACIÓN

Sistema EmpíricoObjeto

Indicadores Resultados

Interpretación(S)

Conclusiones (P)Modelo

p1

p2

p3

Abstracción, Medición, Formalización

Nivel 1

Nivel 3

Predetermina

Flujo de datos

Flujos de retroali.

Flujo de control

Flujos de in-formación

Nivel 2

MUNDO FISICO

MUNDO MENTAL


FORMULACIÓN DE UN SISTEMA

• La Formulación de un Sistema pone en relaciónrelación las entradasentradas de dicho sistema con las salidassalidas que produce.

• Vemos el sistema como una caja negracaja negra, donde ocultando la entidadocultando la entidad solo miramos las entradas y las salidas.

• Representación:

X (Entradas) producen Y (Salidas) x E y Sal


FORMULACIÓN DE SISTEMAS: Andalucía y Europa

Potencia de

E Potencia de

Sal Formulación del sistema Potencia del

sistema ALMERIA 1,0 1,6 1 E 1,6 Sal 1,6

CADIZ 0,8 0,5 0,8 E 0,5 Sal 0,6

CORDOBA 1,0 0,8 1 E 0,8 Sal 0,8

GRANADA 0,7 1,0 0,7 E 1 Sal 1,4

HUELVA 1,6 0,8 1,6 E 0,8 Sal 0,5

JAEN 1,5 1,3 1,5 E 1,3 Sal 0,9

MALAGA 0,9 1,0 0,9 E 1 Sal 1,1

SEVILLA 0,9 1,2 0,9 E 1,2 Sal 1,3

ANDALUCIA 1,0 1,0 1 E 1 Sal 1,0

P( E) P(Sal) Formulación del sistema P(Sis) ANDALUCIA 1 1 1 E 1 Sal 1

CASTILLA-LEON 2,28 7,9 2 E 8 Sal 3,5

DINAMARCA 23,28 68,3 23 E 68 Sal 2,9


CORRELACIÓN €/hab y Circulación pc€/hab y Circulación pcRelación entre €/hab y Circulación pc

R2 = 0,9068

0

2

4

6

8

10

12

14

16

18

20

0 10 20 30 40 50 60 70

Euros/hab

Circ

ulac

ión

pc

REINO UNIDO

DINAMARCA

CASTILLA Y LEON

ESPAÑA

ANDALUCIA


CORRELACIÓN (S)Entradas y (S)Salidas(S)Entradas y (S)Salidas

Relación entre S en Presupuesto y S en Circulación

R2 = 0,794

-30,0

-20,0

-10,0

0,0

10,0

20,0

30,0

-25 -20 -15 -10 -5 0 5 10 15 20

S en Presupuesto

S e

n C

ircu

laci

ón

DINAMARCA

REINO UNIDO

ANDALUCIA

ESPAÑA

CASTILLA Y LEON


PRINCIPIO GENERAL DE LA CIRCULACIÓN

La circulación de un sistema (potencia de salida) es igual a la potencia de entrada por la potencia del sistema

P(Sal) = P(E) * P(Sis)


ESTADOS DEL SISTEMA / BIBLIOTECA

Un Sistema / Biblioteca necesariamente se encuentra en uno de estos tres estados


LOS TRES MUNDOS

Realidad Sistema empírico

Modelo

Procesamiento

Correspondencia

Predetermina

Predice


CONCLUSIONES


CONCLUSIONES

• La Biblioteca es ModelizableModelizable.

• Poco avance en la predicción, modelización y leyes en nuestro campo se debe a la poca investigaciónpoca investigación y no al azar.

• Las salidas de un Sistema están en función de sus Entradas y de su Potencia (Principio de la CirculaciónPrincipio de la Circulación)

• Existe correlacióncorrelación entre Entradas y Salidas.

• Podemos FormalizarFormalizar el Funcionamiento de una Biblioteca (o una red de bibliotecas).


CONCLUSIONES

• Los esfuerzosesfuerzos de un mismo signo se atraenmismo signo se atraen.

• La Teoría General de SistemasTeoría General de Sistemas ha demostrado gran utilidad en el avance de nuestro campo.

• Es posible la formulación de principios y leyes en nuestro campo.

• Por tanto, existe capacidad predictivacapacidad predictiva.


INDICADORES OBJETIVOSINDICADORES OBJETIVOSPARA MEDIR EL DESEMPEÑO DE LA PARA MEDIR EL DESEMPEÑO DE LA

BIBLIOTECABIBLIOTECA Dr. Javier López Gijón Facultad de Comunicación y Documentación Universidad de Granada (UGR) Correo-e: [email protected]

Mtra. Belén Avila Tribunal Superior de Justicia de Andalucía Correo-e: [email protected]

Laboratorio SECABA Taller de Evaluación Objetiva

¡GRACIAS ¡GRACIAS

POR SU ATENCIÓN!POR SU ATENCIÓN!

Indicadores Objetivos para Medir el Desempeño de la Biblioteca

Documents

Transcript of Indicadores Objetivos para Medir el Desempeño de la Biblioteca