¿Q
ué
es
el I
FA
PA
?
Instituto de Investigación y Formación Agraria y Pesquera de Andalucía
Almería, diciembre 2016
Consejería de Agricultura, Pesca y Desarrollo Rural
Investigación, desarrollo, transferencia de tecnología y formación
Co
nte
nid
o d
e la
pre
sen
tac
ión
Almería, diciembre 2016
• El papel de los evaluadores
• Procedimiento de evaluación
• Criterios de evaluación
• Comentarios finales
El p
ap
el d
e lo
s e
va
lua
do
res
Almería, diciembre 2016
expertos registrados en el portal del participante
trabajo personal, no en representación de una institución o
país
diversa procedencia y experiencia (academia,
empresa…)
disponibilidad ocasional para asignaciones de corta
duración (5-10 días)
Tareas:
• Evaluación de propuestas
• Seguimiento de acciones
El p
ap
el d
e lo
s e
va
lua
do
res
Almería, diciembre 2016
-Comités de evaluación multidisciplinares
-No son expertos en TODO lo relacionado con el
proyecto (compromiso difícil entre dirigirse a un
experto y facilitar la comprensión de un no-experto)
-El tiempo para evaluar cada propuesta es
insuficiente para hacer una revisión en profundidad
El p
ap
el d
e lo
s e
va
lua
do
res
Almería, diciembre 2016
INDEPENDENCIA, trabajo individual que no representa a un
país o institución
IMPARCIALIDAD, tratar por igual todas las propuestas y
evaluarlas sin tener en cuenta el origen o la identidad de los
solicitantes
OBJETIVIDAD, evaluar las propuesta tal como son, por sus
méritos y no por su potencialidad si se hicieran cambios
RIGOR, considerar únicamente los criterios de evaluación
oficiales y lo indicado en la convocatoria, y nada más
CONSISTENCIA, aplicar el mismo criterio a todas las propuestas
Respetar los plazos
Obligaciones y principios
El p
ap
el d
e lo
s e
va
lua
do
res
Almería, diciembre 2016
CONFIDENCIALIDAD
-No discutir aspectos de la evaluación con nadie
-No contactar con socios, subcontratados o terceras partes del
consorcio
-No difundir nombres del comité de evaluación
-Mantener la confidencialidad de los documentos
Obligaciones y principios
CONFLICTO DE INTERESES
- Beneficiarse de cualquier manera, relación persona/familiar…
con algún solicitante
-Identificar el COI, informar a la Comisión
-Medidas: no participar en la evaluación de alguna propuesta
concreta ni en la fase de consenso
El p
roc
ed
imie
nto
de
ev
alu
ac
ión
Almería, diciembre 2016
El proceso de evaluación en la práctica
El p
roc
ed
imie
nto
de
ev
alu
ac
ión
Almería, diciembre 2016
Procedimiento similar en convocatorias de una o dos etapas
El p
roc
ed
imie
nto
de
ev
alu
ac
ión
Almería, diciembre 2016
Receipt of proposals
Individual evaluation
Consensus report
Finalisation
Evaluators
Individual Evaluation Reports
(Remote)
Consensus Report
(Remote)
Evaluation Summary Report
Eligibility check
Allocation of proposals to evaluators
Commission/Agency Commission/Agency
Second stage
First stage (April-May)
Evaluación en dos-etapas
El p
roc
ed
imie
nto
de
ev
alu
ac
ión
Almería, diciembre 2016
Receipt of proposals
Individual evaluation
Consensus report
Finalisation
Evaluators
Individual Evaluation Reports
(Remote)
Consensus Report
(Central)
Evaluation Summary Report
Eligibility check
Allocation of proposals to evaluators
Commission/Agency Commission/Agency
Funding decision
Second stage (September-October)
Evaluación en dos-etapas
Crite
rio
s d
e e
va
lua
ció
n
Almería, diciembre 2016
Informe de evaluación individual:
puntuación
• De 0 a 5 en cada criterio:
•Excelencia (peso 100%, prioridad 2)
•Impacto (peso 100%, prioridad 1)
•implementación (peso 100%, prioridad 3)
• Debe superar el 3 en cada uno de ellos y
10 en total
• La puntuación debe ser coherente con
los comentarios
Poor
Fair
Good
Very Good
Excellent
0
1
2
3
4
5
Crite
rio
s d
e e
va
lua
ció
n
Almería, diciembre 2016
• Clarity and pertinence of the objectives
• Soundness of the concept, including trans-disciplinary considerations, where relevant
• Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-
breaking objectives, novel concepts and approaches)
• Credibility of the proposed approach
Exce
llen
ce
• The expected impacts listed in the work programme under the relevant topic
• Enhancing innovation capacity and integration of new knowledge
• Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets
• Any other environmental and socially important impacts (not already covered above)
• Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant
Imp
act
• Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources
• Complementarity of the participants within the consortium (when relevant)
• Appropriateness of the management structures and procedures, including risk and innovation management Im
ple
men
tati
on
Scope of the proposal/Operational capacity. Se evalúan pero no se puntúan
Crite
rio
s d
e e
va
lua
ció
n
Almería, diciembre 2016
Puntuación
The proposal fails to address the criterion or cannot be assessed due to
missing or incomplete information.
Poor. The criterion is inadequately addressed, or there are serious
inherent weaknesses.
Fair. The proposal broadly addresses the criterion, but there are
significant weaknesses.
Good. The proposal addresses the criterion well, but a number of
shortcomings are present.
Very Good. The proposal addresses the criterion very well, but a small
number of shortcomings are present.
Excellent. The proposal successfully addresses all relevant aspects of
the criterion. Any shortcomings are minor.
0
1
2
3
4
5
Crite
rio
s d
e e
va
lua
ció
n
Almería, diciembre 2016
Fase de consenso
3 a 5 expertos por panel, se obtiene el informe final de conseso que servirá para decidir la financiación
No es una re-evaluación y ni un promedio de puntuaciones,
se trata de llegar a un acuerdo considerando todas los comentarios individuales
Se discuten comentarios positivos y negativos de todos los
revisores
Es importante que las puntuaciones individuales estén bien
justificadas (con hechos, comentarios precisos, uso de
ejemplos o referencias a puntos concretos de la propuesta)
Crite
rio
s d
e e
va
lua
ció
n
Almería, diciembre 2016
Cada evaluador tiene acceso a los comentarios de todo el
panel antes de la reunión
Participa un moderador/observador/facilitador de parte de
la Comisión
Énfasis en la coherencia entre comentarios
positivos/negativos y puntuación
Si hay varios paneles, un miembro del comité participa en
otra reunión posterior con representantes de otros paneles
para llegar a una lista definitiva
Fase de consenso
Almería, diciembre 2016
-Claridad y concisión en elementos claves que responden
directamente a los aspectos a evaluar
-Evitar que tenga que interpretar o relacionar nuestra propuesta
con los objetivos y retos de la convocatoria. Usar el mismo
lenguaje e ideas clave, literalmente!
-Transmitir la idea de se conoce perfectamente el tema del
proyecto, desde todos los ángulos y que todo lo relevante e
incluso lo no relevante, está previsto (así confiará y puntuará mejor
los aspectos que menos conoce)
-Cuidar la estructura para facilitar la comprensión:
-lista de acrónimos si se usan muchos,
-estructuras agrupando conceptos o métodos,
-cajas para resaltar elementos clave …
PONERSELO FÁCIL y “VENDER” EL
PROYECTO AL EVALUADOR:
Co
me
nta
rio
s fin
ale
s
Co
me
nta
rio
s fin
ale
s
Almería, diciembre 2016
Una propuesta no se puede improvisar,deber ser una
buena idea, bien elaborada, Y ADEMÁS:
Encajar perfectamente con:
• ámbito y retos específicos de la convocatoria y
demostrarlo, no dejarlo a la interpretación del revisor
•y con los principios del H2020:
• Basado en abordar retos
• Enfocado al impacto y la innovación
• Trans-disciplinar y trans-sectorial
• papel relevante y activo de los usuarios finales
•Prestar atención a aspectos transversales: dimensión
socio-económica (SSH), RRI, género, cooperación internacional,
difusión open-access, desarrollo sostenible…
Top Related