Post on 16-Mar-2016
description
Grids: Actividades en Curso y Grids: Actividades en Curso y Plan Futuro de InvestigaciónPlan Futuro de Investigación
Javier JaénJavier Jaén Grupo de Ingeniería del Software y Sistemas de Grupo de Ingeniería del Software y Sistemas de
Información (ISSI)Información (ISSI)Departamento de Sistemas Informáticos y ComputaciónDepartamento de Sistemas Informáticos y Computación
Universidad Politécnica de ValenciaUniversidad Politécnica de ValenciaCamí de Vera s/n E-46022 ValenciaCamí de Vera s/n E-46022 Valencia
fjaen@dsic.upv.esfjaen@dsic.upv.es
ContenidosContenidos►Presentación del ISSIPresentación del ISSI
►Experiencia en GridsExperiencia en Grids
►Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI
►Plan Futuro Investigación GridsPlan Futuro Investigación Grids
Presentación ISSIPresentación ISSI►Director: Isidro Ramos SalavertDirector: Isidro Ramos Salavert►Composición: Composición:
1 Catedrático1 Catedrático 1 TU1 TU 3TEUs3TEUs 1 ASO1 ASO 5 Becarios5 Becarios Colaboradores (México, Castilla-La Colaboradores (México, Castilla-La
Mancha,...)Mancha,...)
Presentación ISSIPresentación ISSI►Líneas de InvestigaciónLíneas de Investigación
Métodos Formales para Ingeniería de Métodos Formales para Ingeniería de Requisitos y Prototipación AutomáticaRequisitos y Prototipación Automática
Sistemas WorkflowsSistemas Workflows Sistemas de Cultura DigitalSistemas de Cultura Digital Arquitecturas DinámicasArquitecturas Dinámicas Grids Grids
Experiencia en GridsExperiencia en Grids►Staff del CERN Staff del CERN
División IT, Grupo PDP , Sección I+D División IT, Grupo PDP , Sección I+D I+DI+D
►Monitorización de ClustersMonitorización de Clusters►Gestión de Clusters mediante agentes JMXGestión de Clusters mediante agentes JMX►Miembro del proyecto europeo Datagrid Miembro del proyecto europeo Datagrid
Deputy Manager del WP2 (“Data Management”)Deputy Manager del WP2 (“Data Management”) Setup del primer testbed Globus CERNSetup del primer testbed Globus CERN Participante subproyecto “SpitFire” (Seguridad)Participante subproyecto “SpitFire” (Seguridad)
Del LEP al LHCDel LEP al LHC
Cada experimento LHC requiere una capacidad de uno a dos ordenes de magnitud mayor que la capacidad TOTAL
existente en el CERN en la actualidad
Parameter LEP COMPASS LHC Raw data rate 1MB/sec 35MB/sec 100MB/sec
Number of events/year <107 ~1010 ~109
Raw data volume/year 0.2-0.3 TB 300TB 1 PB
Event size 20 – 50 kB 30kB 1 MB
Event reconstruction time 2–8 Si95-secs 2 Si95-secs 500 Si95-secs
Number of users 400 - 600 ~200 ~2000
Number of institutes 30-50 ~35 ~150
tape servers
disk servers
application servers
to external network
local network servers
Colaboración MundialColaboración Mundial
CMS: 1800 physicists150 institutes32 countries
La Metáfora GridLa Metáfora Grid► Análogo a la red eléctricaAnálogo a la red eléctrica
► Computación distribuida con Computación distribuida con capacidad ilimitadacapacidad ilimitada
► Acceso transparente a bases Acceso transparente a bases de datos distribuidas con de datos distribuidas con petabytes de informaciónpetabytes de información
► Complejidad de la Complejidad de la infraestructura ocultainfraestructura oculta
Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids
Proyecto Data Grid EuropeoProyecto Data Grid EuropeoComité de GestiónComité de Gestión
UK: PPARC UK: PPARC Italy: INFN Italy: INFN France: CNRS France: CNRS Netherlands: NIKHEF Netherlands: NIKHEFESA/ESRINESA/ESRIN CERN CERN
Industria Industria IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)
Partners AsociadosPartners Asociados Istituto Trentino di Cultura (I), Helsinki Institute of Physics / CSC Istituto Trentino di Cultura (I), Helsinki Institute of Physics / CSC
Ltd (FI), Swedish Science Research Council (S), Zuse Institut Ltd (FI), Swedish Science Research Council (S), Zuse Institut Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA (F), IFAE Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA (F), IFAE Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (NL), SZTAKI Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (NL), SZTAKI (HU)(HU)
Otras CienciasOtras CienciasKNMI(NL), Biology, Medicine KNMI(NL), Biology, Medicine
Programa de TrabajoPrograma de TrabajoMiddlewareMiddleware
WP 1 Grid Workload ManagementWP 1 Grid Workload Management F. Prelz/INFNF. Prelz/INFNWP 2 Grid Data ManagementWP 2 Grid Data Management P. Kunstz/CERNP. Kunstz/CERNWP 3 Grid Monitoring servicesWP 3 Grid Monitoring services R. Middleton/PPARCR. Middleton/PPARCWP 4 Fabric ManagementWP 4 Fabric Management O. Barring/CERNO. Barring/CERNWP 5 Mass Storage ManagementWP 5 Mass Storage Management J. Gordon/PPARCJ. Gordon/PPARC
Grid Fabric -- testbedGrid Fabric -- testbedWP 6 Integration TestbedWP 6 Integration Testbed F. Etienne/CNRSF. Etienne/CNRSWP 7 Network ServicesWP 7 Network Services P. Primet/CNRSP. Primet/CNRS
Scientific applicationsScientific applicationsWP 8 HEP ApplicationsWP 8 HEP Applications F. Carminati/CERNF. Carminati/CERNWP 9 EO Science ApplicationsWP 9 EO Science Applications L. Fusco/ESAL. Fusco/ESAWP 10 Biology ApplicationsWP 10 Biology Applications V. Breton/CNRSV. Breton/CNRS
ManagementManagementWP 11 DisseminationWP 11 Dissemination M. Draoli/CNRM. Draoli/CNR
WP 12 Project ManagementWP 12 Project Management F. Gagliardi/CERNF. Gagliardi/CERN
Work Package 2:Gestión de Work Package 2:Gestión de DatosDatos
Gestionar y compartir volúmenes de información del orden de Petabytes en entornos de producción de HTC.
Replicacion/caching; Gestión Metadatos; Autentificación; Optimización de Queries;
Interfaces a Mass Storage Mgmt. systems.
Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI►Arquitecturas DinámicasArquitecturas Dinámicas
Proyecto CICYTProyecto CICYT►Murcia, Cartagena, Castilla-La Mancha,Murcia, Cartagena, Castilla-La Mancha,
ValenciaValencia►Mecanismos de definición de arquitecturas Mecanismos de definición de arquitecturas
software adaptativas y que evolucionen en software adaptativas y que evolucionen en función del entornofunción del entorno
►Generación automática de componentes software Generación automática de componentes software dinámicasdinámicas
►Aplicación a Sistemas Tele-operados, Sistemas de Aplicación a Sistemas Tele-operados, Sistemas de difusión de información multimedia, Gridsdifusión de información multimedia, Grids
Plan Futuro Investigación Plan Futuro Investigación GridsGrids
► Arquitecturas adaptativas para Grid Arquitecturas adaptativas para Grid ComputingComputing
► Requisito crítico para aplicaciones Grids Requisito crítico para aplicaciones Grids (condiciones cambiantes de los recursos (condiciones cambiantes de los recursos existentes)existentes) No adaptación = Pobres prestacionesNo adaptación = Pobres prestaciones Adaptabilidad implementada en la actualidad de Adaptabilidad implementada en la actualidad de
forma ad hocforma ad hoc Alternativa: Alternativa:
► Usar modelos arquitectónicos de alto nivelUsar modelos arquitectónicos de alto nivel► Mantener versiones en tiempo de ejecución de dichos Mantener versiones en tiempo de ejecución de dichos
modelos y tomarlos como base para la adaptabilidadmodelos y tomarlos como base para la adaptabilidad
Ejemplo: Catalogo Auto-Ejemplo: Catalogo Auto-configurable “Context-Aware”configurable “Context-Aware”
Catalogue Catalogue
Catalogue Catalogue Catalogue
Centralizado Jerárquico
Catalogue
Catalogue
CatalogueCatalogue
P2P
Ejemplo: Tareas sensibles al Ejemplo: Tareas sensibles al ContextoContexto
Task Controller
Grid Nodes Grid Nodes
Context-Aware tasks
Task Controller
Polling Pushing
¿Qué se necesita?¿Qué se necesita?►Un modelo abstracto para definir Un modelo abstracto para definir
componentes software sensibles al componentes software sensibles al contexto y evolutivascontexto y evolutivas
►Mecanismos de generación automática Mecanismos de generación automática de código para obtener “context-aware” de código para obtener “context-aware” componentes ejecutables (J2EE componentes ejecutables (J2EE JavaBeans, CORBA, .NET Web JavaBeans, CORBA, .NET Web Services...)Services...)
ColaboraciónColaboración► Impulsar el uso de infraestructuras GridsImpulsar el uso de infraestructuras Grids
► Construir un Testbed Grid UPV-UVConstruir un Testbed Grid UPV-UV
► Obtener requisitos de adaptabilidad de las Obtener requisitos de adaptabilidad de las aplicaciones Gridaplicaciones Grid Biología, Medicina, Física de partículas...Biología, Medicina, Física de partículas...
► Construir infraestructuras Grid dinámicas y Construir infraestructuras Grid dinámicas y evolutivas a partir de componentes software evolutivas a partir de componentes software generadas semi-automáticamentegeneradas semi-automáticamente
¿Qué Ofrecemos?¿Qué Ofrecemos?► Experiencia en implantación de GridsExperiencia en implantación de Grids
► Experiencia en generación automática de Experiencia en generación automática de componentes softwarecomponentes software
► Experiencia definición de proyecto Experiencia definición de proyecto compartido Europeocompartido Europeo
► Contactos en el proyecto EU DatagridContactos en el proyecto EU Datagrid