Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2...
Transcript of Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2...
![Page 1: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/1.jpg)
mailto: [email protected]
Centro de Cálculo
Dpto. Ingeniería de Sistemas Telemáticos
ETSIT-UPM
FÓRMULAS DE ALMACENAMIENTO BASADAS
EN GLUSTERFS PARA EL SERVICIO DE CUENTAS DE
USUARIO EN LABORATORIOS DOCENTES CON
SOFTWARE LIBRE
Jornadas Técnicas de RedIRIS 2015 Santa Cruz de Tenerife, 24-26 de noviembre de 2015
Omar Aurelio Walid, Gabriel Martín,
Héctor Bedoya, David Fernández
![Page 2: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/2.jpg)
2 JJTT RedIRIS 2015 -
Contenido
• Problemática de los laboratorios docentes
• Problemática del almacenamiento
• ¿Qué hemos usado hasta ahora? ¿Porqué hemos cambiado de paradigma?
• Soluciones basadas en software libre y reparto de carga
![Page 3: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/3.jpg)
3 JJTT RedIRIS 2015 -
Laboratorios Docentes del DIT
binarioN
binario2
adminlab
FW
binario1
vnx
ETSITnet DITnet
ADMLABnet
FW
LABnet
LAB.A.127
LAB.B.123 moodle cuentas NetApp FAS2020
ldapN
ldap2
ldap1
LAB.B.045
LAB.B.224
web dns
![Page 4: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/4.jpg)
4 JJTT RedIRIS 2015 -
¿Qué hemos usado hasta ahora?
• NAS comercial de NetApp (FAS2020)
Buen resultado, pero:
• Rendimiento: máximo de 60 MB/s
• Coste: mantenimiento $$$
• Funcionalidad: dependiente de $
• Repuestos de la marca ($$)
![Page 5: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/5.jpg)
5 JJTT RedIRIS 2015 -
¿Porqué hemos cambiado de paradigma?
![Page 6: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/6.jpg)
6 JJTT RedIRIS 2015 -
¿Herramientas? Software libre
![Page 7: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/7.jpg)
7 JJTT RedIRIS 2015 -
Nuevos laboratorios docentes del dit
binarioN
binario2
adminlab
FW
binario1
vnx
ETSITnet DITnet
ADMLABnet
FW
LABnet
LAB.A.127
LAB.B.123 moodle
r1 r2 rN
cuentas1 cuentas2
ALMnet ldapN
ldap2
ldap1
LAB.B.045
LAB.B.224
web dns
![Page 8: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/8.jpg)
8 JJTT RedIRIS 2015 -
Nueva arquitectura de almacenamiento
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
![Page 9: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/9.jpg)
9 JJTT RedIRIS 2015 -
Reutilización de recursos
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
![Page 10: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/10.jpg)
10 JJTT RedIRIS 2015 -
Herramientas básicas
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
![Page 11: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/11.jpg)
11 JJTT RedIRIS 2015 -
Arranque y S.O. en USB
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
root mount=relatime rsyslog
![Page 12: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/12.jpg)
12 JJTT RedIRIS 2015 -
Almacenamiento en ZFS
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
1x zpool
![Page 13: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/13.jpg)
13 JJTT RedIRIS 2015 -
Configuración de ZFS
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
swap
logs-zil mirror (w)
cache (r)
2x SSD (queue=noop)
8x HDD RAID-Z2 (queue=deadline) (ashift=12) [1] (compress=lz4) (hdparm -m=8) (hdparm -a=8)
dedup=verify sync=standard xattr=sa acltype=noacl relatime=on (!) atime=off (!!) compression=on snapshots=on
[1] http://louwrentius.com/zfs-performance-and-capacity-impact-of-ashift9-on-4k-sector-drives.html
![Page 14: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/14.jpg)
14 JJTT RedIRIS 2015 -
Cluster de almacenamiento con glusterfs
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
X gluster vol
![Page 15: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/15.jpg)
15 JJTT RedIRIS 2015 -
Glusterfs modo standalone
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
Fuente: https://support.dce.felk.cvut.cz/mediawiki/index.php/GlusterFS
![Page 16: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/16.jpg)
16 JJTT RedIRIS 2015 -
Glusterfs modo réplica
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
Fuente: https://support.dce.felk.cvut.cz/mediawiki/index.php/GlusterFS
![Page 17: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/17.jpg)
17 JJTT RedIRIS 2015 -
Glusterfs modo distribuido
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
Fuente: https://support.dce.felk.cvut.cz/mediawiki/index.php/GlusterFS
![Page 18: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/18.jpg)
18 JJTT RedIRIS 2015 -
Glusterfs modo disperso
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
Fuente: https://support.dce.felk.cvut.cz/mediawiki/index.php/GlusterFS
![Page 19: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/19.jpg)
19 JJTT RedIRIS 2015 -
Configuración de glusterfs en el dit
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
X gluster vol
ppa:gluster/glusterfs-3.7 (versión 3.7.4)
quota quota.deem-statfs nfs.export-dirs nfs.export-volumes nfs.register-with-portmap performance.open-behind features.quota-deem-statfs
allow-insecure auth.allow * diagnostics.dump-fd-stats performance.cache-size 256MB performance.client-io-threads server.event-threads 8 client.event-threads 8 server.outstanding-rpc-limit 128 readdir-ahead readdir-optimize features.cache-invalidation performance.cache-max-file-size 128KB
on
off / disable
![Page 20: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/20.jpg)
20 JJTT RedIRIS 2015 -
Volúmenes glusterfs resultantes
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
11x gluster vol
4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) 2x home-2 (vol 2 bricks modo distribuido) 1x home-3 (vol 4 bricks modo distribuido) 1x home-4 (vol 4 bricks modo disperso) 1x home-5 (vol 4 bricks modo réplica)
DIT (N=4): cluster de 4 servidores
ZFS + glusterfs =
Escalabilidad Potencia Rendimiento Replicación
![Page 21: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/21.jpg)
21 JJTT RedIRIS 2015 -
Re-exportación del almacenamiento
5x HOMES
DIT (K=2): cluster de 2 servidores
Creación de cuentas Tareas periódicas Autenticación por LDAPS Gestión estadística y de seguridad
Cliente: glusterfs Servidor: NFS/CIFS VM
aislamiento escalabilidad fiabilidad ALMnet
LABnet
r1 r2 rN
cuentas1 cuentas2 cuentasK
![Page 22: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/22.jpg)
22 JJTT RedIRIS 2015 -
Acceso al almacenamiento
LABnet
r1 r2 rN
cuentas1 cuentas2
ALMnet
pic
os 1
000 r
eq/s
Caché local a disco - cachefilesd (fsc) Opciones: relatime, nolock, wsize, rsize
Montaje de HOME desde menú
nofsync[1] en LD_PRELOAD
[1] http://ubuntuforums.org/archive/index.php/t-1103926.html
NFS CIFS
Montaje de otros HOMES en paralelo
![Page 23: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/23.jpg)
23 JJTT RedIRIS 2015 -
Pruebas NAS NetApp
Picos de lectura: 10 GB/s Picos de escritura: 100 MB/s Media de lectura: 6 GB/s Media de escritura: 40 MB/s
Lectura
Escritura
![Page 24: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/24.jpg)
24 JJTT RedIRIS 2015 -
Pruebas nfs-kernel sobre glusterfs modo distribuido
Lectura
Escritura Picos de lectura: 8 GB/s Picos de escritura: 40 MB/s Media de lectura: 4 GB/s Media de escritura: 30 MB/s
![Page 25: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/25.jpg)
25 JJTT RedIRIS 2015 -
Pruebas nfs-kernel sobre glusterfs modo disperso
Lectura
Escritura Picos de lectura: 6.5 GB/s Picos de escritura: 30 MB/s Media de lectura: 4 GB/s Media de escritura: 20 MB/s
![Page 26: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/26.jpg)
26 JJTT RedIRIS 2015 -
Conclusiones de las pruebas
• Pruebas reales sobre el laboratorio:
• nfs-kernel sobre gluster en modo distribuido
• arranque simultáneo de >150 ordenadores
• usuarios independientes
• >10 aplicaciones entorno unix (sistema gráfico, eclipse, firefox, chrome, 2 terminales de texto, 1 documento pdf, etc)
Tiempo ahora: 15 minutos (antes > 30 minutos!!)
• El modo disperso es una solución a la que queremos llegar, pero de momento, y en nuestro entorno, el rendimiento del modo distribuido es del orden de 3 veces mejor.
• Datos: iozone -ac -g 1G; Gráficos: iozone_visualizer.pl; Tratamiento: gimp.
![Page 27: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/27.jpg)
27 JJTT RedIRIS 2015 -
Problemas, ‘habelos hailos’
• Self-heal automático de glusterfs: de momento, mejor en off.
• Snapshots de glusterfs: de momento, mejor no usarlo.
ZFS ofrece snapshots de alta calidad (que gestionan las diferencias y ofrecen mucho mejor rendimiento, más info: zfs-auto-snapshot, zfs send/receive)
• Cuotas de glusterfs: de momento, mejor en off.
ZFS ofrece mejor gestión de las cuotas (mejor rendimiento) y cuotas no solo a nivel de usuario, sino también a nivel de grupo.
• Listados de directorios, control de espacio usado y administración/gestión de usuarios, mejor desde ZFS si el volumen es distribuido (no si es disperso).
• Inodos de 64b para máquinas que tienen kernel de 32b. Hay solución, pero hay que tocar LD_PRELOAD: http://www.tcm.phy.cam.ac.uk/sw/inodes64.html
• nfs-kernel-server tiene un problema al copiar ficheros read-only (ej: git).
Este problema no ocurre si se re-exporta con Samba/CIFS o nfs-ganesha.
![Page 28: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/28.jpg)
28 JJTT RedIRIS 2015 -
Agradecimientos
Xavier Hernández (datalab.es). Desarrollador de GlusterFS (modo disperso).
![Page 29: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/29.jpg)
29 JJTT RedIRIS 2015 -
![Page 30: Presentación de PowerPoint 11x gluster vol 4x home-0 (vol 1 brick modo standalone) 2x home-1 (vol 2 bricks modo réplica) ... • Self-heal automático de glusterfs: de momento, mejor](https://reader031.fdocumento.com/reader031/viewer/2022041821/5e5e4eeaccdf3e0293337dd0/html5/thumbnails/30.jpg)
30 JJTT RedIRIS 2015 -