Post on 31-Jul-2015
Bogotá
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved
Almacenamiento y respaldos en la nube de AWS
Damian Traverso - Solutions Architect
18/06/2015 | Bogotá
Opciones de almacenamiento en AWS• Almacenamiento de objetos escalable• Almacenamiento de bajo costo para
archivado• Almacenamiento persistente de bloques • Sistema de archivos compartido• Gateway para integración
Estamos constantemente produciendo más datos
En todos los tipos de industrias
Almacenamiento de Objetos
Amazon S3Simple Storage Service
201220122012201220122012201220122012201220122012201220132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201520152015201520152015201520152015
102% de crecimento anual en términos de transferencia de datos desde y hacia S3
(Q4 2014 vs Q4 2013, sin considerar el uso de Amazon)
Uso de S3
99.999999999%de durabilidad
Buen intento…
Opción de redundancia reducida99.99% con una economía de ~20%
Recursos de S3: buckets y objetos
S3 Website: contenido estático
1 PB de storage
800 TB de storage usables
600 TB de storage asignados
400 TB de datos de la aplicación
Precios de S3 — pague solo por lo que utilice!
Storage Tradicional Amazon S3
Reducción continua de costos: S3
• Disponible globalmente en 11 regiones
• Cobrado por GB-mes• 8 reducciones de precios desde
su lanzamiento• 51% de reduccíon (promedio) de
precios en 1/4/2014
• TCO: comparando on-premises con S3– Puede ser un desafío para
algunos clientes– Nosotros podemos ayudar!
• Utiliza S3 para almacenar logs e imágenes
• Genera 1.2 TBs de logs por día
• Ejecuta ~250 jobs de Amazon EMR por día, procesando mas de 30 TBs de datos
Amazon S3 – Nuevas funcionalidades
S3 event notifications
Envía notificaciones hacia Amazon SNS, Amazon SQS, o AWS Lambda cuando ocurre un evento de S3
S3
Eventos
Tópico SNS
Fila SQS
Função Lambda
Notificações
Notificações
Notificações
Foo() {…}
• Preserve, recupere, y restaure todas las versiones de cada objeto almacenado en un bucket
• S3 automáticamente adiciona nuevas versiones y preserva los objetos excluidos utilizando marcadores de exclusión
• Controle fácilmente el número de versiones almacenadas usando las políticas de expiración y ciclo de vida de los objetos
• Puede ser fácilmente habilitado a través de la consola web
Control de versión en S3
Replicación entre regiones de S3 Replicación asíncronica de objetos entre regiones AWS, automatizada, rápida y confiable
Source(Virginia)
Destination(Oregon)
• Únicamente replica nuevos PUTs. Una vez que está configurado, todos los nuevos uploads en un bucket serán replicados
• Bucket entero o también basado en un prefijo
• Replicación 1:1 entre 2 regiones
• Requiere control de versión
Casos de Uso:• Compliance – almacene sus datos a centenas o miles de kilómetros de distancia• Menor latencia - distribuya sus datos para clientes regionales• Seguridad – Cree réplicas remotas administradas por diferentes cuentas de AWS
VPC Endpoints para S3
Casos de Uso de S3
• Capacidad de almacenamiento y performance Web-Scale
• Origen de contenido que será entregado a través de Amazon CloudFront
• Almacenamiento temporario y persistente para aplicaciones de Big Data
• Almacenamiento para backup y archiving
Amazon GlacierServicio de archiving de bajo costo
$0.01por GB-mes
$120por TB/año
99.999999999%durabilidad
3 - 5 horasTiempo de recuperación de los datos
Costo de Almacenamientovs.
Costo de recuperación
Beneficios de Glacier
• Reduzca el costo de archivar sus datos a largo plazo
• Capacidad ilimitada de almacenamiento• Reemplace las cintas• Aumente la durabilidad
Amazon S3 – Integración con GlacierServicio de archivado basado en políticas
Políticas de ciclo de vida en S3 →Key prefix “logs/”
Mover los objetos a Glacier después de 30 días de su creación
Excluir después de 365 días de su creación
<LifecycleConfiguration> <Rule>
<ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition>
<Days>30</Days>
<StorageClass>GLACIER</StorageClass> </Transition> <Expiration>
<Days>365</Days> </Expiration>
</Rule></LifecycleConfiguration
SoundCloud – usa Glacier para realizar transcoding de audio
• Líder en redes sociales dentro del mercado de música y audio
• Los archivos de audio necesitan ser transcodificados y almacenados en distintos formatos
• Almacena petabytes de datos• Los archivos transcodificados son
servidos por S3• Originales movidos para Glacier
para reducir costos
Casos de uso para las políticas de ciclo de vida en S3• Data-Tiering en la nube
• Administrar el control de versión de objetos para proteger lógicamente los datos
• Exclusión de datos en Glacier en base a políticas
Almacenamiento de Bloques
Almacenamiento de una Instancia EC2
Amazon EBSElastic Block Storage
1 GB16 TB
Ú
Nuevos volúmenes EBS : mayor tamaño y performance
General Purpose (SSD)
hasta 16 TB
10,000 IOPS
hasta 160 Mbps
Provisioned IOPS (SSD)
hasta 16 TB
20,000 IOPS
hasta 320 Mbps
Precio Performance
Tipos de volúmes EBS
Magnéticos Uso General IOPS Aprovisionadas
Casos de uso Acceso a datos poco frecuente
Volúmenes de arranqueBases de datos pequeñas-
medianasDesarrollo y Pruebas
E/S intensivaBases de datos relacionales
Bases de datos NoSQL
Medio físico de Almacenamiento
Respaldo en discos magnéticos Respaldo SSD Respaldo SSD
Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS
Latencia (random read)
20–40 ms 1–2 ms 1–2 ms
Disponibilidad Diseñado para 99.999% Diseñado para 99.999% Diseñado para 99.999%
Precio $.05/GB-mes $.05/millón de I/O $.10/GB-mes $.125/GB-mes
$.065/provisioned IOPS
Amazon EBS:snapshots
Casos de uso de EBS
• Almacenamiento de bloques persistente para Amazon EC2
• Workloads transaccionales• Sistema de archivos para una instancia - NTFS, ExtFS,
etc…
Introduciendo Amazon Elastic File System Sistema de archivos en la nube
¿Que es EFS?
• Un sistema de archivos administrado para instancias EC2
• Utiliza los comandos e interfaces estándares utilizados en los sistemas de archivos tradicionales
• Crece elásticamente hasta una escala de Petabytes
• Performance para una gran variedad de workloads
• Altamente disponible y durable
Simple Elástico Escalable
1 2 3
EFS está diseñado para una gran variedad de casos de uso, como…
• Repositorio de Contenido• Ambientes de Desarrollo• Directorios de usuarios• Big data
EFS es simple
• Totalmente gestionado por AWS– Sin necesidad de provisionar hardware ni red– Cree un sistema de archivos escalable en
segundos!
• Integración transparente con herramientas y aplicaciones existentes– NFS v4 – ampliamente adoptado y de código
abierto– Operaciones y comandos para sistemas de
archivos– Funciona con las APIs estándares del OS
• Precio simple = Estimativa de costo simple
1
EFS es elástico
• Los sistemas de archivos crecen y se encogen automáticamente conforme se adicionan o remueven archivos
• No es necesario provisionar tamaño o performance
• Pague únicamente por lo que utilice, sin cobros mínimos ni inversiones up-front
2
• Los Sistemas de archivos pueden crecer hasta una escala de petabytes
• El Throughput y las IOPS escalan automáticamente conforme el sistema de archivos crece
• Baja latencia consistente, independiente del tamaño del sistema de archivos
• Soporta miles de conexiones NFS concurrentes
EFS es escalable3
Arquitectura de EFS
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Sistema de Archivos del
Cliente
¿Por qué esto es importante?...
… para responsables y desarrolladores
de apps?
… para su negocio?
• Facilita la migración de aplicaciones y códigos existentes que utilizan NFS
• Almacenamiento de archivos simple para nuevas aplicaciones nativas en la nube
• Precio previsible y sin la necesidad de invertir en up-fronts iniciales
• Aumento de la agilidad• Gaste menos tiempo administrando un storage y
gane mas tiempo para enforcarse en su negocio
… para administratores
de TI?
• Elimina la necesidad de mantener y administrar un Almacenamiento de gran escala
Amazon Storage Gateway
Storage GatewaySu rampa de aceso a los servicios de Almacenamiento en la nube de AWS:
• Backups en S3• DR en EC2• Archivado en Amazon Glacier• iSCSI o VTL
Resumen: Servicios de Storage en AWS
S3• Storage de Objetos: datos presentados como buckets de objetos
• Datos accedidos por APIs a través de Internet
EFS• Storage de archivos (análogo a un NAS): datos presentados como un sistema de
archivos (file system)
• Acceso de baja latencia y compartido entre múltiples instancias EC2
Glacier• Storage para Archiving: datos presentados como vaults/archives de objetos
• Storage de menor costo, para datos que no son accedidos frecuentemente
Storage Gateway
• Back up y archiving de datos en Amazon S3 y Amazon Glacier
EBS• Storage de Bloques (análogo a una SAN): datos presentados como discos o
volúmenes
• Acceso de menor latencia a partir de las Instancias EC2
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved
¡Muchas Gracias!