Big Data - s3.amazonaws.com · Impacto tanto en la industria, como en el negocio e incluso en...
35
Transcript of Big Data - s3.amazonaws.com · Impacto tanto en la industria, como en el negocio e incluso en...
Agenda
+ De qué hablamos cuando decimos "Big data", conceptos para ir
entendiendo
+ Quién puede trabajar con Big Data, perfiles
+ Qué herramientas y tecnologías existen para hacer Big Data,
+ Dónde puedo aplicar Big Data, casos de uso
+ Cómo es un proyecto de Big Data, método de abordaje
+ Qué necesito saber para hacer Big Data, preparación
+ Por dónde empiezo en el mundo Big Data, consejos y
recomendaciones
Big Data: por dónde empezar ?
Escuela de Música
Big Data: por dónde empezar ?
T1T2
T3
Escuela de Música
Big Data: por dónde empezar ?
Big Data: por dónde empezar ?
Cuándo
Penetración de internet
Big Data: por dónde empezar ?
Número de usuarios de Internet como porcentaje de la población de un país.
https://www.internetworldstats.com/stats.htm
57%
Penetración de internet
Big Data: por dónde empezar ?
https://www.internetworldstats.com/stats15.htm#south
Penetración de internet
Big Data: por dónde empezar ?
https://www.weforum.org/agenda/2019/03/what-happens-in-an-internet-minute-in-2019/
40.000 Millones✓ Celulares✓ Sensores✓ Autos✓ Industria✓ Drones✓ Casas inteligentes✓ Etc.
Conceptos
Big Data: por dónde empezar ?
Es la derivación tecnológica del trabajo con datos,evolucionando desde las bases de datos tradicionales (RDBMS),con el agregado de nuevas fuentes de datos no estructurados.
Considera un gran volumen de datos proveniente de
variadas fuentes que tiene una velocidad muy grande de
cambio, requiriendo enormes capacidades de almacenamiento yprocesamiento, por lo que los sistema de cómputo tradicionalesNO pueden procesarlo en los tiempos requeridos actualmente.
Características
Big Data: por dónde empezar ?
Volumen✓
Variedad✓
Velocidad✓
Veracidad✓
Valor✓
Terminología
Big Data: por dónde empezar ?
Datos NO estructurados✓
Base de Datos✓
On Premise✓
Cloud Computing✓
Data Warehouse✓
Data Lake✓
Machine Learning✓
Dataset✓
Cómo
Big Data: por dónde empezar ?
Cómo analizamos los datos distribuidos en muchos
lugares?
Cómo
Big Data: por dónde empezar ?
Cómo hacemos para transformar los datos en beneficios?
Por qué
Big Data: por dónde empezar ?
Por qué es tan importante el Big Data?
Impacto tanto en la industria, como en el negocio e incluso en nuestra
sociedad y además ofrece una ventaja competitiva considerable.
En los datos no estructurados existe el mayor valor. Hoy en día, para
muchas empresas puede llegar a ser más importante detectar al cliente que
más influye al resto de posibles compradores, que al que mayor volumen
de compra realiza.
La cantidad de datos que se generan es abismal y de una casuísticaextremadamente compleja para su análisis. Las empresas cada vez exigen que
el análisis sea lo más cercano posible al tiempo real. Y en Big Data está la
clave, al traducirse el mismo en las variables de velocidad, variedad yvolumen que requiere el mercado actualmente.
Qué ?
Big Data: por dónde empezar ?
Qué factores son clave para el éxito en un proyecto de
Big Data?
Gobierno
Big Data: por dónde empezar ?
Estricta definición de políticas y normas en torno a la utilización de los datos
Establece un marco de referencia, necesario para la maximización del valor de la información
disponible de forma transversal en toda la organización a través de la definición de políticas,
procedimientos y roles que faciliten la gestión efectiva del ciclo de vida del dato
Permite garantizar la integridad y la gestión eficiente del dato
Gobierno
Seguridad Calidad Metadatos Ciclo de Vida
Arquitectura
Big Data: por dónde empezar ?
Arquitectura
Big Data: por dónde empezar ?
InfraestructuraTecnologías
Solución Datos
IntegracionesModelado
EscalabilidadTolerancia a fallos
Big Data: por dónde empezar ?
Arquitectura
•Real Time | BatchTipo de análisis
•Predictivo | Analítico | Consulta y reportesMetodología de Procesamiento
•On demand | Continuo | Real time | Serie de tiempoFrecuencia de datos
•Metadata | Master data | Históricos | TransaccionalesTipo de datos
•Estructurado | Semiestructurado | No estructuradoFormato del contenido
•Web y Social media | Generada por máquina | Generado por humanos | Internos | Transaccionales | BiométricosFuentes de datos
•Humanos | Procesos de negocio | Aplicaciones | Otro repositorio de datosConsumidores de datos
•On Premise | Nube (Cloud)Hardware
Quién
Big Data: por dónde empezar ?
Quiénes trabajan en el mundo Big Data?
Ingeniero de Datos
Implementa y mantiene los entornosImplementa lo que diseñan los arquitectosRecomienda tecnologías
Qué hace✓
Administradores de infraestructuraAdministradores de Bases de Datos
Quién se puede convertir✓
Quién
Big Data: por dónde empezar ?
Quiénes trabajan en el mundo Big Data?
Arquitecto de Datos
Diseña los modelos de extracciónDiseña los algoritmos de conversiónDiseña los modelos de datosEstablece la frecuencia de actualización
Qué hace✓
Arquitectos de softwareAdministradores de Bases de DatosDesarrolladores
Quién se puede convertir✓
Quién
Big Data: por dónde empezar ?
Quiénes trabajan en el mundo Big Data?
Científico de Datos
Implementa los algoritmos de transformacionesImplementa los algoritmos de predicciónGenera los modelos analíticosGenera visualizaciones rápidas
Qué hace✓
DesarrolladoresActuariosAnalistas técnicos
Quién se puede convertir✓
Quién
Big Data: por dónde empezar ?
Quiénes trabajan en el mundo Big Data?
Analista de Datos
Analiza los datos resultantes de las conversiones yprediccionesGenera los reportes y tablerosExperto en visualizacionesPresenta los datos al negocio
Qué hace✓
DesarrolladoresActuariosAnalistas de negocioAnalistas funcionales
Quién se puede convertir✓
Quién
Big Data: por dónde empezar ?
Quiénes trabajan en el mundo Big Data?
Chief Data Officer
Responsable de la estrategia, gobierno, control, y desarrollo de las políticas y la explotación de datos
Qué hace✓
Gerente de SistemasGerente de alguna línea de negocios
Quién se puede convertir✓
Big Data: por dónde empezar ?
https://www.learnbigdatatools.com/big-data-cross-infrastructure-and-api-landscape-2019/
Big Data: por dónde empezar ?
Big Data: por dónde empezar ?
Big Data: por dónde empezar ?
Big Data: por dónde empezar ?
Dónde
Big Data: por dónde empezar ?
Analiza longitud y tipo de clientes en las filas para determinar quéproductos mostrar en pantallas.Fila larga: productos que se preparan y sirven rápidoFila corta: productos más elaborados
Calcula la probabilidad de interés de un determinado título:- Historial de visualizaciones y calificaciones- Actividad de otros miembros con gustos y preferencias similares- Información sobre los títulos (género, categoría, actores, etc)- Horarios, dispositivos y tiempo de visualización
El transporte de carga en Argentina consume 6,200 millones delitros de combustible por año (13MM de toneladas de CO2).Objetivos: reducir 5% el consumo (275MM litros pro año)- Dispositivos de telemetría en los vehículos- App de comportamiento de manejo en celulares de choferes- Datos de consumo provistos por el fabricante
Recomendaciones
Big Data: por dónde empezar ?
Estrategia Capacitación
El proyecto de Big Data debe responder a una necesidad del negocio y no a una decisión tecnológica
Primero se debe construir la Arquitectura de Datos y luego hacer la inversión en Infraestructura
Depende del perfil:
✓ Arquitecturas✓ Bases de Datos NO SQL✓ APIs✓ Herramientas de Integración✓ Desarrollo en R y/o Python para analytics✓ Herramientas de explotación/visualización
Orientar la organización hacia la gestión de datos (data centric o data driven)
Quick wins
Proyecto Big Data
Big Data: por dónde empezar ?
Definir la estrategia y tener claros los objetivos
Alcance definido y acotado
Dar pequeños pasos y aprender haciendo
Identificar la necesidad real
Retorno de la Inversión
Proyecto Big Data
Big Data: por dónde empezar ?
Adquisición Almacenam. Procesam. Orquest. Análisis Visualización
Proyecto Big Data
Big Data: por dónde empezar ?
Adquisición Almacenam. Procesam. Orquest. Análisis Visualización
