Post on 23-Jan-2018
Candidatura Mejor Proyecto BigData realizado para
Integrado con fuentes de datos
Captura de datos/sensores
Tiempo real
Almacenamiento distribuido
y Almacenamiento
en cloud
Arquitectura lambda
procesada con herramientas de
Hortonworks
Analiza comportamientos machine learning
Visualización en tiempo real y en
Dashboards personalizados
Servicios Consultoría
Industria 4.0Telecos
SmarcitiesSanitario
¿Qué ofrecemos en ZYLK?
Implantamos en su compañía una solución completa de analítica avanzada basada en la suite de Hortonworks y en nuestro know-how
Le permitimos sacar valor a sus datos
Luego aplicamos una capa de analítica avanzada
Captura Integración Arquitectura Análisis Casos de Uso
Fuente de datos
Visualización
Utilizamos arquitectura lambda en tiempo real con las herramientas Big Data de Hortonworks
Extracción Proceso VisualizaciónAlmacenaje
¿Cómo lo hacemos?Data Analysis
Predicción
¿Cómo lo hacemos?
Hortonworks Dataflow y Ambari Resource Manager
Se necesita un periodo de consulta inicial seguido de la adquisición de datos API’s para ofrecer un valor de modelización del sistema y técnicas
de machine learning
Casos de Éxito : EUSKALTELLa Inteligencia del Dato al Servicio de las Telecomunicaciones
Big Data
Smart Data
¿Cómo puedo aportar valor a mis clientes?
¿Cómo convencer a negocio?
x2.5 year-on-year
Mejoramos la experiencia del usuario
yMejoramos procesos de
negocio
Caso 1: Widget consumo de datos en T.R.Experiencia de usuario
Caso 2: Prevención de Averías en RedProcesos de negocio
¿Cómo puedo aportar valor a terceros con mis
datos?
Caso 3: Replicate Projecthttp://replicate-project.eu/
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
Mejoramos la sostenibilidad de los recursos de la ciudad
Euskaltel: Replicate ProjectEl Dato en las Telecomunicaciones
ü Aproximadamente 150 millones de eventos/día ingeridos en Apache Kafkaü 100 cores, 300 GB de memoria, 4 TB HDFS storage
OBJETIVODisponer de un sistema de detección de eventos en tiempo real a fin de
mejorar la experiencia de usuario y la sostenibilidad de recursos de una ciudad gracias al mantenimiento predictivo
Representación como una serie temporal#peticiones#fallos#código error #...
Análisis: Detección de fallos a partir de umbrales obtenidos a partir de un periodo sin fallos
Replicate Project
Smart MobilitySimulación
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
Wifi Kalean +
Big Data
Datos agregados, anonimizadosy en tiempo real
PREDICCIÓN Y MEJORA EN LA TOMA DE DECISIONES
ü Tráficoü Obras en la ciudadü Parkingsü Rutas turísticas etc..
Replicate Project
Smart MobilitySimulación
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
SMART
MOBILITY
Mapa de calor con datos
reales
Ejemplo: Código 200
# peticiones (LTE & Wifi Kalean ): millones de conexiones por díaAnálisis código éxito (OK)
Los umbrales no siempre funcionan
Ejemplo: Código 200
Detección de OutliersEstadísticos en ventanas de tiempo y algoritmos de regresión
Arquitectura Multicapa
1
2
3
4
5
Nifi
Kafka, Hbase
Flink
EAG
Arquitectura Multicapa
API Ingesta
ü Procesos ETLü Back Pressure Control & Guaranted Delivery
1
Arquitectura Multicapa
Arquitectura Lambda2
Arquitectura Multicapa
Micro servicios3
Arquitectura Multicapa
API Datos
Procesos Distribuidosü Programación Funcionalü Analítica Avanzada
o Ventanaso Heurísticoso Algoritmos de ML
4
Arquitectura Multicapa
API Gateway
EAGDatos Agregados y anonimizados
5
Time & Windows
Event timeProcessing timeIngestion time
Visualización
Zeppelinü Intérpretesü Unificación de fuentesü Computación bajo demandaü Standalone Vs. cluster
Casos de Uso y Conclusiones
Canal Onlineü Experiencia de UsuarioMarketingü Dimensionamiento de serviciosReplicateü El dato como valor añadido
¿Qué valor aporta?ü Facilita el dimensionado de serviciosü Mejora de la experiencia de usuarioü Añade funcionalidad sin penalizar transacciones (Canal online, aplicación
móvil)ü Elimina Islas (un único sumidero de información)