Big Data para operadoresde red y DNSGORE 18 – Madrid, Octubre 2016Sebastian Castro – NZRS
GORE 18Big Data para Operadores 2
• … like teenage sex ...• Algo que no cabe en Excel• Las tres V
VolumenVelocidadVariedad
¿Qué es Big Data?
GORE 18Big Data para Operadores 3
Big Data hoy
GORE 18Big Data para Operadores 4
• ¿Tienes restricciones de tamaño en losdatos que manejas?
• ¿Descartas data porque es demasiadogrande?
• ¿Esperas que el volumen de datos que mantienes crezca en el futuro?
• ¿Esperas contestas preguntas de tunegocio usando datos?
• ¿Has considerado productos de valor agregado usando datos?
¿Necesitas Big Data?
GORE 18Big Data para Operadores 5
• CenturyLink compró una compañía de análisis
• PosicionamientoOperación inteligenteProvisionamientoIntegración con otros servicios
• HerramientasArchivos de log
• SeguridadIdentificación de amenazas e infecciones
Big Data para operadores
GORE 18Big Data para Operadores 6
• OpenBMP + Kafka para análisis en tiemporeal del estado de BGPhttps://www.nanog.org/sites/default/files/tuesday_general_evens_openbmp.pdf
• Network Machine Learning Research Group (nmlrg) en la IETFExplorar la habilidad para predecir o tomardecisiones en base a información en tiempo real de la red
Ejemplos
GORE 18Big Data para Operadores 7
• Tráfico DNSServidores con autoridadServidores recursivos
• Actividad del registroOperaciones: crear, renovar, cancelarConsultas WHOIS
• Operaciones en generalLogs web, de correo, de firewall y otros dispositivos
• OtrosVerificaciones de delegaciónContenido WebRegistro de malware
Big Data para DNS
GORE 18Big Data para Operadores 8
• Un repositorio de grande escalaY capacidad de procesamiento asociada
• Operadores de DNS han hecho Big Data y Data Lakes hace añosConocen Day in the Life of the Internet (DITL)https://www.dns-oarc.net/oarc/data/ditl
• Almacenar primero, preguntar despuésEn el futuro puedes contestar una pregunta con datos de hoyEl valor oculto en los datos
Y potencial combinación
Data Lake
GORE 18Big Data para Operadores 9
• Software baseCloudera, MapR, HortonWorks
• AlmacenamientoHDFS, S3
• Procesamiento por lotesPig, Hive, MapReduce
• Procesamiento en tiempo realSpark, Kafka, Apache Falcon
• Ejecutando consultasApache Drill, Impala, Hue, Google’s Big Query
• Herramientas de inteligencia de negociosCaravel, Tableau
Armando el puzzle
GORE 18Big Data para Operadores 10
• Inteligencia de negociosComportamiendo de los registradores/revendedoresPronósticos de crecimientoEfectividad de campañas
• Expandir el registroRegistrantes, dominios, contenido
• Detección de abusoUsando Whois y DNS
• Detección de anomalíasInfecciones por malware
• Administración de la infraestructuraCrecimiendo del tráfico, cambios en patrones, indicadoresde adopción de tecnología
Casos de uso para ccTLDs
GORE 18Big Data para Operadores 11
• SIDN y el proyecto “ENTRADA”Software librehttp://entrada.sidnlabs.nl/
• Verisign• Nominum para sus clientes• Nominet y el proyecto “Turing”
Servicio pagadoSoftware no disponible
• OpenDNS3 plataformas diferentes para DNS, seguridad y análisis de los clientes
Big Data en los TLDs
GORE 18Big Data para Operadores 12
• Big data security in .nlhttp://iepg.org/2015-11-01-ietf94/iepg-moura.pdf
• The Impact of a TTL Change at the TLD-levelhttps://indico.dns-oarc.net/event/22/session/1/contribution/26/material/slides/0.pdf
• OpenDNS Tech Bloghttps://blog.opendns.com/2016/07/25/from-query-logs-to-visualization/
• AAAA Deep Dive: DNS Resolution Anomalies and Performancehttps://indico.dns-oarc.net/event/22/session/1/contribution/9/material/slides/0.pptx
Ejemplos
GORE 18Big Data para Operadores 13
• Hadoop basado en Cloudera22 servidores, medio PetaByte de almacenamiento
• Capturas DNS22TB de capturas DNS para .nzMás de 3 añosAnálisis de tendencias, usos, nuevos tipos de tráfico, fallas de configuración
• Escaneo de zonaAdopción de IPv6, proveedores de servicios en la nube, Anycast, otras tendencias
• Escaneo webClasificación por industria, clasificación de contenido, uso de CMS, etc
Big Data en NZRS
GORE 18Big Data para Operadores 14
• “Two years of .nz zone scans”http://blog.nzrs.net.nz/two-years-of-nz-zone-scans/
• “DNSSEC Validation at Spark NZ”http://blog.nzrs.net.nz/dnssec-validation-at-spark-nz/
• “The hunger for AAAA”Presentado en DNS-OARC 25
• ”Characterization of popular resolvers”http://blog.nzrs.net.nz/characterization-of-popular-resolvers-from-our-point-of-view-2/
Ejemplos
GORE 18Big Data para Operadores 15
• Recolectar más fuentes• Combinar, predecir, agregar valor• Compartir datos a través de API
Creación de oportunidades de negocios basadosen datos
• Publicar estadísticas operacionalesContadores generales de DNS, WHOIS,
Nuestros planes futuros
GORE 18Big Data para Operadores 16
Contact:www.nzrs.net.nz
Sebastian [email protected] [email protected]
Top Related