Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per...
Transcript of Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per...
![Page 1: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/1.jpg)
Plataforma per la unificació de dades i serveis urbans
Disseny i construcció d’una plataforma per la gestió integral de dades
Autor: Jordi Prados Aulet
Tutor: Carles Pous Sabadí
Màster de Ciutats Intel·ligents - UdG
Curs 2013-2014
Setembre 2014
![Page 2: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/2.jpg)
Introducció
• Entenem per plataforma de dades urbanes un programari capaç de:
– Gestionar les dades generades per els diferents
(ciutadans, institucions, sensors, etc.)
– Processar i analitzar aquestes dades
– Visualitzar-les per poder treballar amb elles
– Proporcionar diferents nivells de permisos i rols
– Fer les dades permenents i segures
Plataforma per la unificació de dades i serveis urbans UdG
![Page 3: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/3.jpg)
Objectius
• Apartat d’investigació (teòric): Investigar sobre les plataformes urbanes de dades:
– L’ estat de l’art
– Característiques
– Requisits i bones pràctiques
– Fonts i Extracció de dades
– Components necessaris per desenvolupar la plataforma
Plataforma per la unificació de dades i serveis urbans UdG
![Page 4: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/4.jpg)
Objectius
• Apartat de desenvolupament (pràctic): Amb la informació, coneixements i conclusions extretes de l’apartat teòric:
– Desenvolupar la plataforma (beta)
– Crear un cas d’ús de Girona
– En el futur iniciar un projecte empresarial basat en la plataforma
Plataforma per la unificació de dades i serveis urbans UdG
![Page 5: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/5.jpg)
Estat de l’Art
Actualment existeixen:
– `Dashboards` Urbans
– Plataformes de dades obertes (CKAN, Drupal…)
– Plataformes de xarxes socials
– Portal de dades del Internet dels Objectes
Però no existeixen solucions de codi obert que unifiqui en una sola plataforma totes les solucions mencionades.
Plataforma per la unificació de dades i serveis urbans UdG
![Page 6: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/6.jpg)
Estat de l’Art
Plataforma per la unificació de dades i serveis urbans UdG
Exemples visuals del dashboard de Londres i de la monitorització en 3D de dades energètiques:
![Page 7: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/7.jpg)
Plataformes Urbanes
Es preten construir una plataforma global, jeràrquica, distribuida i escalable de forma fàcil i còmode.
El model que es pretén generar es pot apreciar en el següent diagrama:
Plataforma per la unificació de dades i serveis urbans UdG
![Page 8: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/8.jpg)
Requisits
• Adquisició de dades i integració
• Mineria de les bases de dades de la ciutat i fonts de coneixement semàntic
• Dades en temps real de xarxes socials i de sensors
• Gestió de grans volums de dades: 'big data‘
• Recerca localitzada
• Recerca de dades estructurades de la ciutat
• Recerca en temps real a través de múltiples fluxos de dades
• Filtrat en temps real de múltiples xarxes socials i de sensors
• Anàlisis i visualització de les dades
Plataforma per la unificació de dades i serveis urbans UdG
![Page 9: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/9.jpg)
Característiques • Interoperabilitat
• Virtualització
• Operar en temps real
• Federació
• Agregació
• Adaptació Intel·ligent
• Suport a les decisions centrades en usuari
• Processament d'informació fiable
• Rendiment i escalabilitat
• Incertesa de dades
• Aplicacions en Ciutats Intel·ligents
• Seguretat de les Dades
• Privacitat de les Dades
• Sincronització de Rellotges
• Desacoblament de components
• Suport al 'Big Data'
Plataforma per la unificació de dades i serveis urbans UdG
![Page 10: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/10.jpg)
Sensorització i Adquisició de Dades
• Fonts de Dades
– Dades Mòbils
– Dades Empresarials (dades privades)
– Dades Governamentals (Dades Obertes)
– Internet dels Objectes
– Dades Multimèdia
– Xarxes Socials
– Dades de Simulacions
Plataforma per la unificació de dades i serveis urbans UdG
![Page 11: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/11.jpg)
Flux de Dades
• Adquisició: identificació i obtenció de dades del món real (sensors, mòbils, etc.) i virtual (datasets, dades socials, etc.)
• Ingesta: Procés d'importació de dades externes en un sistema.
• Processat: Recollida i manipulació de dades per produir
informació significativa. Inclou: – Conversió – Validació – Classificació – Combinació – Agregació – Semàntica – Presentació d'informes
Plataforma per la unificació de dades i serveis urbans UdG
![Page 12: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/12.jpg)
Flux de Dades
• Integració: La combinació de les dades que provenen i resideixen en diferents sistemes
• Emmagatzematge: Repositori central de dades.
• Anàlisis: Inspeccionar, netejar, transformar i modelar dades amb l'objectiu de descobrir informació útil.
• Exposició: Procés que permet tant la visualització de
les dades en diferents formats com les accions necessàries per poder compartir, exportar i publicar aquestes dades. Plataforma per la unificació de dades i serveis urbans UdG
![Page 13: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/13.jpg)
Plataforma de Dades Urbanes
Plataforma per la unificació de dades i serveis urbans UdG
![Page 14: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/14.jpg)
Components Finals
• Adquisició: Mòdul suport descobriment torrents Mòdul API serveis mòbils Mòdul notificador noves fonts IoT Mòdul Pub/Sub Mòdul d'adquisició de fitxers Mòdul d'agregació d'APIs Mòdul d’agregació de repositoris de dades (noves ontologies) Mòdul d'agregació de bases de dades Mòdul d'OCR Mòdul d'adquisició a xarxes socials Mòdul de crawleix a Web
• Ingesta: Mòdul transformació
• Processat: Mòdul conversió IoT a JSON Mòdul de conversió de fitxers Mòdul validació dades IoT Mòdul validació automàtica API Mòdul validació automàtica BBDD Mòdul validació manual per l'usuari Mòdul Classificador IoT Mòdul Classificador de dades obertes
Mòdul de Combinació de dades IoT Mòdul descobridor de relacions de dades obertes Mòdul Agregació de dades IoT Mòdul de SSN Mòdul d'agregació de dades semàntiques Mòdul generador d'informes en PDF Mòdul d'impressió Mòdul d'estadístiques internes
• Integració: Mòdul de servei en Cloud Computing Mòdul de `Big Data` Mòdul de nodes distribuïts
• Emmagatzematge: Base de dades relacional Base de dades no-sql Base de dades en temps real Bases de dades geogràfiques
• Anàlisis: Mòdul de inteligència artificial Mòdul de data mining
Mòdul d'estadístiques Mòdul d'anàlisis de dades geogràfiques Mòdul anàlisis de grafs (xarxes socials) Mòdul d'anàlisis de sentiments Mòdul de cerca Mòdul de suport a les decisions Mòdul de prediccions Mòdul de KPIs
• Exposició: Gestor de continguts (CMS) Gestor de dades (CRUD) Portal web Mòdul de processament de gràfiques i Mòdul exportador a fitxers Mòdul de compartició a xarxes socials Mòdul d’accés API Mòdul de gestió de mapes Mòdul de gestió de temes Mòdul de gestió d'idiomes Mòdul de seguretat (control accés, gestió identitat, certificat digital...) Mòdul de registre / baixa
Plataforma per la unificació de dades i serveis urbans UdG
Mòduls han de compondre l’arquitectura de la plataforma (55):
![Page 15: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/15.jpg)
Cas d´Ús: Girona
Plataforma per la unificació de dades i serveis urbans UdG
![Page 16: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/16.jpg)
Cas d´Ús: Girona
Plataforma per la unificació de dades i serveis urbans UdG
![Page 17: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/17.jpg)
Cas d’Ús de Girona
Plataforma per la unificació de dades i serveis urbans UdG
![Page 18: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/18.jpg)
Cas d’Ús de Girona
Plataforma per la unificació de dades i serveis urbans UdG
![Page 19: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/19.jpg)
Plataforma per la unificació de dades i serveis urbans UdG
![Page 20: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/20.jpg)
Plataforma per la unificació de dades i serveis urbans UdG
![Page 21: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/21.jpg)
Plataforma per la unificació de dades i serveis urbans UdG
![Page 22: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/22.jpg)
Escriptori de dades d’usuari
Plataforma per la unificació de dades i serveis urbans UdG
![Page 23: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/23.jpg)
Escriptori de dades d’usuari
Plataforma per la unificació de dades i serveis urbans UdG
![Page 24: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/24.jpg)
Visualització 3D
Plataforma per la unificació de dades i serveis urbans UdG
![Page 25: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/25.jpg)
Integració de Xarxes Socials
![Page 26: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/26.jpg)
Conclusions
Apartat d’investigació (teòric): – Treball de recerca intensiu per investigar sobre l’estat actual de
les plataformes urbanes. – Característiques i Requisits: s’han especificat quins son els
requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació.
– Definir tant les fonts d’informació disponibles com el procés genèric d’integració de dades: adquisició, ingesta, processament, emmagatzematge, anàlisis i presentació.
Amb aquestes transformacions i accions sobre les dades es van per establir els mòduls necessaris per poder construir una plataforma de dades per una ciutat, escalable i replicable per a la major part de les dades disponibles.
Plataforma per la unificació de dades i serveis urbans UdG
![Page 27: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/27.jpg)
Conclusions
Apartat de desenvolupament de la plataforma (pràctic):
• S’ha desenvolupat una 1ª versió de la plataforma de dades integrant els mòduls especificats a la part teórica.
• Construir un cas d’ús pràctic dedicat a la ciutat de Girona, per visualitzar el potencial i funcionalitats de la plataforma i començar a crear una experiència visual del potencial de la plataforma.
En resum, els objectius plantejats a l’inici del projecte s’han acomplert amb el desenvolupament d’una plataforma de dades i serveis, així com amb l’obtenció d’un gran coneixement en el desenvolupament d’un software per la gestió de dades heterogències provinent d’un gran nombre de canals i formats diferents. L’experiència obtinguda ha estat d’enorme ajuda per desenvolupar una futura experiencia empresarial basada en la venta de serveis i programari obert a institucions i tercers.
Plataforma per la unificació de dades i serveis urbans UdG
![Page 28: Plataforma per la unificació de dades · 2015-02-17 · requisits d’una plataforma de dades per garantir una bona qualitat del servei i de la informació. – Definir tant les](https://reader034.fdocumento.com/reader034/viewer/2022042922/5f6d481577e9a65862012a98/html5/thumbnails/28.jpg)
Plataforma per la unificació de dades i serveis urbans
Disseny i construcció d’una plataforma per la gestió integral de dades
Autor: Jordi Prados Aulet
Tutor: Carles Pous Sabadí
Màster de Ciutats Intel·ligents - UdG
Curs 2013-2014
Setembre 2014