Curso de Verano "Datos y Gobierno Abierto" David Cabo
-
Upload
aragon-open-data -
Category
Technology
-
view
73 -
download
0
description
Transcript of Curso de Verano "Datos y Gobierno Abierto" David Cabo
![Page 1: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/1.jpg)
...Preparación de datos para su análisis
David Cabo @dcabo
CC BY-NC-SA
![Page 2: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/2.jpg)
![Page 3: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/3.jpg)
![Page 4: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/4.jpg)
Open data / datos abiertos
- disponible online, gratuita - procesable por ordenadores- licencia abierta, reutilizable
![Page 5: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/5.jpg)
http://datos.fundacionctic.org/sandbox/catalog/faceted/
![Page 6: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/6.jpg)
![Page 7: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/7.jpg)
Generadoelectrónicamente
(buscable)
Imagenescaneada
Tablas Formato complejo
![Page 8: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/8.jpg)
Generadoelectrónicamente
(buscable)
Imagenescaneada
Formato complejoTablas
![Page 9: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/9.jpg)
Tablas
1. Copiar y pegar a Excel no funciona bien
2. Programas de pago: deskUNPDF, Nitro, Acrobat Pro...
3. Servicios web gratuitos:
• cometdocs.com
• pdftoexcelonline.com
• zamzar.com
![Page 10: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/10.jpg)
![Page 11: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/11.jpg)
Tablas
Generadoelectrónicamente
(buscable)
Imagenescaneada
Formato complejo
![Page 12: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/12.jpg)
Formatos complejos
• Columnas, datos partidos en varias lineas, datos intercalados entre el texto...
• Las herramientas automáticas no suelen ser capaces de extraer la información
• Es necesario:
• extraer el texto del PDF (xpdf / poppler)
• y crear un programa específico (Ruby, Python, Perl... + expresiones regulares)
![Page 13: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/13.jpg)
![Page 14: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/14.jpg)
![Page 15: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/15.jpg)
![Page 16: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/16.jpg)
![Page 17: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/17.jpg)
Tablas
Generadoelectrónicamente
(buscable)
Formato complejo
Imagenescaneada
![Page 18: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/18.jpg)
Imágenes
• El texto original no está disponible: no podemos buscar en él, ni copiarlo
• Software para reconocer carácteres (OCR)
• La fiabilidad depende de la calidad de la entrada (limpieza, resolución, tipo de letra)
• Bastante trabajo:
• Hay que revisar el resultado
• Difícil de automatizar para muchos ficheros
![Page 19: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/19.jpg)
OCROpen Source
• Tesseract + OCROpus
• Usado por Google
• No es fácil de instalar y utilizar
Comerciales
• AbbyyReader
• Adobe Acrobat Pro
• Solid
• Google Docs (gratis)
![Page 20: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/20.jpg)
![Page 21: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/21.jpg)
![Page 22: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/22.jpg)
![Page 23: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/23.jpg)
![Page 24: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/24.jpg)
![Page 25: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/25.jpg)
![Page 26: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/26.jpg)
https://addons.mozilla.org/en-US/firefox/addon/dafizilla-table2clipboard/
![Page 27: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/27.jpg)
![Page 28: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/28.jpg)
https://support.google.com/docs/bin/answer.py?hl=en&answer=155182
![Page 29: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/29.jpg)
https://scraperwiki.com/
![Page 30: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/30.jpg)
http://open.dapper.net/
![Page 31: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/31.jpg)
https://ws037.juntadeandalucia.es/riibp/inicio.do
![Page 32: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/32.jpg)
![Page 33: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/33.jpg)
![Page 34: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/34.jpg)
http://trabajanparati.es
![Page 35: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/35.jpg)
![Page 36: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/36.jpg)
http://www.propublica.org/nerds/item/doc-dollars-guides-collecting-the-data
Ruby, Google Refine, Firebug, Nokogiri, Tesseract
![Page 37: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.fdocumento.com/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/37.jpg)
¿Preguntas?
David Cabo (@dcabo)