Software libre para laintegración de información en

la Universidad de CádizQuincena de la Ingeniería, 2014

/ Antonio García Domínguez @antoniogado

Presentación

¿Quién soy?2003/09 - 2008/07: Estudiante de Ingeniería Informática2008/10 - 2010/11: Profesor sustituto2010/11 - 2014/01: Becario predoctoral2014/01 - sigue: Técnico investigador en la DGSI

Proyectos y contribucionesPFC: (II CUSL)Investigación: servicios web e ingeniería dirigida por modelos

: pruebas unitarias para WS-BPEL: ingeniería dirigida por modelos

: mutación evolutiva para WS-BPEL: mi tesis

: generación dinámica de invariantes para WS-BPEL... y unos cuantos más :-)

XMLEye

BPELUnitEclipse EpsilonGAmeraSODM+TTakuan

¿Qué hacemos en la DGSI?DGSI = Dirección General de Sistemas de Información

Intermediarios entre demandas de información y fuentes de datos:Desde fuera: Ministerio (SIIU) y Junta de AndalucíaDesde dentro: Equipo de Gobierno, Ordenación Académica,Investigación, Innovación Docente...

Ayudamos a organizar los sistemas de información de la UCA:PHP: con framework (p. ej. Symfony)... o sin élDjangoRestos de Zope/PloneY un largo etcétera

Datos ➯Información

Pasos

Localizar las fuentes¿Qué es lo que tenemos?¿Quién es el responsable?¿Cuándo se actualiza?¿Cómo se mantiene?¿De qué forma se almacena?

En este paso pueden encontrarse problemas de calidad:puede haber que revisar el origen.

Carga en el almacén de datosEs el repositorio central con toda la información.Debe estar bien organizado en áreas de interés.Los problemas de calidad de datos deben estar resueltos.Identificadores únicos y formatos de campos uniformes (p. ej. sexo oID personal).

Carga en el almacén de datosEn resumen...

Explotación de los datos¿Y ahora qué?

Depende del tipo de toma de decisiones,y del tiempo del destinatario.

Operacionales: listados de operaciones cotidianas.Tácticas: cubos multidimensionales, top 10, estadísticas...Estratégicas: cubos y cuadros de mando (+ interactividad).

Herramientaspara carga

KettlePara definición de procesos ETL:

Extract: leemos datos (SQL, JSON, XML, Access, Excel...)Transform: reordenamos, limpiamos, reemplazamos...Load: volcado a una tabla de una BD, un CSV, etc.

Dispone de Spoon (editor gráfico), Kitchen y Pan (ejecutan desde CLI)y Carte (servidor)Basado en Java y muchas bibliotecas existentes (p. ej. Apache POI)Adquirido por Pentaho: ahora es Pentaho Data IntegrationCódigo disponible en Se puede descargar de

GithubPentaho Community

Kettle: ejemplo detransformación

Aristas = flujos de filas

Kettle: ejemplo de trabajoAristas = flujos de control

OpenRefineOriginalmente Google Refine, ahora es un Es muy útil para hacer una primera inspección de un .xlsx ydetectar problemas de calidad

proyecto abierto

LibreOfficeFuera esos .xls y .xlsx ☺

La biblioteca Apache POI en Kettle no maneja bien macros ExcelPor suerte, implementa conversiones masivas:

150+ ficheros .xls, .ods y .xlsx Excel: listos en un par de minutos

LibreOfficelibreoffice --headless --convert-to csv --outdir out *.xls *.xlsx

Herramientas UNIX y scriptingUNIX: ¡troceando texto plano desde los '70!Sólo con y ya se puede hacer muchísimoEn casos más complejos , o resuelven el problemaOjo: no todo se resuelve a base de expresiones regulares

grep sedPython Perl Ruby

(?:(?:\r\n)?[ \t])*(?:(?:(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[\t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*|(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*\<(?:(?:\r\n)?[ \t])*(?:@(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*)*:(?:(?:\r\n)?[ \t])*)?(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([̂\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*)|(?:[̂()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[̂\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*:(?:(?:\r\n)?[ \t])*(?:(?:(?:[̂()<>@,;:\\".\[\]

¿Alguien adivina qué hace esta bonita regexp?

Vistas de BD y PL/SQLMás cerca del origen = mayor eficienciaSQL es muy conciso para ciertas cosas (para otras, no tanto)Con muchos datos (200k+ filas), es mejor hacer lo posible en BDHay que tirar de EXPLAIN y revisar las estructuras de datos e índicesque pueda haber

Herramientaspara explotación

Pentaho BI ServerServidor de Inteligencia Empresarial y Analíticas de Negocio: puntode entrada a toda la información extraída del almacénIntegración de muchos proyectos (GPL, EPL, MPL y demás)Código disponible en , binarios en Modelo de negocio "freemium" con dos ediciones:

Community: de código abierto y sin soporte oficialEnterprise: con extensiones cerradas y soporte oficial(~30.000€/año)

Gracias a la comunidad FLOSS, la edición Community tienefuncionalidad equivalente: (ahora parte de PentahoCorp.) contribuyó muchas mejoras, conocidas como las "CTools"

Github Pentaho Community

WebDetails

Pentaho BI Server

Demo

Pentaho Report DesignerAplicación de escritorio (Win/MacOS/Linux) para diseño de informesavanzados, basada en (otro proyecto abierto dePentaho)Los informes pueden consumir consultas SQL, MDX,transformaciones Kettle, etc.Permite exportar los informes a PDF, HTML, Excel y CSV, entre otrosLos informes pueden incorporar enlaces, gráficas, subinformes, etc.Una vez están listos, se publican al servidor y se visualizan desde ahí

JFreeReport

Pentaho Report Designer

Cubos OLAP: Mondrian y SaikuImaginemos que queremos estudiar las notas de los alumnos¿Cómo las guardamos para cualquier estudio que se nos ocurra?Podemos tener en una tabla una fila por nota, con:

Alumno (sexo, edad, años en la carrera, número de matrícula)Profesor (sexo, edad, categoría, área, departamento, centro, NIF)Estudios (titulación, plan, materia, curso, convocatoria)Nota obtenida (numérica y no numérica)

Cubos OLAP: Mondrian y Saiku

En el centro hay una tabla de hechosCada hecho está en unas dimensionesUn almacén tiene muchos de estos "esquemas en estrella"

Cubos OLAP: Mondrian y SaikuPodríamos intentar consultar estas estrellas con SQL, pero no seríaprácticoHay un estándar de facto para esto: MDX, originario de Microsoft

es un motor de código abierto que implementa undialecto de MDX

es un cliente cómodo para MDX que se integra en Pentaho

Mondrian

Saiku

Cubos OLAP: Mondrian y SaikuYou are using Saiku Community Edition, please consider

Cuadros de mando: CDF + CDEHay usuarios muy ocupados que no tienen tiempo de mirarinformes ni trastear con SaikuHay que darles la información ya lista, que deje explorar y que quepaen un pantallazo: un cuadro de mandoEl y el

permiten elaborar cuadros de mando sin mucha complicaciónCommunity Dashboard Framework Community Dashboard

Editor

Cuadros de mando: CDF + CDE

Type

Resource

Layout Structure

About Doc ume ntation

Ne w S ave S ave as ...

REST para datos: CDA aporta los servicios Web REST que necesita

CDF para los cuadros de mandoPor lo demás, un cuadro de mando es un fichero JSON que setransforma a HTML + JavaScriptLos servicios REST se pueden usar de forma independiente a CDA(para cualquier otra web)

Community Data Access

REST para datos: CDA

Filename: /public/plugin-samples/pentaho-cdf-dd/cde_sample1.cda

Validación automática: CDV permite comprobar automáticamente

fuentes CDAÚtil para detectar momentos en que las consultas fallan o tardandemasiado, o para detectar filas incorrectasSólo hay que indicar la ruta al fichero de CDA, el nombre de laconsulta, los parámetros y un trozo de JavaScript con la verificaciónSe pueden especificar expresiones cron para automatizar lascomprobaciones

Community Data Validator

Validación automática: CDV

Validations Alerts CDA Errors

Search:

En el puntode mira

Sparkl es otro proyecto más de la gente de las CTools

Permite crear extensiones para Pentaho usando transformacionesKettle y cuadros de mando CDEYa hay unos cuantos desarrollos nuevos subidos al PentahoMarketplace:

, un componente para CDE que implementa tablas OLAP alestilo de Saiku

, para sincronizar el repositorio JCR dePentaho con un directorio local

, para gestionar registros locales

Sparkl

BTable

Repository Synchronizer

Log Manager

CKAN es un proyecto de código abierto para portales de datos

abiertos (como debe ser)Está siendo adoptado por varias universidades del entorno (porejemplo, la Universidad de Granada)En la DGSI se está estudiando la posibilidad de abrir algunosconjuntos de datos al público, y podría ser una opción paraorganizarlos

CKAN

D3.jsLib. JavaScript para convertir datos en visualizaciones interactivasSólo utiliza estándares abiertos: HTML, CSS, SVG y JavaScript

mbostock’s block #5944371

Bilevel PartitionEjemplos: , , radiales colisiones NY Times

Fin de lapresentación

¡Gracias a todos!