01 Conceptos Data Warehouse

7/22/2019 01 Conceptos Data Warehouse

1/27

Mercosur

Building

Tomorrow

Together

Siemens Business ServicesInformation Technology

Business Information Warehouse


2/27

Building

Tomorrow

Together

Mercosur

Information Technology

Horarios

Inicio : 9:00 horas

Coffee-break : 10:3010:45 horas

Almuerzo : 11:4513:00 horas

Coffee-break : 15:0015:15 horasFin : 17:00 horas

Instructor

Srgio Vieira

Agenda


3/27

Building

Tomorrow

Together

Mercosur


Contenido

Objetivos de un Data Warehouse

Procesamiento de Transacciones On-Line versus

Procesamiento Analtico On-Line

Modelado Relacional x Dimensional

Modelo Dimensional

Jerarqua y Agregados

Construyendo un Data Warehouse Dimensional

Dimensionando un Data Warehouse Dimensional

Rutina diaria : Cargando y Consultando

DW en el proceso de implementacin de Business Intelligence


4/27

Building

Tomorrow

Together

Mercosur


Objetivos de un Data Warehousing

Data Warehouse es una copia de los datos de transacciones, estructurada

especficamente para consultas y anlisis con ptimo desempeo.

Data Warehouse Dimensional es un conjunto de bases de datos para

soporte de decisin definido como esquema estrella ( algunas personas

lo llaman Modelo Dimensional en base de datos relacional )

Temas que se repiten en todos los dilogos decorredores de una empresa :

Tenemos montaas de datos en esta empresa, pero

no conseguimos accederlos en forma eficiente.

Nada enoja mas a mi jefe que dos personas

presentando el mismo resultado de alguna forma correcto,

pero con nmeros diferentes.

Son preocupaciones que determinam las necesidades

fundamentales de un Data Warehouse.


5/27

Building

Tomorrow

Together

Mercosur


Procesamiento de Transacciones On-Line (OLTP) xProcesamiento Analtico On-Line (OLAP)

Sistema de Procesamento Operacional

Infomaciones reflejan el momento actual.

Los usuarios efectuan operaciones de lectura y escritura.

Puede estar distribudo en varias aplicaciones.

Aplicacin

Operacional

Aplicacin

Operacional


6/27

Building

Tomorrow

Together

Mercosur


Sistema Analtico

Informaciones reflejan un instante especfico en el tiempo.

Los usuarios efectuan operaciones de lectura.

Procura oferecer una visin nica de los datos de la empresa.

Procesamiento de Transacciones On-Line (OLTP) xProcesamiento Analtico On-Line (OLAP)

Aplicacin

de anlisis

Sistema de

Data warehousing


7/27

Building

Tomorrow

Together

Mercosur


Modelado de Datos Relacional x Dimensional

Tabla Producto

Clave_producto Descrip. Marca Categoria Precio Compra Precio Venta

Tabla Almacn

Clave_almacen direccion nombre

Tabla Venta

Clave_venta Clave_producto facturacantidad fechaChave_almacen

Representa los datos como una coleccin de

tablas distintas, normalizadas a fin de evitar

duplicidad de informacin y consecuentemente

mayor tiempo en el registro de la informacin

(tiempo de transaccin)

Modelo Relacional


8/27

Building

Tomorrow

Together

Mercosur


Modelado de Datos Relacional x Dimensional

Considere la siguiente afirmacin.

Vendemos productos en varios mercados, y medimosnuestro desempeo a lo largo del tiempo.

Agreguemos un nfasis:

Vendemos Productos en varios Mercados, y medimosnuestro desempeo a lo largo del Tiempo.

Vamos a representarlo mediante un cubo:

PRODUCTO

Cada punto del cubo representa una

combinacin de Producto, Mercado y

Tiempo almacenado.

El modelo Dimensional nos permite

visualizar datos.

Modelo Dimensional


9/27

Building

Tomorrow

Together

Mercosur


Modelo Dimensional

Cuando una base de datos puede ser visualizada como un cuboconteniendo tres, cuatro, cinco o mas dimensiones, las

personas consiguen acceder al cubo en cualquiera de sus

dimensiones.

Otro nombre para ese modelo de datos es Modelo Estrella.

Existe una tabla dominante en el centro del diagrama con mltiplesuniones conectandola a otras tablas.

Cada una de las tablas secundarias posee apenas una unin con la

tabla central.

A tabla central se denomina Tabla de Datosy las otras Tablasde Dimensin.


10/27

Building

Tomorrow

Together

1Mercosur


Modelo Dimensional

Tabla Dato Ventas

Dimensin Producto

Dimensin Almacn

Dimensin Tiempoclave_timpoclave_producto

clave_almacenventas_en_pesos

unidades_vendidas

costos_en_pesos

clave_produto

descripcinmarca

categoria

c lave_almacnnombre_almacn

direccin

tipo_planta_almacen

clave_tiempo

dia_de_semana

dia_de_mes

mes

trimestre

ao

indicador_feriado

Ejemplo:


11/27

Building

Tomorrow

Together

1Mercosur


Modelo Dimensional

Un ejemplo de tabla de Datos contiene totales diarios de items de todoslos productos vendidos. Llamamos a eso granularidad de tabla.

La tabla de Datos almacena mediciones numricas del negocio, siendo

1 billn de registros un lmite aceptable.

Cada una de las mediciones se obtiene en la interseccin de todas lasdimensiones.

Los datos mejores y mas tiles son numricos, continuamente

valorados(diferentes a cada medida) y

aditivos (pueden ser adicionados a diversas dimensiones).

Es muy importante que no intentemos completar la tabla de Datos

con ceros, para representar que nada pas.


12/27

Building

Tomorrow

Together

1Mercosur


Modelo Dimensional

Cuando nos encontramos con una dimensin de modificacin

lenta, temos tres opciones. Cada una de ellas resulta

en un diferente nivel de rastreo de modificaciones a lo largo

del tiempo :

Substituir los valores antigos de los registros y,por lo tanto, perder la capacidad de rastrear el pasado.

Agregar un registro conteniendo los nuevos valores del

atributo al momento del cambio para segmentar el

histrico entre descripcin antigua y nueva con precisin.

Crear nuevos campos actuales al registro original para

incluir los nuevos valores del atributo, manteniendo tambin

sus valores originales.

Tablas Dimensionales


13/27

Building

Tomorrow

Together

1Mercosur



Recurso utilizado para detallar y organizar mejor ciertos atributos.

Papel

Toallas Hojas

Tollas de Papel

Reciclable

Papel

Jerarquia


14/27

Building

Tomorrow

Together

1Mercosur



Agregados

Tablas de Datos agregados son resmenes prealmacenados para

mejorar el desempeo de las consultas.

Dato Ventas Categoria Agregado

Dato Ventas

clave_tiempocave_productoclave_almacen

clave_promo

cantidad vendida

recibo_en_pesos

costo_en_pesoscuenta_clientes

clave_tiempo

Clave_categoria

Clave_almacen

clave_promo

cantidad vendida

recibo_en_pesoss

costo_en_pesoscuenta_clientes

Dimensin Categoria

Clave-categoria

categoria

departamento

Tabla de datos agregados ventas por categoria

Las claves categoria son claves

artificiales totalmente nuevas que no

constan en la tabla de producto


15/27

Building

Tomorrow

Together

1Mercosur



Construir un data warehouse es el proceso de combinar lasnecesidadesde informacin de una comunidad de usuarios con los

datos que realmente estn disponibles.

Debemos siempre preguntarnos si estamos atendiendo las

necesidades mas importantes de la organizacin de forma eficientey siel data warehouse que estamos construyendo es suficientemente

simple para ser utilizado por los usuarios y por el software.

Lo importante es desarrollar una solucin Top-Down.


16/27

Building

Tomorrow

Together

1Mercosur



Son 9 puntos de decisin de un proyecto de una base de datos

completo para un data warehouse:

Los procesos y, por lo tanto, la identidad de las tablas de datos.

La granularidad (nivel de detalle) de cada tabla de datos.

Las dimensiones de cada tabla de datos.

Los datos, incluyendo datos precalculados.

Los atributos de dimensin con descripciones completas y

terminologa apropiada.

Como rastrear dimensiones de modificacin lenta.

Los agregados, dimensiones heterogneas,minidimensiones, modosde consulta y otras decisiones de almacenamento fsico.

La amplitud de tiempo del histrico de la base de datos.

Los intervalos en que los datos son extrados y cargados en el

Data Warehouse.

I f i T h l


17/27

Building

Tomorrow

Together

1Mercosur



Las entrevistas crean una conexin entre los equipos de proyectistas de

data warehouse y del negocio.

Entender el negocioes la moneda de oro del equipo de proyectistas.

Las entrevistas con el usuario final no deben ser dejadas de lado.

El proceso de entrevistas debe alternar entre grupos de usuarios finalesy DBAs (Administradores de Bases de Datos) de sistemas heredados.

Las entrevistas ideales consisten em sesiones de una hora en que dos

o tres proyectistas se reunen con un gerente de rea y algunos de

sus subordinados.

El secreto para una entrevista exitosa es hacer al usuariodescribir su trabajo.

Entrevistas no deben basarse en preguntas del tipo

que datos desea incluir en el data warehouse?

Entrevistando a los usuarios finales

I f ti T h l


18/27

Building

Tomorrow

Together

1Mercosur



Ejemplos de perguntas:

Cada participante podria presentarse brevemente, por favor?

Cual es la misin de su grupo/departamento/divisin?

Cual es el cambio reciente en la conducin del negocio?

Cuantos clientes tiene el negocio? Como se agrupan?

En que segmentos de negocio se puede medir la rentabilidad?

Que componentes de ingresos y costos se usan para calcular el

beneficio?

Como rastrea evaluaciones de calidad de los produtos entregados?

Se hace en un sistema separado?

Hace seguimiento desde proveedor o desde pedido de compra?

Que hacen sus competidores que Ud. no hace?

Entrevistando a los usuarios finales



19/27

Building

Tomorrow

Together

1Mercosur



Los DBAs son especialistas en sistemas heredados que pueden serusados como fuente de datos para el data warehouse.

Las preguntas para los DBAs incluyen :

Como se relacionan entre si los sistemas de produccin?

Que sistema alimenta otro sistema? Cual origina los datos?

Quien mantiene el archivo maestro de productos?Clientes?

Deseamos recibir una descripcin de cada tabla importante de la

base de datos, y tambin los campos utilizados.

Que campos de las tablas importantes estn completos?

Que significan los cdigos?

Como son administradas las claves de esas tablas? Como son atribudos

los nmeros a los clientes?Productos?

Que hace produccin cuando hay una modificacin en la descripcin del

producto?

Entrevistando a los DBAs



20/27

Building

Tomorrow

Together

2Mercosur



A ttulo ilustrativo, daremos abajo un ejemplo de dimensionamento

de base de datos.

Para eso, consideremos que el tamao de los campos sea 4 bytes,

correspondiente a la media de los diferentes tamaos de los campos en

bases de datos reales.

Las claves, de modo general, tienen 4 bytes y aceptan valores de

hasta 4 billones



21/27

Building

Tomorrow

Together

2Mercosur



Dimensin tiempo: 2 aos x 365 dias = 730 dias

Dimensin almacn: 300 almacenes notificando ventas diariamente

Dimensin producto: 30 mil productos en cada almacn, de los cuales 3 mil

son vendidos todos los dias en un determinado almacn

Dimensin promocin: un item vendido aparece en apenas una condicin de

promocin en un almacn en un dia

Registros de datos bsicos = 730 * 300 x 3000 x 1 = 657 millones

Campos-clave = 4; Campos de datos = 4; Total de 8 campos

Tamao bsico da tabla de datos = 657 millones x 8 campos x 4 bytes = 21

GB



22/27

Building

Tomorrow

Together

2Mercosur


Rutina Diaria: Cargando y Consultando

El data warehouse tiene un uso praticamente bimodal. La mayora de losdata warehouses permanecen on-line de dieciseis a veintidos

horas por da, parcialmente o exclusivamente en modo solamente

lectura (read-only). Entonces quedan off-line de dos a ocho horas,

generalmente de madrugada, para la carga, indexacin, control de

calidad y liberacin de los datos.

Dos categorias de profesionales son esenciales para que el data

warehouse funcione eficientemente : DBAs y DA.



23/27

Building

Tomorrow

Together

2Mercosur



Atribuciones de los DBAs (Data Base Administrator):

Crear y mantener agregados (observando el dia a dia de los

usuarios).

Crear y mantener metadados (datos respecto de datos, la descripcin

da estructura, contenido, claves, ndices de datos, siendofrecuentemente externo a la base de dados relacional).

Ejecutar un control de calidad diario.

Monitorear y ajustar el desempeo del sistema.

Hacer backup y recuperar el data warehouse.

Comunicarse con la comunidad de usuarios.



24/27

Building

Tomorrow

Together

2Mercosur

gy


Atribuciones de los Das(Data Administrator):

Construir modelos reutilizables de aplicativos

Proyectar interfaces grficas

Entrenar a los usuarios para usar los aplicativos y los dados



25/27

Building

Tomorrow

Together

2Mercosur

gy

DW en el Proceso de Implementacin deBusiness Intelligence

Pasos para implementacin de BI:

Relevamiento del negocio:entendimento de la necesidad ymodelado del negocio, identificacin de las informaciones de anlisis,

evaluacin de los sistemas operativos y fuentes externas

Construccin:modelado e implementacin del datawarehouse/datamarts (datos departamentales) y de procesos de

distribucin y acceso a la informacin, abarcando:

Extraccin:mapeo de los datos a partir de los orgenes eimplementacin de los procesos de carga

Modelado:aplicacin de las tcnicas de modelado especficaspara datawarehouse



26/27

Building

Tomorrow

Together

2Mercosur

DW en el Proceso de Implementacin deBusiness Intelligence

Distribucin:definicin de los datamarts consistentes con la

visin consolidada de la empresa

Visualizacin:herramientas para OLAP y generacin de informes

Deteccin: herramientas que trabajam con tcnicas estadsticas

para establecer relaciones entre datos

Proyeccin: manipulacin de escenarios

Entrenamiento y soporte:capacitacin de los profesionales para el

uso de las informaciones

Almacenamiento:definicin del formato y sistema gerenciador de

base de datos a ser utilizado en cada caso



27/27

Building

Tomorrow

Together

2Mercosur

Reflexin

El retorno de un proyecto de Data Warehouse aparece

cuando usuarios hacen cosas que nunca fueron capaces

de hacer: tomar decisiones mejores, economizar dinero,

aumentar el ingreso y operar com mas eficiencia.

Simplicidad es sobre todo la posibilidad de que el usuario obtenga

el resultado deseado con un click en un botn.

Una negociacin entre facilidad de uso y recursos, facilidad de usodebe tener siempre prioridad.

01 Conceptos Data Warehouse

Documents

Transcript of 01 Conceptos Data Warehouse