Integración de datos: Desde el batch hasta Servicios Federados de Datos.hasta Servicios Federados de Datos. Prácticas, Enfoques y Realidades

Jorge Arias (jorge.arias@oracle.com)

Senior Principal Consultant

Oracle Consulting Latinamerica

El negocio es un objetivo en movimiento queEl negocio es un objetivo en movimiento que necesita soportarse en datos e información 

consistente y en tiempo realconsistente y en tiempo real. 

Objetivo

• Abordar los enfoques actuales de integración deAbordar los enfoques actuales de integración de datos  desde las marcadas necesidades del negocio definidas en términos de  flexibilidad, tiempo real,  consistencia e integridad y agilidad y velocidad de responder a estrategias cambiantes. 

Agenda

• Contexto

• Cómo soportamos el negocio actualmente: ETL, DB‐k b ó d l d dLink, ODS, Objetos canónicos, Modelos Federados, 

EAI/ESB 

• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM

• Conclusiones & PreguntasConclusiones & Preguntas

Contexto: Estrategias de negocio Cambiantes

Estrategia de Negocio

DefineDefineDefine

Ciclos de reconovación más cortos

Procesos de negocio

Modelo de informaciónModelo de información

Aplicaciones

Tecnología

Iniciativa o Proyecto #1

Iniciativa o Proyecto #2

Iniciativa o Proyecto #N

Cultura y Gestión del Cambio

Gobernabilidad

¿ ESENCIA FLEXIBLE ?SOA + Datos consistentes +

Vistas reales de la información

Contexto: Estrategias de negocio 

• Cualquier iniciativa o proyecto de negocio/IT obedece a una 

Cambiantes

respuesta  a la estrategia de negocio

• La complejidad de un proyecto tiene que ser gestionada desde diferentes dimensiones Considerar una visión TI simplista sólodiferentes dimensiones. Considerar una visión TI simplista sólo terminará en fracasos

• Necesitamos de un estilo de arquitectura lo suficientemente flexible y basada en datos consistentes  que permita soportardicha estrategia de negocio cambiante.

• Datos consistentes y de calidad son pieza estructural de• Datos consistentes y de calidad son pieza estructural de cualquier estilo de arquitectura seleccionado para soportar este negocio cambiante.

6

Contexto:  Realidad de nuestras organizaciones (Qué viva la duplicidad)

Solicitar crédito en línea

éCó

IndicadoresProcesos

organizaciones (Qué viva la duplicidad)

P l

Clientes¿ Porqué hecho el desembolso o no me han notificado?

Base de datos temporal

¿Cómo va este negocio?

GrupoGerencial ¿Por qué no

li l Portal (SOLO ES TEMPORAL)

12 horas

Validar referencias y Reali ar análisis Validar riesgo Crear Digitar

cumplimos las metas?

CRMECM

6 horas 8 horas

Análisis S i

4 horas

Core

4 horas

Validar referencias y datos

Realizar análisiscrediticio

Validar riesgo Crear Productos

Digitar solicitud

4 horas

CRMECM Análisis de crédito

Scoring CoreBancario

(Procedimientos)

Área comercial

Área de GestiónDocumental

Área decrédito

Área deRiesgo

Área de operaciones

Contexto:  Empresas orientadas al cliente  

• Las compañías están orientando su estrategia hacia un modelo centrado l á l d l d l d ó d

vía procesos de negocio (1)

en  clientes más que en el tradicional modelo de orientación a productos.

• Los clientes solicitan procesos de negocio como medio de atención y t ió d l i i (O i t ió l t á it )prestación de  los servicios (Orientación al trámite)

• Los procesos de negocio motivan estrategias de medición a nivel ejecutivo (KPI & Dashboard)(KPI & Dashboard).

• Información segmentada SI, pero inconsistente NO:   Tanto Datos operacionales como Datos Analíticos soportados en datos maestrosoperacionales como  Datos Analíticos soportados en  datos maestros (Clientes, Productos, Proveedores)  como medio de entregar fuentes únicas de verdad orientadas al cliente.

Contexto:  Empresas orientadas al cliente  vía procesos de negocio (2)

CLIENTES GRUPO EJECUTIVO

BAMPORTAL

SOA  ataca problemas de funcionalidades de negocio fragmentadas, pero no resuelve 

problemas de datos fragmentados.   Incluso si no se ataca el problema; SOA podría ser un

Proceso: Gestión solicitud crédito

BPMDashboard,KPI (Key Performance I di t )

no se ataca el problema; SOA podría ser un acelerador de problemas

Indicator)

Crear cliente

RealizarAnálisis crediticio

ValidarRiesgo

CrearCrédito

Desembolsarcrédito

SERVICES

RiesgoCréditoCRM Core Bancario

EIS

EMPLEADOS

Contexto: Requerimientos del día a día: Vistas 360° “ Cerca del 75% de las empresas son incapaces de generar

un vista 360° de sus clientes” Gartner 2007

“OLTP:  TC, Credito, Hipotecas etc

Información de productos

“

DWH

Hipotecas, etc.

Perfil & Segmento del cliente

Indicadores de gestión Seguimiento de PQRs

DashboardsOLTP: Seguimientos a problemas (CRM)

d cado es de gest ó Segu e to de Q s

Screen shot tomado de Novell IDM - Novell Derechos Reservados

Contexto: Requerimientos del día a día: Tableros de control

NTR: Near To real timeSumarizacionessemanales

Tiempo Real

Screen shot tomado de Novell IDM - Novell Derechos Reservados

¿Cómo estamos soportando estos requerimientos?  

¿ Replicaciones Batch/ETL?¿ Replicaciones Batch/ETL?

¿ C l l t d i “ti l”?¿ Como resolvemos la tendencia “tiempo real”?

¿ Qué tan consistencia y confiable es la información?

Contexto:  De donde partimos… (1)

Cliente

MS-AccessSQL ServerSAPCobol Oracle Excel

Contexto:  De donde partimos… (2)

MS-AccessSQL ServerSAPCobol Oracle Excel

Cliente Cliente Cliente Cliente Cliente Cliente

Contexto:  De donde partimos… (3)

Sistemas de información

Siebel SAP Vision + FACT Systematics RemedyTroubleTicket

Cliente RW RW RW R RW RCliente RW RW RW R RW R

Cuentas R RW RW RW

Tarjetas  RW RW RW¿ Como podremos ir desde Múltiples 

puntos de entrada de la misma información a una simple vistaFacturas R RW RW R R

Pagos R RW RW RW

información  a una simple vista consistente del negocio? 

Entidades de negocio

Más de un sistema es dueño de la misma entidad: Problemas de

calidad e inconsistencia de datos.

Contexto:  Resumen…• La orientación al cliente más que a productos es mucho más que cambiar una 

visión al interior de la fuerza de ventas, es cambiar parte de la estructural conceptual y física de nuestros sistemas de información.p y

• Los requerimientos de negocio a los cuales debemos enfrentarnos hoy en día son cada vez más complejos y ambiciosos.p j y

• Al parecer los modelos actuales de integración no nos alcanzan para soportar dichos requerimientos.q

• Emerge sobre el horizonte SOA: Pero es tan sólo parte de la solución, incluso puede ser  parte del problemap p p

• Y al final del día lo único que pareciera ser importante para el grupo ejecutivo son: Indicadores de negocio en tiempo real vía procesos medibles, tableros de g p p ,control cercanos al tiempo real y vistas  360°

Agenda

• Contexto

• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB

• Soportando la siguiente generación: ELT, Datos Federados SOA + MDM SOA+BPM+BAMFederados, SOA + MDM, SOA+BPM+BAM

• Conclusiones & PreguntasConclusiones & Preguntas

De donde partimos: Tipos de datos

Datos OperacionalesRepresenta el estado

operacional de laDatos Operacionales(OLTP)

operacional de la organización

Datos de la organización

Datos Analíticos(OLAP)

Representa el desempeño de la

organización (Soporte a la toma decisiones )organización ( ) a la toma decisiones )

Representa las tid d d i

Datos Maestros(Master Data)

entidades de negocio sobre las cuales

operan las transacciones &

Dimensiones sobre las cuales los análisis son

realizados

De donde partimos: Taxonomía de integración

Datos

BatchETL, ELT, DB Link

EII ODSGRANDES VOLUMENES DE INFORMACIÓN

Linea

Acomplamiento

SocketsRPC /DCOM

EII, ODS

IntegraciónSincróna

Acomplamiento fuerte

Acomplamiento

RMICORBA

Aplicación

pdébil WebServices

EAI

AsincronaMOM / JMS /MQ Series

Copyright Lucasian Labs ‐ Jorge Arias  2006 19

Presentación Screen ScrapperConectores HTTPConectores Telnet

¿Cómo operamos?: Procesos integrados b d t i i t t (SOA A t l)sobre datos inconsistentes (SOA Actual)

Reglas de negocio Modelos de datos

ClientesP d t

CRM

Productos

ERP

ClientesProductos

Facturador

SOA/BPM ClientesProductos

Facturador

ClientesProductos

Proceso integrado  y soportado sobre datos 

duplicados e 

Ordenesinconsistentes.

¿Cómo operamos?: Decisiones potenciadas SOA í d t i i t tpor SOA vía datos inconsistentes

Reglas de negocio Modelos de datosSoporte a toma de

decisiones

CRM

Reportes

Dashboards

ClientesProductos

ETL

ERP

DatamartClientes

Productos

ETL

Facturador

SOA/BPMDWH Ad Hoc 

Queries

CubosClientesProductos

Cualquier cambio sonbre los datos a nivel del ETL o del

ETL

ETLFacturador

Analisis OLAP

Productosdatos  a nivel del ETL  o del DHW es invisible a los 

sistemas OLTP  Necesidad de operacionalizar el DWH

ETL

OrdenesClientes

Productos

¿Cómo operamos?: Problemasp

• Carencia de dueños de datos (entidades de negocio)

Modelo de dueños de objetos– Modelo de dueños de objetos

• Duplicidad de datos

– Necesidad  de publicación de servicios de datosp

• Datos inconsistentes

– Necesidad de sincronización entre fuentes replicadas

• Millonarias  pérdidas por entregas de correspondencia a clientes.

N fl ibl “R d ti 2 k t• No se es flexible “Reduce time 2 market

Necesitamos integraciones de datos queNecesitamos  integraciones de datos que permitan tener fuentes replicadas en estado 

sincronizadas y consistentes.sincronizadas y consistentes.  

T d i i i ti SOA it iToda iniciativa SOA necesita primera asegurar la existencia de datos integrados y 

i t tconsistentes.

¿Cómo integramos?: ETL (1)g ( )

Datos inconsistentes

Extracción CargaTransformaciónCRM ERPTransformación

Tablas de listas

Las duplica (off-line) /Las lee en línea

Funciona bastante bien. Sin embargo, puede tener problemas de desempeñoTablas de listas

de valores

MOTOR ETL

puede tener problemas de desempeño por movimientos de “data” entre el engine y el target

¿Cómo integramos?: ETL  N * (N‐1) g ( )Interfaces

Integración en batch de clientesIntegración en batch de clientes

CRM ERPETL (2)

ETL (5)

ETL (6)ETL (7) ETL (8)ETL (9) ETL (10)

N*(N‐1) Interfaces

Facturador Ordenes

ETL (3)

ETL (4

( )

Situación inmanejable

¿Cómo integramos? Podríamos ir a un EAI g( Pero…) Grandes Volúmenes de Información

ERP ERPCRM

CRM OrdenesBus de Integración

Facturador

FacturadorOrdenes

Punto a Punto(N * (N 1)) Interfaces

EAI (N Interfaces)

(N * (N-1)) Interfaces

¿Cómo integramos?: ETL basado en 

Entidades genericas ( Sustantivos) que determinan el que hacer del negocio. (

gobjetos genéricos (Reutilización) (1)

Modelo de objetos genericos)En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.

Defínición Cliente ERP(Objeto Especifico)

D fi i ió Cli t CRM

( j p )

Definición cliente Generica(Objeto genéricos)

Definición Cliente CRM(Objeto Especifico) Definición Cliente Facturador

(Objeto Especifico)

22/09/2008

27

¿Cómo integramos?: ETL basado en 

MOTOR ETL

gobjetos genéricos (Reutilización) (2)

ExtracciónTransformación CRM 2 Genérica

CRM Transformación Genérica 2 ERP

Transformación Genérica 2 Order

Carga

Ge é ca Ge é ca O de

CargaGenerica 2 Facturador

OrderERP

Facturador

¿Cómo integramos?: DB Links (1)

Manejador OrdenesO de es

¿ Qué sucede sí al pasar grandes volúmenes de información falla la comunicación? Aplico

nuevamente todos los registros? Como puedo validar en qué registro voy?

¿Cómo integramos?: DB Links (2)

Sistema BS ste a

Sistema C

Sistema A

Sistema C

Sistema D

¿ Si quisiéramos llevar el sistema “A” a un data center?

¿ Acaso los DB Links no s generan un acoplamiento

Sistema E

¿ Acaso los DB Links no s generan un acoplamiento demasiado fuerte?

¿Cómo integramos?: ODS• Fuente de datos compartida, accedida por varios sistemas en

producción(OLTP) y la cual consolida información de diversas fuentes de

datos o sistemas tanto OLAP, como OLTP.

NRT

A li ió 1

5 Minutos

Aplicación 1

CRM

Aplicación 2ODS 2 Horas

Copia compartidade datos

Aplicación 3ERP

de datos.

Aplicación 4DWHIntegración por

base datos 5 Días

¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)

Orientado a la consultaconsulta

Agregador Virtual de

Servicio(Interfaz) :Ciclo de vida del cliente

EII: EnterpriseInformation g g

información Metadata: Schema Virtual

Sub-queries Sub-queries Sub-queries Sub-queries

InformationIntegration

Adapter Adapter Adapter Adapter

Sub queries Sub queries Sub queries

ERP CRM Facturador Ordenes

¿Cómo integramos?: Definir modelos ( )canónicos (1) – Contexto

Entidades genericas ( Sustantivos) que determinan el que hacer del negocio ( Modelo de objetos genéricos)negocio. ( Modelo de objetos genéricos)

Este modelo considera la relaciones semanticas existentes entre los bj tobjetos.

A nivel de negocio debe existir una única definición ( Sistema Dueño)

En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.

Tambien conocidas como OntologíasTambien conocidas como Ontologías

¿Cómo integramos?: Definir modelos ( )canónicos (2) – Relaciones Semanticas

Semantica de las relaciones

Entidades de negocio

22/09/2008 Copyright Lucasian Labs ‐ Jorge Arias  2006 34

¿Cómo integramos?: Definir modelos ( )canónicos (3) ‐ Dialectos Empleado

CuentaBalance

F t TarjetaFactura Tarjeta Credito

Sistema de

Si t d

Cuentas de Ahorro

IFX, FIXSistema de Tarjeta de

CreditoSistema de

Credito Hipotecario

Empleado

CuentaBalance

Factura Tarjeta

Empleado

CuentaBalance

T j tFacturaCredito Factura Tarjeta

Credito

¿Cómo integramos?: Definir modelos ( )canónicos (3) – Dueños de datos

Siebel SAP Vision + FACT Systematics RemedyTroubleTicket

Cli t RW R R R R RCliente RW R R R R R

Cuentas R RW R R

Tarjetas  RW R R

Facturas R RW R R R

Pagos R RW R R

Un sólo dueño de la entidad: SAP debe publicar un servicio de datos que permite

36

p q pmanejar el ciclo de pagos

Agenda

• Contexto

• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB 

• Soportando la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM

• Conclusiones & PreguntasConclusiones & Preguntas

ELT: Extraction Loader & Transformation (1)

• El modelo ETL tradicional presenta varias falencias:

– Costos en tiempos de respuesta inherente a llevar datos desde el p pdestino o el origen al motor de ETL para facilitar las transformación en este último (Listas de valores, tablas maestras).

– En ambientes de bastante integración ETL, el motor puede llegar a ser  g , p gun cuello de Botella. (Uso intensivo de CPU)

– Requiere un servidor dedicado para el servidor ETL.

• Emerge ELT como una alternativa para:

– Transformar en el destino ó en el origen.

E di fl j j i d i ió ETL d d l– Estudios reflejan mejora en tiempos de integración ETL de cerca del 40% ‐ 52%.

– El motor  ETL simplemente se limita a ser  un orquestador de agentes t dremotos de carga.

– No necesita un servidor dedicado para el motor ETL

ELT: Extraction Loader & Transformation (2)

Diseñador / Consola de Intercambio ELT

AdapterAdapter

Extracción Carga OrdenesCRM

Transformación Transformación

¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)

Orientado a la consultaconsulta

Agregador Virtual de

Servicio(Interfaz) :Ciclo de vida del cliente

EII: EnterpriseInformation g g

información Metadata: Schema Virtual

Sub-queries Sub-queries Sub-queries Sub-queries

InformationIntegration

Adapter Adapter Adapter Adapter

Sub queries Sub queries Sub queries

ERP CRM Facturador Ordenes

Master Data Management (1) ‐ Definición

• Master Data Management (MDM) es la correcta combinación de aplicaciones y tecnologías que permiten consolidar, limpiar y extender (actualizar/crear) el ecosistema de datos maestros de la organización; y sincronizar estos mismos con todas las aplicaciones, procesos y h i t líti t l ió d l iherramientas analíticas que soportan la operación del negocio

• Beneficios:– Eficiencia Operacional– Información consistente en todo momento de los datos maestros

de la organizacióng– Permite tener DWH Operacionales– Promueve un plataforma confiable para la toma de decisiones.

Master Data Management (2) OLTP

Portal IVR Internet ATM

Canales

SOA

CRM ERP FACT.

EL-T EL-T EL-T

SOASO

SOA

Enterprise Service Bus (ESB)Soporte a toma de

decisiones

EL T

Enterprise Service Bus (ESB)Reportes

Dashboards

EL-T

SOA

MDM (Clientes, Productos, Proveedores, etc)

DWHAd Hoc Queries

CubosETL / EL-T

Analisis OLAP

SOA + BPM + BAM (1)

CLIENTES GRUPO EJECUTIVO

BAMPORTAL

Proceso: Gestión solicitud crédito

BPMDashboard,KPI (Key Performance Indicator)

BAM

( ey e o a ce d cato )

Crear cliente

RealizarAnálisis crediticio

ValidarRiesgo

CrearCrédito

Desembolsarcrédito

SERVICES

crediticio

RiesgoCréditoCRM Core Bancario

EIS

EMPLEADOS

SOA + BPM + BAM (2)

Alertas de

Eventos

Alertas de negocio

Métricas de negocio

Tablero de control (Dashboard)

¿Numero de créditos de consumo otorgados en Bogotá en la última semana?ú t a se a a

Fact: Créditos Otorgados

Dimensión: TiempoÚltimo año

Dimensión: GeografíaCiudad de Guatemala

Dimensión: Tipo CréditoConsumo Modelo Estrella

BAM: BusinessSOA + BPM + BAM (3)

Agencias Asesores Fuerza Ventas

Canales Presenciales

BAM: Business Activity Monitoring

35 Créditos de consumo aprobados en las ultimas dos h B á

Evento: Tipo de crédito, Fecha

horas en Bogotá

estionar Solicitud de

Repositorio de eventos de negocio

Evento: Geografía

Evento: Otorgado

estionar Solicitud de édito de consumo

Realizar Análisis crediticio & Riesgo

Capturar Solicitud Digitalizar/DigitarSolicitud

ODS + EII + SOA

Fi h d l li

Página Web (Visiones centralizadas)Portal

• Vistas consolidadas de datos (Clientes, Empleado,etc.)

Ficha del cliente(Vista compuesta de datos)

C lA li i

Servicio de

SOAP JMS MQ SeriesRMI FileRemoting

ConsultaActualizaciones

ODS

Servicio de Información(Vista 360°)

Bus de Servicios

Sincronización

Tarjeta de Crédito Créditos

Cuentas de ahorro DHWDHW

Sistemas operacionales

Agenda

• Contexto

• Cómo soportamos el negocio actualmente: ETL, DB‐i k d d l bjLink, EAI, ODS, Base de datos temporales,   Objetos canónicos

• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM

• Conclusiones & PreguntasConclusiones & Preguntas

ConclusionesConclusiones

PreguntasPreguntas