ANALITICA - INTEGRATOR INTRODUCCIÓN Y CONCEPTOS. ANALITICA - INTEGRATOR OBJETIVO Integrar...

ANALITICA - INTEGRATOR

INTRODUCCIÓN Y CONCEPTOS


OBJETIVO

• Integrar información aislada en archivos o sistemas, tanto corporativos como de usuarios individuales.

• Migrar información rápidamente de un sistema a otro.

• Ajustar y transformar información.

• Garantizar integridad de la informacion (validación) a nivel de:– Proceso (Ej: control en la frecuencia del envío)

– Técnico (Ej: número de .mensajes enviados vs. recibidos)

– Funcional (Ej: comparación de la información origen vs. destino)


PROBLEMÁTICA ACTUAL

• Cambios en las fuentes de información generan el 60% de los costos de mantenimiento.

• Información contenida en MÚLTIPLES FORMATOS NO ESTANDAR por usuarios individuales.

• Información INCOMPATIBLE con esquemas de bases de datos relacionales.

• Información generalmente contenida o exportable a HOJAS DE CÁLCULO (generalmente MS-EXCEL).

• Usuarios reacios al cambio pero conformes con su herramienta habitual de trabajo (por lo general MS Excel).

• Tiempos críticos de adaptabilidad


NECESIDADES Y REQUERIMIENTOS

• Capturar Información– Consultas SQL a bases de datos– Hojas Excel– Archivos planos separados por comas o tabuladores– Archivos o mensajes en XML

• Transformar información– Ajustar en el origen– Homologar informacion– Formatear información

• Cargar Información en forma transparente al usuario vía:– FTP (File transfer protocol)– HTTP (Hypertext transfer protocol)– Ejecución de scripts dinámicos en bases de datos– Soporte XML, archivos planos, mensajería.

• Verificar/Comparar información vía reportes de control, inconsistencias y errores.


SOLUCIÓN: ANALITICA INTEGRATOR


¿ QUE ES ANALYTICAL INTEGRATOR ?

Solución ETL para– captura– transformación– e inserción en sistemas de informacion,

de datos provenientes de:– hojas de Excel– archivos planos– mensajes y archivos XML– bases de datos relacionales


MODELO GENERAL: ANALYTICAL INTEGRATOR


MODELO OPERATIVO: ANALYTICAL INTEGRATOR


MODELO FUNCIONAL: ANALYTICAL INTEGRATOR


CAPTURA / EXTRACCIÓN DE DATOS

• Bases de datos relacionales– ODBC– ADO

• Archivos– Excel– Txt– CSV– XML

• Otras aplicaciones (vía complementos/plug-ins de Excel)


FILTRADO Y AJUSTE DE INFORMACIÓN

• Omisión de filas o columnas no deseadas• Transposición de tablas cruzadas• Agregación y desagregación de información• Manipulación vía funciones de MS-EXCEL sobre datos cargados.• Control de información incompleta vía:

– Valores/Funciones predeterminados– Omisión de parcial o total de registros

• Inferencia de informacion basada en los datos existentes.• Generación de valores constantes adicionales.• Adaptabilidad a cambios en estructuras de informacion (Caso

MS-Excel) via:– Ordenamiento de la información– Eliminación y adición de filas o columnas


TRADUCCIÓN – HOMOLOGACIÓN DE INFORMACION

• Tablas de mapeo centralizadas– En una base de datos

• Tablas de mapeo distribuidas– Hojas Excel– Archivos Planos– Archivos XML


TRANSFORMACIÓN A FORMATO DEFINITIVO

• Generación de archivos:– Planos (txt o csv)– XML (según estructura predeterminada)

• Generación de código dinámico (scripts)– SQL– XSLT– HTML


SEGMENTACIÓN

• Generación de archivos o mensajes individuales vía segmentación de bloques de información, para facilitar los procesos de carga.


CARGA DE INFORMACIÓN

• Envió de información vía:– FTP– HTTP– SOAP / Web-Servicies

• Ejecución de Scripts– Oracle – PL/SQL– Sybase / SQL Server – TransacSQL– MySQL

• Control de envío– Mensajes o archivos enviados– Reporte de errores de carga– Tiempos de envío


CONTROL DE INTEGRIDAD


INTEGRIDAD TÉCNICA


INTEGRIDAD FUNCIONAL


MODELO TÉCNICO: ANALYTICAL INTEGRATOR


PROCESO DE IMPLEMENTACIÓN


ESTRATEGIA DE IMPLEMENTACIÓN

Equipos de trabajo paralelos en cada frente de integración.


VENTAJAS DE LA HERRAMIENTA

• OPERATIVAS– Procesamiento centralizado y/o distribuido– Procesamiento por lotes o en tiempo real

• FUNCIONALES– Soporte a múltiples sistemas origen y destino– Transformaciones predefinidas– Filtros de información– Integración con Excel

• DESARROLLO E IMPLANTACIÓN– Un solo ambiente de desarrollo– Escalabilidad a nivel de múltiples desarrolladores– Tiempos mínimos de entrenamiento– Esquema de configuración que minimiza la programación– Herramientas de depuración– Independencia entre el diseño y la implementación– Manejo de estándares de la industria– Control de integridad


REFERENCIAS / EXPERIENCIA

Proyecto SENSOR – ECOPETROL:

– Integración de hojas de MS-Excel para el sistema de información volumétrica (SIV) via XMLoader (Herramienta predecesora)

• Reservas de hidrocarburos• Inventarios y movimientos de las refinerías de

– Orito– Apiay

• Oleoducto Trans Andino (OTA)• Planeación de transporte de crudos y refinados• Sistema de cálculo de propiedad de crudos y gas.• Sistema de precios de transferencia• Ordenes de compra de crudos• Distribución de Gas Opón / El Centro.• Curvas de producción básica/incremental en campos• Regímenes de regalías

– Sistema de control de integridad de información volumétrica.• Sistema operativo de Negocio Solución de informacion Volumétrica• Solución de informacion volumétrica SAP/R3

ANALITICA - INTEGRATOR INTRODUCCIÓN Y CONCEPTOS. ANALITICA - INTEGRATOR OBJETIVO Integrar...

Documents

Transcript of ANALITICA - INTEGRATOR INTRODUCCIÓN Y CONCEPTOS. ANALITICA - INTEGRATOR OBJETIVO Integrar...