Mostrando entradas con la etiqueta Staging. Mostrar todas las entradas
Mostrando entradas con la etiqueta Staging. Mostrar todas las entradas

jueves, 22 de octubre de 2015

Fuentes de datos y área de staging en un Data Warehouse (DWH)

Por: Edgar Barrios

Para entrar más en detalle sobre las áreas involucradas en la construcción de un DWH, hoy vamos a hablar sobre las fuentes de datos y el área de staging, donde con un ejemplo práctico se podrá comprender mejor la idea expresada. 

Vamos a suponer que se desea construir un DWH que contiene las ventas por vendedor, cliente, producto y fecha, y que la fuente de la información es una Base de Datos que tiene el diagrama E-R que se muestra en la siguiente imagen (Fuente de la data):
                                        


Al momento de comenzar con la implementación, se debe definir cuales tablas del origen de datos serán útiles en la construcción del DWH, esto se debe a que quizás no todas las tablas de la fuente van a aportar información, por lo tanto lo ideal es no incluirlas.

Luego de tener definidas las tablas del origen de datos que se van a utilizar en la construcción del DWH, se procede a construirlas en el área de staging, en esta área estas tablas son conocidas como tablas planas. En la construcción de estas tablas se deben respetar los nombres y tipos de datos que se tienen en la fuente.

El siguiente paso es verificar que atributos comunes existen entre las tablas planas, de modo tal que aquellas tablas que compartan atributos comunes puedan ser integradas para formar dimensiones. Por ejemplo, las tablas Customer_Type y Customer se convierten en la dimensión D_Customer. Las tablas resultantes de la integración de tablas planas, se conocen en el área de staging como tablas de dimensión.

Para el ejemplo se van a utilizar todas las tablas de la fuente, por lo tanto las tablas planas que se deben crear en el staging son las siguientes:

•       Customer Type
•       Customer
•       Sales Area
•       Sales Rep
•       Product Line
•       Product Type
•       Product
•       Order Header
•       Order Detail

Luego se procede a crear las tablas de dimensión (se recuerda que estas tablas serán alimentadas por las tablas planas):

•       D_Customer: contendrá integrada toda la información proveniente del origen de datos que está asociada a los clientes.

•       D_Sales_Rep: contendrá integrada toda la información proveniente del origen de datos que está asociada a los vendedores.

•       D_Product: contendrá integrada toda la información proveniente del origen de datos que está asociada a los productos.

•       D_Date: no proviene del origen de datos. Se debe generar y debe comprender periodos de fecha de interés.

Es importante acotar que si el llenado de las tablas de dimensión es muy lento, se deben crear índices sobre las tablas planas, asegurándose de crear solamente aquellos índices que sean estrictamente necesarios.

Las tablas de dimensión deben poseer como clave primaria la clave de negocio existente en la información de la fuente, por ejemplo para la dimensión cliente, la clave primaria podría ser el Id de usuario o la cedula de identidad. También se deben crear índices sobre estas tablas, lo cuales estarán regidos por las jerarquías definidas en cada dimensión.

 Con esto podemos cerrar el tema relacionado a las fuentes de datos y el área de staging, en un próximo artículo hablaremos sobre el área de DWH siguiendo con la idea mostrada en este ejemplo.

martes, 13 de octubre de 2015

Áreas involucradas en la construcción de un Data Warehouse (DWH)

Por Édgar Barrios 

La construcción de un Data Warehouse siempre es una tarea exigente, por esta razón es muy importante tener bien definido el diseño que se utilizará para la implementación. En este artículo vamos a hablar un poco de cuáles son las áreas (Bases de Datos) que siempre se deben tomar en cuenta al momento de construir un DWH.


·         Fuentes de datos: son todos aquellos repositorios de datos donde se encuentra almacenada la información que maneja la empresa sobre sus operaciones. Puede ser de diversos tipos, por ejemplo, archivos planos, bases de datos, etc.

·         Área de Staging: es una base de datos que debe ser creada con la finalidad de ser un área de aterrizaje de datos sobre la cual se importa toda la información extraída de los orígenes de datos y se llevan a cabo las tareas de transformación de la data. En esta área se debería crear una réplica del modelo de Base de Datos existente en los orígenes de datos, consiguiendo con esto independizar el proceso de transformación y carga de datos, de los sistemas operacionales de la empresa. De igual modo también se deberían crear las tablas definidas como tablas de dimensión, las cuales serán alimentadas por la réplica de las fuentes de datos implementada en esta área.

·         Área de Data Warehouse: Es el área en la cual se carga toda la información en el Data Warehouse diseñado. Aquí deben existir las tablas de dimensión y las tablas facts que fueron definidas. El proceso consiste en comenzar cargando la información en las dimensiones y luego cargar la tabla fact. La fuente de datos para esta área debería ser el área de Staging.

Tener clara la función que cumple cada una de estas áreas es un buen comienzo para poder llevar a cabo la implementación de un DWH de manera exitosa. En futuros artículos hablaremos de forma más detallada acerca de cada una de ellas, donde se profundizará el tema con el apoyo de ejemplos prácticos.