miércoles, 18 de noviembre de 2015

Tips de diseño de DWH: La Omnisciente Dimensión Time – Parte 2

Por Rut Almoguera Poggi 


Ahora que ya hemos visto en el post anterior lo imprescindible que es la dimensión Time, en esta entrega vamos a hablar sobre cuáles son las mejores prácticas para construirla.

La dimensión Time es especial pues no suele tener una fuente de donde llenarla, por lo que tenemos nosotros mismos que cargarla en el Datawarehouse.

A diferencia del resto de las tablas de dimensión, podemos construir la tabla Time por adelantado, cargándola con 5 o 10 años de registros cubriendo algunos años hacia atrás y/o hacia adelante (10 años = 3.650 registros, sí la granularidad es de día). 

Es recomendable que creemos un Store Procedure en la BD o algún programa para pre-cargarla.  Por lo general es común que se pre-carguen algunos años en la dimensión Time aunque también podría programarse el proceso de llenado de la dimensión Time para que revise al inicio del mismo si el año actual esta presenta ya en la data de la dimensión, y sino esta insertar el año actual completo, y en caso contrario, simplemente terminar.

Otra consideración importante al momento de crear la dimensión Time es revisar la granularidad de la misma.  Por ejemplo, si la dimensión Time por necesidades del negocio requiere tener un detalle más fino que el de día, por ejemplo, que necesitáramos guardar la hora exacta en la que sucede un evento, sería recomendable que la misma se partiera en dos dimensiones, una que contenga solo las fechas, y otra que contenga solo las horas del día, pues de lo contrario la dimensión terminaría siendo demasiado grande, y degradaría el performance de las consultas al Datawarehouse.

También al momento de diseñarla tenemos que considerar como serán los Rollups en las jerarquías de dicha dimensión.

Por ejemplo, si nuestra dimensión Time tiene una granularidad de día, y tiene una jerarquía como la siguiente:



No tendremos mayores problemas, con el Rollup.

Pero consideremos una jerarquía diferente en donde esté presente la Semana del año y el Mes como niveles de la jerarquía.  Algo como lo siguiente:



En este caso, si tendríamos un problema al hacer el Rollup, pues por lo general un mes NO termina o comienza en una semana completa, sino que puede hacerlo a la mitad de una semana, con lo cual la semana podría pertenecer a dos meses diferentes.  Veamos por ejemplo las fechas 31/03/2015 que fue martes,  y 01/04/2015 que fue miércoles:



Como podemos ver, ambas fechas están en la semana 14 del año, pero pertenecen a meses diferentes, por lo tanto NO podemos colocar el nivel Semana del Año en una jerarquía que también contenga el nivel Mes pues el resultado de hacer Rollup por dicha jerarquía podría arrojar valores incorrectos.  Si necesitamos tener los dos niveles, porque el cliente lo requiere para los reportes, se deberán tener dos jerarquías para dicha dimensión, una que contenga el Mes y otra que contenga la Semana del Año.

Otro tema importante a considerar cuando estamos diseñando una dimensión Time es sobre la decisión de cuál campo sería el Primary Key de la tabla.  Por lo general para el resto de las dimensiones lo recomendable es un usar un Surrogate Key, pero en el caso de la dimensión Time, esto no aplicaría, pues por lo general la data de las tablas Facts, suelen particionarse por la fecha, y por lo tanto, es buena idea tener como Primary Key de la dimensión Time un código inteligente que contenga el año, y nos permita particionar la Fact por la data de dicho campo.

Esto nos facilitaría poder “quitar” una partición de la tabla Fact, que corresponda a un año específico cuando ya la data relativa a ese año no sea de utilidad o se requiera consultarla con muy poca frecuencia, y el costo de mantenerla en el Datawarehouse sea mayor que los beneficios que obtendríamos en el performance de las consultas si la eliminamos.  Como por ejemplo podrían ser las ventas en una tabla Fact de Ventas que sean de 10 años atrás.
Lo más recomendable para usar como la clave de dicha dimensión es un código “inteligente” que contenga el año.  Por ejemplo si tenemos una dimensión Time cuya granularidad llega solo hasta el nivel de mes, podríamos crear el identificador del mes, concatenando el año con el mes:

YYYYMM: en donde YYYY es el año y MM el mes, y para este cálculo se debe multiplicar el año por 100 y sumarle el mes (getyear(Fecha)*100  + getmonth(Fecha)).

Si por ejemplo la granularidad de nuestra dimensión Time es de día.  Siguiendo con esta regla podríamos tener el siguiente Primary Key:

YYYYMMDD: en donde YYYY es el año, MM el mes y DD el día. Para el cálculo es necesario obtener el año, multiplicarlo por 10000, sumarle el mes multiplicado por 100 y sumarle el día (getyear(Fecha)*10000 + getmonth(Fecha)*100 + getday(Fecha)).

Así cuando se cree la tabla de la Fact particionada, se realizaría la partición por los valores del campo de la fecha, y todas las filas que correspondan a un año específico irían a una partición especial para ese año, y así será muy sencillo mantener en la tabla Fact solo la data relevante, pues, si no hacemos limpieza de la misma y dejamos que se llene de data muy vieja, el performance de los queries contra la Fact se degradaría notablemente.


Con esto terminamos la discusión sobre la dimensión Time, espero que consideres estos consejos cuando diseñes dicha dimensión.

Reporte con Drill-Through

Por Gabriela Molina

En este post mostraremos como hacer un Drill-Through entre un reporte y otro.

Paso 1: Creamos un reporte con la información base que queremos visualizar



Paso 2: Configuramos parámetros del reporte Inicial



Y asi  queda nuestro reporte inicial.



Paso 3: Construimos nuestro reporte detalle con los mismo paso anteriores solo que el nivel de detalle que mostraremos es mayor que el reporte inicial.



Paso 4: Configuramos el Drill-Through en el reprte Inicial (Construido en los primeros pasos)



Paso 5: Ejecutamos nuestro reporte principal y hacemos Click en el Data Item que configuramos para realizar el Drill-Through





Podemos ver que se muestra un mayor de Nivel de Detalle y de igual manera se mantiene el año seleccionado en el reporte inicial



jueves, 12 de noviembre de 2015

¿Cómo habilitar el Complemento IBM Cognos Perspectives en Microsoft Excel?

Por Katherine Izquierdo


Como les mencioné en una entrega anterior para trabajar con IBM Cognos TM1 desde Microsoft Excel  se utiliza el complemento IBM Cognos  Perspectives.  Pero si desea abrirlo automáticamente cada vez que abra Microsoft Excel  este complemento debe ser habilitado. 

Voy a explicarle cómo hacerlo en Microsoft Excel 2010. Es muy sencillo sólo tiene que seguir estos pasos:

               .  Abra Microsoft Excel.


      . Seleccione Archivo>Opciones


   .Seleccione Complementos. Verifique que el complemento de IBM Cognos TM1 Perspectives aparezca en la sección de complementos. Si no aparece, seleccione Complementos de Excel en la lista desplegable de Administrar, y luego  presione el botón Ir  
       . Haga clic en Examinar.

    . Ubíquese en la carpeta bin que contiene el complemento que desea habilitar. Esta se encuentra en la carpeta de de instalación de IBM Cognos TM1.  Por defecto está ubicada en "c: \ Archivos de programa \ IBM \ Cognos \ tm1_64 \ bin" 
     . Seleccione el complemento "tm1p.xla" y haga clic en Aceptar.

      . En el cuadro de diálogo de selección de complementos disponibles verifique que  el complemento IBM Cognos TM1 Perspectives está seleccionado y luego haga clic en Aceptar.

Ahora  ya  puede ver el complemento activo en las pestañas de menú de Microsoft Excel, además la próxima vez que lo abra cargará automáticamente.


Proceso de Instalación de BigInsights versión 3.0.0.2 Parte II

Por Yosely Quintero

Ø  Ahora proceda al paso mas crucial en la instalacion, la configuracion del nodo. Aquí agregue el hostname que agregamos en el /etc/hosts


El nodo se mostrará como la siguiente imagen:



Ø  Configure las rutas donde desea instalar los componentes




Ø  Asi con lo otros componentes, luego en el punto de seguridad, verifique sus nodos a los cuales les aplicara seguridad, en este caso es solo uno y se observa en la siguiente imagen:


En el punto de Summary, puedes detallar todos los componente a instalar, asi tambien los nodos y los roles creados en este proceso de instalación.



Ø  De estar de acuerdo con esta información proceda a instalar.



Ø  En este punto finalizo la instalacion


Ø  Validar la instalación en nuestro ambiente:

 Se procede  a ejecutar los siguientes comandos en su maquina para luego realizar la      validacion de la instalacion.Nos ubicamos en la carpeta de instalación de la herramienta.
                                cd /opt/ibm/biginsights/bin/

Debe cambiar de usuario, en este caso se usó biadmin porque fue el usuario que se especificó durante la instalación. Esto porque los siguientes comandos no se permiten ejecutar con el usuario root.   

            su biadmin


Ø  Luego se procede a detener cualquier servicio que el proceso de instalación haya iniciado de BigInsights: 
    
./stop-all.sh




 Continua en la Parte III…

viernes, 6 de noviembre de 2015

Por Edgar Barrios

Continuando con el ejemplo de implementación de un DWH, ahora vamos entrar en detalle con los objetos que se deben crear en la base de datos que contendrá el DWH. Para un mejor entendimiento de lo expuesto en este artículo, se recomienda ver primero el artículo Fuentes de datos y área de staging en un Data Warehouse (DWH).

Lo primero es identificar el tipo de modelo a implementar, de los cuales tenemos el modelo estrella y el modelo copo de nieve, para entender un poco de que se trata a continuación se presenta una breve definición y las diferencias existentes entre ellos:

•       Estrella: Desnormaliza las dimensiones.



•       Copo de nieve: Normaliza las dimensiones.



Tabla Comparativa Modelo Estrella Vs Modelo Copo de Nieve




Dadas las razones expuestas en la tabla anterior, lo más recomendable es siempre usar el modelo estrella.  Sin embargo, dependiendo de las necesidades el usuario puede usar el que desee.

Para nuestro ejemplo el modelo a utilizar es el modelo estrella, el cual se puede observar en la siguiente imagen:



A continuación se muestran las tablas que se deben crear:



Dim_Sales_Rep: en esta tabla se encuentra la data de los vendedores, y prácticamente es la misma información que tenemos en el Staging en la tabla STA_Sales_Rep, con la excepción del campo surrogate key (SK), que no es más que una clave numérica que se usará en esta tabla como el primary key.

Dim_Customer: en esta tabla se encuentra la data de los clientes, y es exactamente la misma data de la tabla STA_Customer con la excepción de que esta tabla tendrá el surrogate key como PK.

Dim_Date: en esta tabla se encuentra exactamente la misma data que en la tabla STA_Date del Staging.

Dim_Product: en esta tabla se encuentra la misma data que se encuentra en la tabla STA_Product, pero aquí existirá el campo surrogate key.

Fact_Sales: esta será la tabla de la fact, Aquí estarán los SKs de las tablas de dimensión, excepto la tabla Dim_Date que en su lugar tendrá un campo con la clave de la tabla Dim_Date y los campos de las medidas, que en este caso serán: las cantidades vendidas y el monto de la venta

Se deben crear las claves primarias para las tablas de dimensión y definir índices tanto para las tablas de dimensión como para las tablas fact.

Ya pudimos ver cuáles son las áreas involucradas en un DWH, ahora vamos ver a manera de resumen los pasos a seguir para ejecutar el proceso de Extracción, Transformación y Carga (ETL por sus siglas en inglés) del DWH:

•       Crear las tablas en el área de Staging (planas y de dimensión) y en el DWH con sus respectivas primary keys. La tabla de la Fact en el DWH debe ser particionada. Generalmente dicho particionado se hace por el año.
•       Crear los índices que puedan ser necesarios.
•       Crear en la herramienta para desarrollar el ETL los procesos para cargar las tablas planas  desde la fuente hasta el Staging. Es importante que a estas tablas se les haga un TRUNCATE antes de insertar la información que viene de la fuente.
•       Es importante solo traerse las columnas y filas necesarias.
•       Llenar en el ETL las tablas de las dimensiones en el Staging.  En  caso que alguno de los queries para el llenado de las dimensiones sea muy lento, crear los índices necesarios para optimizarlos. Es importante recordar que en estas tablas NO deben estar los surrogates keys.
•       Llenar la tabla STA_Date, construyendo para esto o bien un Store Procedure o un desarrollo en el ETL que se encargue de llenar dicha tabla.
•       Llenar las dimensiones en el DWH con un proceso del ETL usando como fuente las dimensiones ya calculadas en el Staging.  Estas tablas son casi iguales a las que están en el Staging con la excepción  del surrogate key, que debe ser el primary key de las dimensiones.
•       Desarrollar los procesos para cargar las medidas en la fact en el ETL.  En caso de que alguno de los queries creados para llenar las medidas de la fact sea muy lento, crear los índices necesarios para optimizarlos.
•       Crear un proceso automático que ejecute los procesos del ETL en el orden mencionado con la frecuencia requerida de carga (diario, mensual, etc).

















jueves, 5 de noviembre de 2015

Instalación de OBIEE 11g Parte II – Instalando OBIEE 11g en 10 simples pasos.

Por Johana Hernández 



Requisitos
·         Sistema Operativo: Windows o Linux (x86 o x64).
·          Al menos 4 GB en RAM y 4 Procesadores.
·         Haber Instalado Oracle Database Express Edition 11g Release 2, aquí el link para la descarga directa de los instaladores. (Para éste ejemplo usaremos una versión express de la Base de datos, pero para ambientes productivos es recomendable tener instalada una versión full de la Base de Datos).
·         Haber completado la Parte I de la Instalación de OBIEE – Creación de los Esquemas de la Base de Datos. De igual manera aquí encontraran el link para descargar el RCU.
·         Descargar desde aquí los instaladores de OBIEE 11g según su sistema operativo y su distribución.

Instalación  

Paso 1: Extraer en el mismo directorio cada uno de los archivos que fueron descargados.
Paso 2: Ejecutar el archivo setup.exe ubicado en  Disk1.
Paso 3: En la primera pantalla de instalación presione Siguiente.



Paso 4: Seleccionar Omitir Actualizaciones de Software y Siguiente. 
Paso 5: Seleccionar Instalación Simple,  y validar que la comprobación sea exitosa.



Paso 6: Seleccionar el directorio de Instalación e ingresar las credenciales de administrador.



Paso 7: Seleccione los componentes a instalar.


Paso 8: En la siguiente pantalla ingresar lo siguiente:
·         Tipo de Base de Datos: Oracle Database
·         Cadena de Conexión: localhost:1521:XE
·         Nombre de Usuario de Esquema BIPLATFORM: DEV_BIPLATFORM
·         Contraseña de Esquema BIPLATFORM: passw0rd

Luego presionar Siguiente.



Paso 9: Completar con la siguiente información
·         Tipo de Base de Datos: Oracle Database
·         Cadena de Conexión: localhost:1521:XE
·         Nombre de Usuario de Esquema MDS: DEV_MDS
·         Contraseña de Esquema MDS: passw0rd
Luego presionar Siguiente.



Paso 9: Descarte las notificaciones a menos que desee recibirlas, presione Siguiente y seguidamente Instalar.



Paso 10: Cuando termine de instalar verificar que las configuraciones hayan terminado correctamente, luego  Siguiente.




Listo, hemos instalado OBIEE 11g.