En los últimos tiempos se han acelerado ciertas tendencias en la integración de datos y las mismas empujan la necesidad de modernizar y automatizar las arquitecturas actuales, algunas de las mismas son:

• Permitir una mayor agilidad ante nuevos requerimientos del negocio, disponibilizando la información lo antes posible, posibilitando proyectos de analítica avanzada y reduciendo a la vez costos de procesamiento y almacenaje.
• Dar acceso a datos no estructurados junto con datos estructurados manteniéndolos organizados y permitiendo buscarlos de forma intuitiva, sin que el Data Lake (Lago) se transforme en un Data Swamp (Pantano).
• Necesidad de posibilitar streaming de datos desde fuentes transaccionales para tomar acciones en “real time”.
• El desarrollo de aplicaciones en la nube y la necesidad de modernizar las aplicaciones existentes para poder realizarlo de forma más rápida y sencilla permitiendo ahorros en infraestructura y mantenimiento a la vez que se logra mayor escalabilidad y elasticidad.

Alineado a estas necesidades, la propuesta de valor de Qlik, a través de su plataforma de Data Integration, se resume en los siguientes puntos principales

1. Captura de cambios Real Time/Near Real Time

Qlik lo logra leyendo los logs de las bases de datos, sin requerir ningún scripting para la gran mayoría de las fuentes más comunes (RDBMS, SAP, Mainframe) a través de Change Data Capture sin necesidad de instalar agentes, definir triggers, etc. ni en el origen ni en el destino.

Esto no sólo permite tener acceso inmediato para análisis y scoring de modelos, sino también posibilita transformar las clásicas actualizaciones batch de los Data Warehouses y Data Lakes en micro actualizaciones logrando que en todos los casos se transfieran y procesen la menor cantidad de información necesaria para asegurar que se reflejen todos los cambios de la forma más eficiente posible.

Todo esto sin escribir una sola línea de código.

• Todas las actualizaciones son incrementales no solo de tablas de hechos sino también de todo el resto de las tablas.
• Replicación solamente de datos modificados/agregados sin incrementar la carga sobre los sistemas de origen, sin necesidad de extraer varios días de información por no tener marcas de tiempo (timestamps), que no sean confiables o por no conocer exactamente la temporalidad de los datos, o cuando es posible que se inserten, borren y actualicen ciertos los registros.
• Replicación automática de los cambios en estructuras tales como agregados de campos, nuevas tablas, etc.
• Permitir que esos cambios se transformen también en mensajes de streaming para Kafka incorporando datos transaccionales.

2. Automatización del modelado y actualización de los datos en un Data Warehouse y/o Data Lake (Teradata, Snowflake, Azure Databricks Amazon RedShift, etc).

Automatizar el diseño, la implementación y la aplicación de cambios en un Data Warehouse, y todos los Data Marts para explotación permite no sólo acortar tiempos de implementación, ampliando enormemente la agilidad de los agregados que surjan, sino también escapar al desarrollo manual de scripts y los inevitables errores que esto siempre implica.

De forma similar, las empresas no siempre logran obtener el valor esperado del Data Lake y el mismo puede terminar transformándose en simplemente un repositorio desorganizado del que no se obtiene el retorno de inversión esperado. Automatizar el proceso de ingesta, transformación e incorporación de cambios facilita enormemente el uso por parte de analistas y data scientists y acelera la obtención de valor.

Además, al estar integrado con el punto anterior, estas transformaciones también se realizan de forma eficiente y sobre porciones incrementales de datos reduciendo también los tiempos de procesamiento que en la nube lo cual se traduce en ahorros importantes de costos.

3. Democratización de los datos

A través de un Catálogo para el consumo de analistas, desarrolladores y data scientists Qlik permite buscar y encontrar los datos de cualquiera de las fuentes (incluidos archivos QVD) de forma segura, protegiendo datos sensibles, incorporando y enriqueciendo la metadata.

 

De esta forma no sólo se puede encontrar los datos buscados sino también poder tener la confianza de que se está usando la fuente correcta, poder ver toda la trazabilidad desde donde se generó hasta donde se está utilizando; si está validado y aprobado por quién corresponda e incluso poder realizar distintas transformaciones para prepararlos, siempre todo en un ambiente gobernado y segurizado.

Además, al estar integrado con distintas herramientas analíticas (Qlik Sense, Power BI, Tableau, etc.) rápidamente se comienza a analizar y compartir los resultados obtenidos.

Todo esto permite tener una solución de punta a punta integrada, que se implementa en tiempos mucho más cortos y requiriendo menos recursos que otras soluciones, sumamente eficiente en cuanto a la extracción y procesamiento de datos, siendo agnóstica respecto a la arquitectura (on-premise + cloud + multi cloud + híbrida) como así también a proveedores como Amazon, Google, Microsoft, otros. Qlik Data Integration es una plataforma completa para las necesidades de hoy y los desafíos del futuro.

 

CONTACTATE