Xertica

G4S: procesando grandes cantidades de información en corto tiempo con BigQuery y Data Studio

G4S es una compañía multinacional británica de servicios de seguridad con sede en Londres, Inglaterra. Con ventas anuales que superan los USD 9,000 millones al 2018, la empresa le da empleo a alrededor de 570,000 colaboradores en más de 90 países, lo que la convierte en el tercer más grande empleador privado del mundo. Su propósito: salvaguardar el bienestar y la prosperidad de millones de personas en todo el mundo, ayudando a crear entornos más seguros y mejores en los que las personas viven y trabajan.

El problema: alcance global, cantidades ingentes de información y tiempos muy extensos de procesamiento

Al poseer una gran escala de impacto, G4S genera ingentes cantidades de información útiles para propósitos diversos como recursos humanos, operaciones, gestión de personal, entre otros. Previo a la adopción de Google Cloud, las consultas de la información de las bases de datos de G4S eran realizadas a través de Microsoft SQL Server, que extraía dicha data para así generar informes en hojas de cálculo.

Sin embargo, en reiteradas ocasiones, la cantidad de información que se requería para el análisis complicaba la capacidad de realizar cálculos en varios miles de millones de registros. Frecuentemente, el resultado que obtenían provenía de la información que se había trabajado con uno o dos días de anticipación, no en el momento. En consecuencia, hacer los informes de esta manera impedía obtener la información actualizada y en tiempo real, razón por la que resultaba complicado tomar decisiones.

La solución: minimizando tiempos de procesamiento con Google Cloud

Xertica realizó la unificación de las diferentes fuentes de datos a través de una conexión VPN en la nube, seguida del proceso ETC (Extraer, Transformar y Cargar), el cual permite mover la información de las diferentes fuentes de datos, cambiarle el formato y limpiarla.

El proyecto se creó en Google Cloud Platform y facilitó la recopilación de información de fuentes de datos locales.

Desde el punto de vista conceptual, los siguientes componentes se consideran como parte de esta solución.

  • Extracción de archivos: tiene un mecanismo que permite extraer información de las fuentes de datos y generar archivos CVS para poder transferirlos a Google Cloud.
  • Carga y transformación: los archivos copiados en Cloud Storage deben cargarse en el Data Warehouse en la nube y luego transformar la información y dejarla lista para ser explotada.
  • Informes: se considera una herramienta para la generación de informes y paneles que se integra en el mecanismo de almacenamiento de datos en la nube.

Matillion, pieza fundamental en el proceso de carga y transformación, se conecta a las bases de datos a través de Cloud VPN y copia los archivos generados a Google Cloud Storage.

Luego, carga estos archivos directamente a Google BigQuery. Finalmente, los informes se basan en vistas que utilizan tablas cargadas en BigQuery y diseñadas en Google Data Studio.

En suma, la principal ventaja de estar en la nube de Google ha sido la capacidad de procesar, almacenar y transformar grandes cantidades de información de una manera más sencilla y eficiente.

A nivel de reportes, estos se basan en vistas que utilizan las tablas cargadas en BigQuery y diseñados en Google Data Studio. Todas las actividades realizadas en BigQuery son generadas por Stackdriver y exportadas a otro data set dentro del propio BigQuery. En consecuencia, estas actividades pueden ser exploradas gracias a un reporte generado dentro Google Data Studio.

Gracias al reporting que Data Studio habilita, se pudo desarrollar una plataforma amigable de consultas. Los reportes desarrollados fueron los siguientes:

  • Dashboard name: Operations Management Panel.
  • Panel name: Operations.
  • Panel name: Service Delivery.
  • Dashboard name: Human Resources.
  • Panel name: Turnover Rate.
  • Dashboard name: Location DashBoard.
  • Panel name: Location P&L.
  • Panel name: Schedule Adherence.
  • Panel name: Schedule Variance.
  • Dashboard name: Human Resources.
  • Panel name: Conversion Rate Interview to Hire.
  • Panel name: Recruitment.
  • Dashboard name: Contract Reconciliation.
  • Panel name: Contract Reconciliation.
  • Dashboard name: RollUp.
  • Panel name: Executive Roll up by Business Unit.
  • Panel name: Executive Roll up by Region.
  • Panel name: Executive Roll up by Market.

Los resultados: estadísticas en pocos minutos y toma de decisiones en tiempo real

Se plantea como beneficio el tener la información centralizada. Las estadísticas proyectadas en los diversos dashboards pueden ahora ser procesadas en tiempo real, lo que habilita una toma de decisiones inmediata. De una ejecución de dashboards que podía demorar entre uno y dos días, se pasó a una plataforma que proyectaba reportes en menos de 10 minutos. Cabe agregar que la herramienta de visualización Data Studio es gratuita, lo que implica un ahorro significativo en costos de licencias.

Xertica
All Rights @ Xertica

La consultora de tecnología que habilita la transformación digital de las organizaciones líderes de América Latina a través de soluciones basadas en la nube.

CLOUD EXPERTISE