Así toman decisiones las grandes industrias del sector minorista (retail industry) en era del Big Data

Casos de éxito con hadoop

big data

En la era del big data, no han sido pocas las industrias que le han dado un segundo y detenido vistazo a las tecnologías de la información con propósito de sacarle provecho al gran volumen de información que generan diariamente. En el siguiente post destacaremos algunas de ellas del sector minorista como Wal-mart, Carrefour y particularmente BigX que ha logrado darle la vuelta a la torta exitosamente, al transformar la complejidad de su información estructurada y no estructurada en oportunidades para innovar con datos, logrando no solo generar valor para el negocio, sino también proveer ventajas competitivas de importancia en el sector.

Para BigX analizar sus 12 TB de información quincenal por los métodos tradicionales no era una opción. Pues anteriormente tardaban 12 horas trasladando la información cada vez que necesitaban hacer una consulta. Claramente este modelo no se adecuaba a las necesidades del negocio.

Se requería entonces una solución escalable, y fue entonces cuando BigX decidió investigar e implementar las herramientas analiticas adecuadas, para el primer problema, mover la información, consideraron Sqoop, Flume y Chukwam, y para el segundo, realizar consultas Hive se mostraba muy claramente. Es de destacar que todas estas herramientas tienen integración con hadoop, el marco de trabajo más utilizado para el análisis de grandes volúmenes de información e inspirado en las necesidades de Google.

big data

Finalmente optaron por Flume + Hive, de la cual se escoge Flume, por ser una herramienta de propósito específico en mover log files de los clientes. Con esto, la arquitectura de la solución lucía así:

big data

En el primer módulo se llevó a cabo la Ingestión de toda la data en el HDFS (sistema de almacenamiento distribuido de hadoop) con Flume y en el segundo, los componentes necesarios para realizar el análisis con Hive.

Los resultados fueron sorprendentes, pero también esperados,

  • La transferencia pasó de 12 horas a 3 horas.
  • Las consultas mejoraron mucho en mantenibilidad, encontrando hallazgos interesantes.
  • Se construyó una esquema snowFlake con las transacciones como tabla de hechos. considerando además dimensiones geográficas y temporales.

big data

Ejemplo de esquema snowFlake

Las siguientes fueron algunas de las consultas basicas para el análisis de datos

  • Contar el número de usuarios diferentes por género.
  • Listar las categorías a las que pertenece cada producto
  • Contar el número de transacciones para cada espacio geográfico de interés

Con ello se lograron hallazgos (tendencias) interesantes:

  • Las ventas se incrementan cada año en todas las categorías de productos, destacando Health & Beauty con un crecimiento del 65%, Food Products con 55% y Entertainment con 54.6%.
Categoría Ciudad líder en ventas
Fashion & Apparels Delhi y Mumbai
Electronics Karnataka
Food products Andhra Pradesg y Tamil Nadu
  • Se detectó que los hombres compran más que las mujeres, sin embargo vale considerar que cuando una pareja compra, el hombre es quien paga.

Finalmente, estas son algunas de las razones por las que utilizar hadoop (integrado a sus múltiples plugins de analitica) es la apuesta para generar ventaja competitiva en industrias “retail”.

Fuente principal: http://yourstory.com/2012/04/hive-for-retail-analysis/

Publicado Por Stradata

Comentarios no disponibles