Case Study

Construção de um Data Lake

1050x700_casestudies_banca_data_lake

Indústria
  • Banca e Finanças (grande banco comercial francês)

 

Desafio
  • Construir um Data Lake para um projeto de pagamentos instantâneos

Solução

  • Conceção e implementação da arquitetura do Data Lake;
  • Implementação de pipelines de dados utilizando tecnologias do ecossistema Hadoop;
  • Desenvolvimento da camada de armazenamento de dados utilizando Kassandra;
  • Configuração da plataforma de visualização e análise de dados com ELK;
  • Ambiente técnico: o projeto foi desenvolvido com recurso ao ecossistema Hadoop, Java, Kassandra e ELK. Foi implementado num ambiente de cloud híbrida.

Tecnologias

  • Java

  • Springboot

  • ELK

  • HDFS

  • Kafka

  • Spark

  • Kassandra


Chaves do sucesso

  1. Domínio do ecossistema Hadoop: a nossa experiência em tecnologias de tratamento e de armazenamento de dados, nomeadamente Hadoop, permitiu-nos conceber e implementar um sistema fiável e escalável para o Data Lake do banco;
  2. Utilização de cloud híbrida: implementámos uma arquitetura de cloud híbrida para permitir ao banco implementar serviços de tratamento e análise de dados em grande escala, de forma rápida e simples. Esta abordagem otimizou os custos, garantindo simultaneamente a segurança e a conformidade dos dados;
  3. Colaboração estreita com as equipas comerciais: trabalhámos em estreita colaboração com as equipas comerciais do banco para compreender as suas necessidades e objetivos em matéria de tratamento de dados. Esta colaboração resultou na criação de um Data Lake adaptado às necessidades do banco em termos de desempenho, capacidade e funcionalidade, e facilitou a adoção da solução pelos utilizadores finais.