Implementação de uma plataforma de gerenciamento de dados em nuvem para um cliente líder na América do Norte

O cliente é uma empresa de pesquisa de mercado global com sede nos EUA, classificada entre as 10 melhores, com mais de 2.000 clientes corporativos no setor de varejo. Sua experiência em dados e análises permite que seus clientes corporativos tomem decisões sobre vendas, marketing, distribuição, sortimentos e planejamento de produtos. A empresa adquiriu várias corporações ao longo de sua existência de mais de 50 anos.

Desafio

Mais de 4.500 sistemas POS estavam enviando diferentes pontos de dados para ingestão, forçando o cliente a investir duas semanas em cada ciclo de ingestão. Essa latência resultou em atrasos no fornecimento de insights para seus clientes corporativos. O desafio teve que ser enfrentado, além dos atrasos causados pela integração de novos clientes, dos problemas relacionados à qualidade dos dados que afetaram a produção da pesquisa, das integrações antigas que afetam a produtividade e das enormes despesas gerais da criação manual de perfis de PDV, que resultaram na erosão dos resultados.

Solução

O cliente estava usando uma estrutura de processamento de dados criada usando Ab Initio Express>It. Isso resultou em milhões de dólares gastos em custos de licenciamento e desenvolvimento para realizar as operações de ETL necessárias para lidar com as configurações complexas de seus clientes de varejo. Além disso, havia mais de 700 códigos de varejista em um sistema Syncsort legado, o que aumentava os custos de manutenção.

Depois de analisar os problemas e lacunas no gerenciamento de dados que estavam afetando a eficiência e os custos dos processos do cliente, a Marlabs propôs um POC de gerenciamento de big data para criar um mecanismo unificado de ingestão de dados. O Trifacta Designer Cloud foi escolhido em vez de uma estrutura Python após uma avaliação completa.

Comparado com Ab Initio Express>It e Syncsort, o Trifacta é leve, econômico e fácil de usar. Ele tem uma simulação integrada baseada em IA que ajuda os usuários a escolher a lógica de transformação correta. Com sua rica UI/UX, o Trifacta também permite que os usuários finais façam a maioria das mudanças que eram possíveis no Ab Initio Express>It somente por meio de codificação. Como parte do projeto, mais de 1.400 fluxos de POS foram migrados do Ab Initio Express>It e dos sistemas Syncsort legados para o ambiente Trifacta.

Ao longo de cinco anos de contrato, a Marlabs participou de mais de 300 chamadas diárias de Scrum com a equipe americana do cliente, entregou 715 parceiros de feed de dados à equipe de produção, converteu 657 preparações de ACE e 740 de Syncsort para a Trifecta, produziu uma extensa biblioteca de documentação no OneNote, criou um currículo de transferência de conhecimento com mais de 30 horas de treinamento (para uma nova equipe de fusões e aquisições), carregou (e recarregou) inúmeros volumes dados e, como o cliente observou em uma comunicação com a equipe da Marlabs, “tornou-se um excelente parceiro para as inúmeras equipes, especialmente para o legado DI Equipe de desenvolvimento.”

Resultados

As soluções criadas pela Marlabs tiveram o impacto necessário. Os problemas de integração de varejistas foram reduzidos drasticamente em ~ 12% em relação ao ano anterior, enquanto os varejistas de integração melhoraram de aproximadamente 5 semanas para 1 semana. Economias consideráveis foram desbloqueadas. O processo de enriquecimento de dados contribuiu com aproximadamente $300.000 em relação ao ano anterior, e a redução no esforço manual resultou em uma economia de aproximadamente $2 milhões em dois anos.

Ab Initio Express>Foi desativado no final da implementação do Trifacta. Isso resultou em uma economia anual de custos de licenciamento de aproximadamente $1,5 milhão. Além disso, os esforços de desenvolvimento e aprimoramento necessários para atender ao tratamento de arquivos de diferentes varejistas foram totalmente eliminados. Isso resultou em uma economia anual de aproximadamente $600.000. O sistema antigo Syncsort será desativado até o final de 2023.

Alguns dos benefícios adicionais que a migração criou foram transferir dados e conhecimentos de indivíduos para um repositório comum e abrir novos caminhos de negócios por meio da sincronização de dados com o POS do varejista.

Impacto

• Acesso simplificado aos dados de toda a empresa
• Economia de aproximadamente 2 milhões de dólares em dois anos por meio da redução do esforço manual
• Redução de 12% ano a ano nos problemas de integração de varejistas
• Redução de 80% no tempo necessário para a integração de varejistas
• Estabeleceu uma base de dados em nuvem escalável
• Economia anual de aproximadamente 1,5 milhão de dólares em custos de licença
• Eficiência operacional e agilidade aprimoradas
• Economia anual de aproximadamente $600 mil em custos de desenvolvimento
• Governança e conformidade de dados aprimoradas
• Permitiu insights em tempo real para decisões mais rápidas