Como uma organização sem fins lucrativos moderniza seus dados com um data warehouse centralizado

Desafio

O cliente é uma organização sem fins lucrativos cujo objetivo principal é criar um futuro em que todas as crianças nos Estados Unidos tenham a oportunidade de obter uma educação pública de alta qualidade. Eles fornecem dados, ferramentas, pesquisas e orientação estratégica para comunidades, candidatos e autoridades eleitas, para que tenham os recursos necessários para fazer mudanças informadas, sistêmicas e de longo prazo nas escolas públicas para causar o maior impacto possível.

Antes de o cliente se envolver com a Marlabs, eles não tinham um método definido para relatórios centralizados e nenhuma estratégia de dados implementada para apoiar casos de uso operacional de negócios. O cliente não estava apenas usando processos manuais para extrair resultados, mas também estava produzindo esses relatórios em vários conjuntos de ferramentas, todos em diferentes estágios de maturidade, de planilhas a plataformas comerciais.

Essa estrutura descentralizada era demorada e impedia que nosso cliente atingisse todo o seu potencial operacional porque seus dados eram inconsistentes e difíceis de combinar entre as fontes. A falta de iniciativas focadas em dados fez com que nossos clientes tivessem uma visão limitada de seus dados e funcionários que desconheciam os dados que possuem, onde eles residem e como eles podem beneficiar sua função.

O cliente sabia que precisava engajar as mentes dos engenheiros especialistas da Marlabs para estabilizar sua estratégia de dados e fornecer relatórios eficientes em termos de tempo, confiáveis, precisos e acessíveis.

Abordagem

A Marlabs abordou este projeto com três metas principais para melhorar o processo de geração de relatórios para a organização. Esses objetivos principais são:

1. Estabeleça um data warehouse centralizado.

2. Unifique o pipeline de dados o máximo possível.

3. Crie esquemas de relatórios verdadeiros nos quais os usuários finais confiem como fonte de verdade.

Para atingir esses objetivos, a Marlabs teve que projetar um data warehouse centralizado que permitisse ao cliente monitorar, acessar e compartilhar dados nos quais pudesse confiar. Antes que as decisões pudessem ser tomadas sobre o que precisava mudar, a equipe precisava entender os procedimentos atuais do cliente e como seus dados estavam afetando cada departamento.

Fase 1: Avaliação do estado atual

Usando nossa Plataforma de Análise Moderna (MAP), nossa equipe conduziu uma avaliação completa de sua estratégia, execução e capacitação de dados e compilou as principais observações e descobertas para avaliar suas lacunas atuais e definir seus resultados ideais.

Durante essa fase, a Marlabs conduziu uma série de workshops de descoberta, onde entrevistaram representantes técnicos, proprietários de sistemas e dados e representantes comerciais em várias áreas funcionais. Esse processo coletou um inventário completo de todas as fontes de dados, requisitos de negócios, casos de uso e uma análise completa de toda a infraestrutura e tecnologias atuais. Com uma compreensão completa de como os dados foram criados, coletados e utilizados na organização até esse momento, a equipe conseguiu determinar as necessidades do cliente e fornecer recomendações para estabelecer uma estrutura de relatórios de dados modernizada.

Fase 2: Principais lacunas e recomendações

Com o uso de nossa avaliação MAP, a Marlabs conseguiu identificar as principais lacunas nos processos atuais do cliente e determinar onde as mudanças precisam ser implementadas para modernizar seus dados. Com base nessas descobertas, a equipe compilou suas principais recomendações para levar o cliente ao estado futuro de operação desejado.

Estratégia de dados: A equipe reconheceu que um dos maiores obstáculos do cliente era a incapacidade de confiar em seus dados ao tomar decisões. A Marlabs recomendou o estabelecimento de uma estratégia de dados focada em fornecer valor ao negócio. Essa estratégia deve consistir em várias iniciativas, incluindo o estabelecimento de um processo de gerenciamento de demanda para entrada e priorização e a garantia de que a linhagem de dados seja bem compreendida para que os dados possam ser usados na tomada de decisões.

Arquitetura de dados: O cliente já tinha uma plataforma Snowflake, mas ainda precisava de uma maneira melhor de integrar dados que fosse compreensível e acessível aos proprietários de empresas. A equipe sugeriu que o cliente utilizasse o Snowflake como um data warehouse operacional definindo os canais de dados de várias fontes para o Snowflake, estabelecendo uma estratégia de ETL/ELT e implementando procedimentos de modelagem de dados.

Ferramentas: Durante essa fase, a equipe também fez recomendações de ferramentas que poderiam ajudar o cliente a modernizar suas práticas de dados. Eles recomendaram o FiveTran como uma ferramenta de integração padrão para seu Snowflake e conector de origem, e é uma ferramenta SaaS. O cliente estava usando processos manuais para gerar relatórios, o que era demorado e ineficiente, então a equipe sugeriu a adoção do Power BI para relatórios operacionais internos para fornecer uma maneira visualmente interativa de obter insights de negócios e oferecer suporte ao autoatendimento. A solução final de plataforma que a equipe recomendou ao cliente foi a Profisee para estabelecer uma política de governança de dados para apoiar o acesso, o uso, a qualidade dos dados e o catálogo de dados.

Fase 3: Transição para o estado futuro

Na fase final dessa parceria, a Marlabs ilustrou o ideal “antes e depois” do ambiente de dados de produção do cliente e detalhou fluxos de trabalho e atividades para realizar essa transição. A equipe forneceu ao cliente um guia passo a passo para criar e implementar um data warehouse centralizado. Esses fluxos de trabalho abordados neste guia são:

• Governança de dados

• Gestão da demanda

• Armazenamento/Armazenamento de dados

• Integração de dados

• Plataforma de BI

• Criação de painel

Para cada um desses fluxos de trabalho, a equipe explicou as atividades recomendadas para concluir esses projetos. Essas atividades detalharam os processos, treinamentos e ferramentas que devem ser considerados durante o processo de implementação.

Resultado

Durante essa parceria, a Marlabs forneceu ao cliente uma visão completa de seu estado atual, análise de lacunas e visão futura de um data warehouse consolidado com um roteiro de implementação completo para execução. Incorporados a esse roteiro estão novos processos e soluções para governança e gerenciamento de dados que garantirão a qualidade, a integridade e a segurança de acesso de seus dados no futuro.

O resultado foi um sistema de dados e uma infraestrutura muito mais simples e consolidados do que o cliente começou ou imaginou que precisaria. A fonte de dados aprimorada exigiu menos etapas entre a coleta e a emissão de relatórios, reduzindo possíveis problemas e melhorando a segurança e a estabilidade gerais.

Esse engajamento permitiu que nosso cliente atendesse melhor sua comunidade com informações de dados mais oportunas e fáceis de ler, além de impulsionar suas capacidades de arrecadação de fundos por meio de uma melhor coleta e análise das informações dos doadores. Além disso, a nova solução automatizada de gerenciamento de dados melhorou muito sua confiança nos dados como organização.