Introdução: Por que você deve se preocupar em tratar os dados como um produto

“Sem big data, você fica cego e surdo no meio da rodovia.” — Geoffrey Moore, Palestra principal do Hadoop Summit, 2012

Em 2012, as organizações correram para coletar dados. Agora nós acumular dados, mas ainda assim têm dificuldade em entendê-los.

A maioria das empresas compartilha obstáculos semelhantes: sistemas isolados, um fluxo implacável de dados, dados redundantes, baixa qualidade, obstáculos de integração, insights lentos, altos custos operacionais e riscos crescentes de segurança e conformidade.

A resposta típica é adicionar funcionários ou adquirir uma nova plataforma. No entanto, se suas dificuldades ainda persistirem, isso significa que você não chegou à raiz do problema.

O verdadeiro problema é que a arquitetura tradicional de gerenciamento de dados que a maioria das organizações usa foi criada para atender às necessidades tecnológicas e comerciais de ontem. Armazéns de dados centralizados, pipelines rigidamente controlados e sistemas isolados estão se desintegrando sob a pressão das demandas modernas, uma explosão de dados complexos e a necessidade de velocidade e escala.

Qual é a solução?

A única maneira de resolver o problema é repensar a forma como você lida com os dados.

A abordagem de dados como produto é um paradigma moderno de gerenciamento de dados projetado para fornecer informações oportunas e confiáveis ao empacotar os dados como “produtos” bem definidos com propriedade clara, padrões de qualidade e foco no consumidor.

Os produtos de dados são facilmente descobertos e acessados, interoperáveis e reutilizáveis, o que elimina os silos e transforma os dados brutos em um ativo estratégico que oferece valor comercial mensurável.

Imagine recuperar a confiança em seus dados e usá-los para obter insights oportunos, inovar, oferecer personalização e acelerar análises avançadas, aprendizado de máquina e IA.

As organizações líderes já estão obtendo resultados. A Harvard Business Review relata: “As empresas que tratam os dados como um produto podem reduzir o tempo necessário para implementá-los em novos casos de uso em até 90%”.

A Gartner até nomeou “produtos de dados altamente consumíveis” como a principal tendência de dados e análises para 2025.

Neste artigo, daremos uma breve visão geral do pensamento do DAaP e como ele se encaixa em uma arquitetura de malha de dados maior. Para uma motivação mais profunda, orientação prática e conselhos críticos sobre o que você deve ou não fazer, baixe nosso whitepaper, Paradigma de dados como produto: como as empresas líderes desbloqueiam seus dados e seu whitepaper complementar, Arquitetura de malha de dados: como as empresas líderes vencem com dados.

O que é o paradigma DAaP?

O paradigma DAaP aplica o pensamento de gerenciamento de produtos à forma como gerenciamos e entregamos dados. Em vez de tratar os dados como não intencionais subproduto de atividades digitais, O pensamento do DAaP trata os dados como um produto de alto valor projetado intencionalmente para atender casos de uso específicos e atender às necessidades do usuário.

A mudança para uma abordagem DAaP não se trata de comprar outra ferramenta. Trata-se de mudar sua mentalidade de dados e desbloquear uma nova maneira poderosa de agregar valor a partir dos dados que você já tem.

O DAaP está pensando o mesmo que um produto de dados?

Não. O pensamento DAAP é um filosofia onde você trata os dados como um produto que você planeja, projeta, cria e itera pensando no cliente.

Um produto de dados é a saída tangível de uma abordagem DAaP: um produto ou ativo autônomo consumível e reutilizável com proprietários definidos, um ciclo de vida completo e um impacto comercial mensurável.

Um produto de dados não é apenas uma tabela ou um painel bruto. É um conjunto de dados gerenciado, documentado, versionado e detectável projetado para reutilização, que incorpora dados de várias fontes. Você cria um produto de dados com especificações e qualidade tão claras que alguém pode reutilizá-lo de maneiras que você nunca imaginou.

Um produto de dados pode extrair dados de várias fontes para responder a uma pergunta comercial ou abordar um caso de uso. Ele também pode realizar cálculos e gerar novos dados, caso ainda não existam em outros lugares da organização.

Os produtos de dados variam em complexidade. Aqui estão alguns exemplos:

• Perfis de clientes em 360 graus
• Pontuação de risco corporativo
• Probabilidade de falha do equipamento
• Dados de gerenciamento de desempenho
• Inventário, demanda e previsão de estoque
• Cubo de análise de gastos
• Desempenho e gastos do fornecedor
• Dados demográficos e rotatividade da força de trabalho
• Atribuição de canais de marketing

Como o paradigma DAaP se encaixa na malha de dados

O paradigma de dados como produto serve como base fundamental e pilar da malha de dados, que é um modelo sociotécnico, arquitetônico e organizacional que descentraliza a propriedade e a entrega de dados. Ao estabelecer uma nova forma de pensar sobre dados, as organizações abrem caminho para os outros três pilares da malha de dados:

• Propriedade orientada pelo domínio
• Acesso por autoatendimento
• Governança computacional federada

O resultado dessa arquitetura é que as equipes de domínio criam produtos de dados com objetivos específicos de acordo com uma estrutura de governança organizacional compartilhada, que os usuários acessam por meio de uma plataforma de dados de autoatendimento. Lá, eles podem visualizar os produtos de dados e se aprofundar nas descrições e especificações de cada produto, assim como nas compras on-line. As permissões baseadas em funções, então, controlam a extensão da visibilidade e fornecem segurança.

Tudo isso se une para criar e fortalecer um ecossistema em que todos, incluindo líderes de negócios, equipes de TI e equipes de domínio funcional, veem os dados como um produto valioso e projetado intencionalmente.

Visualize o que é possível com o DAaP Thinking & Data Mesh

Reserve um momento para imaginar como isso pode impactar sua organização.

• Em vez de esperar semanas para que a TI crie novos relatórios, você obtém respostas instantaneamente por meio do acesso por autoatendimento a dados precisos e pré-embalados que estão prontos para uso.
• E se suas equipes de vendas não precisassem mais procurar planilhas e seus analistas de dados não perdessem mais tempo valioso reconciliando fontes de dados conflitantes com apenas uma solicitação? Em vez disso, eles encontram respostas instantâneas às perguntas por meio do acesso por autoatendimento aos dados pré-compactados.
• Como mudaria sua empresa ter dados atualizados e precisos sobre clientes, inventário e operações disponíveis a qualquer momento por meio de um mercado de produtos de dados?
• Que tipo de personalização você poderia oferecer com uma visão clara de 360 graus de seus clientes e como isso afetaria o engajamento?
• Com que rapidez você pode fazer previsões ou encontrar respostas para perguntas de negócios por meio de dados selecionados e prontos para uso para análises avançadas, aprendizado de máquina e iniciativas de IA?
• Que tipo de inovações e possibilidades você poderia desbloquear com uma riqueza de dados limpos e consistentes na ponta dos dedos?
• Com que facilidade as equipes multifuncionais poderiam colaborar se os produtos de dados de todos fossem acessíveis e gerenciados por meio de governança compartilhada e práticas consistentes de gerenciamento de produtos?

A diferença entre uma abordagem DAaP e as abordagens tradicionais de gerenciamento de dados

Fundamentalmente, o DAaP muda a forma como os dados são possuídos, gerenciados e fornecidos.

No gerenciamento tradicional de dados, os dados são uma reflexão tardia, um subproduto de interações, transações e processos digitais. Com uma abordagem de dados como produto, os dados são intencionalmente projetados e empacotados para casos de uso e usuários finais específicos.

No gerenciamento tradicional de dados, sistemas monolíticos centralizados e de propriedade da TI armazenam dados. Com uma abordagem de dados como produto, os produtos de dados de propriedade do domínio descentralizam a propriedade e se alinham ao contexto comercial por meio de um mercado de dados de autoatendimento.

No gerenciamento tradicional de dados, as organizações têm uma plataforma de análise separada e canais desconectados. Com uma abordagem de dados como produto, os produtos são criados para serem integrados e interoperáveis em todos os domínios.

No gerenciamento de dados tradicional, os ativos de dados são criados de forma reativa; as equipes de TI ou de dados recebem solicitações em uma fila e não conseguem atendê-las rapidamente. Com uma abordagem de dados como produto, os produtos de dados são criados de forma proativa; os usuários corporativos também têm acesso autônomo a outros produtos de dados.

No gerenciamento tradicional de dados, as empresas experimentam visibilidade limitada e confiança questionável em seus dados. Com uma abordagem de dados como produto, os usuários confiam e confiam nos produtos de dados porque eles são transparentes, detectáveis e documentados.

No gerenciamento tradicional de dados, os relatórios estáticos ficam rapidamente desatualizados e a criação de novos painéis é demorada. Com uma abordagem de dados como produto, os ativos vivos e em evolução da organização podem ser acessados em tempo real.

No gerenciamento tradicional de dados, a reutilização limitada de dados faz com que os esforços sejam duplicados entre as equipes. Com uma abordagem de dados como produto, os ativos reutilizáveis se adaptam às necessidades da empresa, e não é necessário que as equipes comecem do zero.

No gerenciamento tradicional de dados, não há propriedade clara dos ativos de dados. Com uma abordagem de dados como produto, proprietários de produtos designados e responsáveis definem um roteiro, ciclo de vida e ciclos de feedback.

Como implementar o DAaP

Cada empresa tem necessidades diferentes, mas aqui está um roteiro de alto nível que explica como implementar o DAaP:

• ‍Escolha um parceiro de negócios engajado com uma compreensão clara de seus dados e uma meta ou KPI específico e acionável.‍
• Identifique um caso de uso piloto onde você pode resolver um problema de negócios de alto valor com KPIs claros.
• ‍Crie uma equipe de domínio multifuncional composto por partes interessadas do negócio, engenheiros de dados e proprietários de produtos.
• ‍Defina com qual produto de dados começar, a quem atenderá, sua finalidade, métricas de qualidade e expectativas definidas de atualização e disponibilidade dos dados.
• ‍Estabeleça uma plataforma de autoatendimento fornecendo a infraestrutura para descoberta, acesso e automação futura.
• ‍Aplique o pensamento do produto para que você trate os dados como trataria o software, com controle de versão, documentação, desenvolvimento iterativo e ciclos de feedback.
• ‍Implemente a governança federada, definindo padrões organizacionais de segurança, privacidade e interoperabilidade com domínios encarregados de gerenciar seus próprios dados.
• ‍Automatize e monitore os produtos de dados, adicionando observabilidade, verificações de qualidade automatizadas e painéis de desempenho.
• ‍Escale e itere, expandindo para domínios adicionais, reutilize sugestões e refine continuamente os produtos de dados para se alinharem às mudanças nos negócios e aos comentários dos usuários.

A Marlabs facilita a entrada dos clientes no mundo do DAaP executando um pequeno piloto manual sem automação. Aplicamos manualmente os princípios “FAIR” (as principais características de um produto de dados: localizável, acessível, interoperável, reutilizável) para estabelecer uma base sólida. Nossos especialistas trabalham com sua equipe para garantir que sigamos rigorosamente os princípios da malha de dados, o que reduz riscos e cria eficiência. O foco desse piloto é demonstrar resultados tangíveis e provar o valor do DAaP antes que sua organização avance.

DAaP em ação: estudo de caso de biotecnologia

A Marlabs ajudou uma empresa líder em biotecnologia a modernizar seu ecossistema de dados de vendas e marketing usando uma abordagem DAaP. Seu antigo data mart de vendas era rígido, manual e incapaz de suportar a propriedade descentralizada ou a tomada de decisões oportunas. A Marlabs implementou uma plataforma baseada em Snowflake com governança, observabilidade e propriedade clara do domínio. Essa transformação eliminou milhares de horas de trabalho manual, capacitou as unidades de negócios a gerenciar seus próprios produtos de dados, melhorou a acessibilidade e a confiança nos dados e estabeleceu as bases para uma cultura de dados escalável e federada.

Resumo

Durante anos, ouvimos falar sobre a democratização dos dados. Agora, por meio do DAAp, ele ganhou vida. Pensar em dados como produto não é uma tendência. É uma necessidade moderna e um caminho prático para transformar seus dados em uma verdadeira vantagem competitiva. Ao tratar os dados como um produto e seguir os princípios da malha de dados, as organizações líderes substituíram com sucesso arquiteturas frágeis e centralizadas por produtos de dados escaláveis e orientados a domínios que fornecem insights confiáveis e reutilizáveis sob demanda.

Quer você comece com um pequeno piloto ou com um único caso de uso de alto valor, o DAaP cria a base para uma inovação mais rápida, uma governança mais forte e dados prontos para IA. A Marlabs oferece orientação e uma estrutura comprovada para transformar desafios avassaladores de dados em uma base para o sucesso futuro. A jornada começa com o conhecimento, e é por isso que criamos nossos whitepapers, Paradigma de dados como produto: como as empresas líderes desbloqueiam seus dados e Arquitetura de malha de dados: como as empresas líderes vencem com dados. Faça o download dos whitepapers para:

• Orientação sobre se a malha de dados é ideal para você (nem sempre é)
• Conselhos sobre o que fazer e o que não fazer na implementação
• Acesso à nossa estrutura para alcançar a maturidade da malha de dados
• Mais exemplos de como os líderes do setor adotaram o DAaP

Entre em contato com a Marlabs para saber mais.