Data-Mesh & Cloud Services
Seguindo no tema “Data-Mesh”, esta nova possibilidade de arquitetura também pode ser utilizada no ambiente de nuvem, como havia comentado no artigo da semana passada.
Reforçando sempre que esta arquitetura é interessante quando a empresa já atingiu um nível alto de maturidade digital. E o que isso significa na prática? Que a empresa como um todo trabalha orientada a dados, todas as áreas demandam produtos analíticos para o desenvolvimento de suas estratégias operacionais.
Significa que cada unidade de negócios ou departamento, já possui profissionais capazes de desenvolver análises complexas manipulando dados, domina tecnologias de tratamento e visualização de dados, bem como conhecem as regras de segurança da informação, leis de privacidade de dados.
Em resumo, todos estariam aptos para assumir as responsabilidades pelo tratamento, análise e publicação dos produtos de dados. Além de quê, quando a empresa atinge este nível de maturidade, ela já se tornou capaz de gerar e armazenar grandes volumes de dados, e as soluções centralizadas de “data warehouse”, “data lakes”, com uma única equipe para gerar produtos de dados já não é mais suficiente para atender as demandas das áreas.
Voltando as características da arquitetura “Data Mesh”, este ambiente descentralizado, permite que os gestores de cada domínio possam ter privilégios para manipular os dados pertinentes a sua área de gestão.
Algumas consultorias já recomendam esta migração de um ambiente “Data warehouse” ou “Data lake” monolítico para um ambiente distribuído “Data Mesh”, que suporta a manipulação de dados específicos por domínio e exibições “dados como um produto”, permitindo que cada domínio manipule seus próprios pipelines de dados. Com isso ganham mais velocidade nos processos de ingestão, armazenamento, transformação e consumo de dados quando comparados ao mesmo processo de um “Data lake” ou hub central.
A arquitetura “Data Mesh” também proporciona novas oportunidades para que cada domínio de negócios e organização possam melhorar a velocidade e a precisão de com que os dados são modelados, controlados e abstraídos da plataforma subjacente.
Esta forma de arquitetura também facilita a adoção de novas tecnologias como “Digital twins” (gêmeo digital), “ IoTs” (internet das coisas) e o ambiente “Edge cloud computing” (computação em nuvem de borda), com a chegada do 5G.
Os grandes players da área de “Cloud Services” já oferecem soluções baseadas neste novo conceito de arquitetura, a Azure (Microsoft) e Amazon(AWS).
Nas minhas pesquisas, encontrei um caso real e público, para que vocês possam ver como funciona na prática esta arquitetura. O caso é do banco de investimentos JP Morgan e utilizando os serviços de nuvem AWS:
· Neste caso apresentado pela própria AWS, os produtos de dados são grupos de dados oriundos dos sistemas que suportam as operações comerciais do banco;
· Que são armazenados de acordo com cada produto de dados. em seu próprio “data lake”;
· Cada “data lake” tem sua própria camada de armazenamento baseada em nuvem, que são catalogados e esquematizados para cada “data lake” no seu respectivo serviço de nuvem (Cloud);
· No exemplo foram utilizados os serviços Amazon Simple Storage Service (Amazon S3) e serviços de integração de dados como AWS Glue para fornecer esses recursos;
· Os serviços que consomem dados são hospedados em domínios de aplicativos do consumidor;
· Esses aplicativos de consumidor são fisicamente separados uns dos outros e dos respectivos “Data Lakes”. Quando um consumidor de dados precisa de dados de um ou mais dos “Data lakes”, são utilizados os serviços de nuvem (cloud services)para tornar os dados do outro “Data lake” visíveis aos consumidores de dados.
· Também são fornecidos outros serviços em nuvem para consulta de dados diretamente dos “Data lakes”. Pode-se usar serviços como o AWS Glue Data Catalog para tornar os dados visíveis, AWS Lake Formation para compartilhar dados com segurança e Amazon Athena para consultar os dados de forma interativa.
Como podem ver, o ganho em agilidade e produtividade é facilmente perceptível. Mas o custo de gestão e manutenção deste tipo de ambiente é alto e requer uma equipe altamente capacitada.
Fechamos assim essa nossa análise sobre a arquitetura descentralizada de governança de dados. Quem tiver mais dúvidas sobre o tema, pode mandar perguntas nos comentários. Se eu não souber vou buscar quem sabe!
Fontes:
Data Mesh Principles and Logical Architecture — https://martinfowler.com/articles/data-mesh-principles.html
IDC — Digital Maturity — https://www.idc.com/
Blog Avanade — https://www.avanade.com/en/blogs/techs-and-specs/data-and-analytics/from-data-lakes-to-data-mesh-rethinking-platform-modernization
How JPMorgan Chase built a data mesh architecture to drive significant value to enhance their enterprise data platform — https://aws.amazon.com/pt/blogs/big-data/how-jpmorgan-chase-built-a-data-mesh-architecture-to-drive-significant-value-to-enhance-their-enterprise-data-platform/
