Big Data e Dark Data — Dados uteis e inúteis…

Janete Ribeiro
4 min readApr 28, 2021

--

fonte: desconhecido

O “Big Data” já é bem conhecido por todos, o “Dark Data” nem tanto. Talvez exatamente por isso ele se tornou “Dark Data”.

Dentro dos grandes volumes de dados gerados e coletados diariamente por empresas e governos, há sempre alguns que são pouco utilizados, ou que foram coletados sem necessidade, ou ainda que geramos sem nenhum propósito útil.

Enfim, esses dados são armazenados junto com os outros, e geram custo de armazenamento seja em ambiente de nuvem ou nos servidores das empresas, ou ainda na memoria do seu próprio celular.

Seja aonde for que os dados não utilizados estejam armazenados, eles estão gerando custos para empresa. Basta calcular o TCO (Total Cost of Ownership), em português Custo Total de Propriedade, indicador muito utilizado para avaliar ferramentas de tecnologia.

Em tempos de adequação às regras de Privacidade de Dados e Governança, não mais apenas por questões internas mas sim para atender a exigências legais (LGPD¹/GDPR²) e de mercado (ESG³), é importantíssimo se atentar a gestão de todo ciclo de vida dos dados, e aí armazenar apenas aquilo que for útil para o negócio, ou uma exigência legal.

Quando utilizamos alguma metodologia de governança de dados, como por exemplo a proposta pelo Data Management Association (D.A.M.A. ), uma associação internacional que criou padrões de gestão e governança de dados, o DMBOOK, que serve como orientação para profissionais da área elaborarem programas de Governança de Dados.

fonte: desconhecida

Quando falamos de armazenamento de dados que não serão utilizados, podemos estar nos expondo a riscos de multa, devido a infração ao princípio de “Finalidade” da LGPD¹, que determina que os dados coletados devem corresponder a propósitos legítimos, específicos, explícitos e informados ao titular, sem possibilidade de tratamento posterior de forma incompatível com essas finalidades (art. 6º da LGPD¹). Portanto, dados esquecidos no “porão” do Datacenter ou nas nuvens escuras da empresa, podem se transformar em pesadas multas.

Mas vamos aos cálculos, você sabe calcular o TCO dos dados que tem armazenados hoje e não acessa ou atualiza há tempos?

Vamos lá então, para calcular o TCO de “on premise” ou seja, aquele em que a própria empresa tem a responsabilidade de processar suas aplicações de hardware e software:

· Custos Operacionais: custos de trabalho para manutenção de servidores, bancos de dados, instalações físicas, equipe e outros gastos relacionados aos sistemas internos;

· Custos Administrativos: relacionados aos gastos para manter o departamento de TI, como recursos humanos, gestão da equipe, compras, entre outros;

· Custos indiretos: Como a indisponibilidades da infraestrutura, perda de produtividade obsolescência de equipamentos, infraestrutura de rede indisponível ou até ataques cibernéticos. Para esse tipo de custo, é necessário analisar a frequência com que os servidores ficam inativos e o custo da recuperação de dados (não utilizáveis).

Fórmula TCO: TCO = CM + PC + F + M + O + CD — VD

Onde:

CM = Custo dos Materiais secundários ou complementares

PC = Preço de Compra

F = Frete e transporte

M = Custos de manutenção

O = Custos de operação

CD = Custos de Descarte

VD = Valor de Descarte

Quando falamos do ambiente em nuvem, em verdade você reduzirá muito o TCO, já que não terá mais muitos dos custos de infraestrutura, porém deverá avaliar os custos com taxas e consultorias especializadas, já que o tipo de profissional para lidar nestas novas tecnologias é raro atualmente. Sendo assim vale observar os seguintes custos para o cálculo do TCO no ambiente de nuvem:

· Recursos internos (tempo da TI e de qualquer outra equipe interna);

· Licenças de software usadas ou perdidas na transição para nuvem;

· Assinatura de nuvem ou taxas de serviço;

· Serviços profissionais para dar suporte à migração;

Como podem ver, manter dados não utilizáveis armazenados, ou seja, o “Dark Data” pode custar caro em qualquer ambiente.

fonte: desconhecida

Sendo assim, é melhor dedicar um pouco mais de tempo na governança de dados, aproveitando o momento da adequação às leis de proteção de dados para aplicar o “Princípio da Finalidade”, e manter apenas aquilo que for realmente útil para empresa e autorizado pelos donos dos dados.

¹Lei Geral de Proteção de Dados do Brasil;

²General Data Protection Regulation — Regulamentação Geral de Proteção de Dados da União Européia;

³Environmental, Social and Governance — Governança Ambiental, Social e Corporativa refere-se aos três fatores centrais na medição da sustentabilidade e do impacto social de um investimento em uma empresa ou negócio.

Fontes:

Site Marketwatch — https://www.marketwatch.com/press-release/dark-analytics-market-estimated-to-surpass-11-billion-by-2026-2021-04-23

Site D.A.M.A. — DAMA Data Management Knowledge System Guide (Original Book 2nd Edition) — https://www.dama.org/

Site Governo digital — Guias Operacionais para Adequação a LGPD — https://www.gov.br/governodigital/pt-br/governanca-de-dados/guias-operacionais-para-adequacao-a-lgpd

--

--

Janete Ribeiro
Janete Ribeiro

Written by Janete Ribeiro

AI/ML Specialist, Chief Data Officer Certified by MIT, MsC Business Administration, SENAC University Professor

No responses yet