A hora e a vez do “AA” — Augmented Analytics
Dentre aas siglas da área de tecnologia da informação, o “Augmented Analytics” já existe há um bom tempo, cerca de uns 5 anos. Alguns já devem ter ouvido falar, mas certamente com a maior popularização da “IA”, Inteligência Artificial nos últimos anos esta técnica vem ganhando mais força dentro dos grandes provedores de soluções de análise de dados e sendo mais adotada pelas grandes corporações orientadas a dados.
Mas, para quem não conhece bem este conceito, o “Augmented Analytics” ou “Análise Aumentada” em português, é a combinação de técnicas como machine learning, linguagem natural e inteligência artificial para automatizar o processo mais pesado da análise de dados, o tratamento de dados.
A etapa de coleta, armazenamento e tratamento de dados, como eu já comentei em outros artigos por aqui, consome 70% do tempo de um projeto de Big Data e Analytics. O conceito de “Augmented Analytics” utiliza-se de algoritmos para automatizar esse processo, que na maioria dos casos, são executados etapa por etapa pelos engenheiros de dados.
Isso não quer dizer que estaríamos extinguindo a função de engenharia de dados, muito pelo contrário, estaríamos otimizando, pois escassos, os engenheiros de dados eles já o são. A ideia é automatizar o máximo possível, para que os poucos engenheiros de dados que existem, consigam completar as atividades do projeto e preservarem o mínimo de tempo para se ter uma vida pessoal.
Dentro do ciclo de vida dos dados (Coleta, Tratamento, Análise, Visualização, Armazenamento), as ferramentas de “AA” permitem maior produtividade nas etapas de maior complexidade e permitirão uma distribuição mais democrática dos dados para as áreas “consumidoras” ou “tomadoras de decisões”.
No infográfico a seguir, busco sumarizar como isto ocorre:
1. Na etapa de coleta de dados, APIs e MLs de orquestração de processos, podem coletar dados brutos on-line e em real-time e armazená-los no repositório centralizado de acordo com a arquitetura de dados da organização (Data Lake, Delta Lake, DW, etc). vamos sim precisar dos engenheiros de dados para configurar este processo, depois de testado ele seguira seu aprendizado de melhoria contínua;
2. Na etapa de tratamento, o uso de técnicas de reinforced learning, deep learning permitirão de acordo com a estratégia da organização, preparar diferentes datasets de acordo com as diversas áreas de monitoria, validando “bias” e garantindo a qualidade do dado coletado;
3. A análise utilizando-se de recursos de NLP, permitirão a detecção antecipada de “sinais fracos”, tendências, para que os analistas de negócios possam buscar se aprofundar e extrair insights deste conteúdo “pré-analisado” através dos algoritmos.
4. A Distribuição e operacionalização, também pode ser feita através do uso de NLP e IA para direcionar às áreas especificas, os alertas em tempo real, de possíveis ameaças ou oportunidades de acordo com a área de negócios. Caberá a este especialista validar se trata-se de um falso positivo ou não. A partir dessa interação o sistema “reaprende” e gera-se a melhoria contínua do processo.
Como podem ver, as soluções de “Augmented Analytics” não vieram para substituir humanos, mas para garantir melhor produtividade e qualidade do trabalho de coleta e análise de dados.
No mercado temos vários provedores desses serviços, mas também é possível criar uma solução “home-made” que atenda as pequenas e médias organizações.
Mas falaremos dessas possibilidades de arquitetura em nossos próximos artigos.
Fontes:
Site Gartner “Augmented Analytics” — https://www.gartner.com/en/information-technology/glossary/augmented-analytics#:~:text=Augmented%20analytics%20is%20the%20use,in%20analytics%20and%20BI%20platforms.
Site Medium “The practical benefits of augmented analytics” — https://medium.com/dataseries/the-practical-benefits-of-augmented-analytics-5a6fa4031c0b
