Experience On / Big Data

Big Data: por que seu potencial é tão fantástico e tão assustador ao mesmo tempo

por Elcio Santos - 27/08/2021

Todo dia é gerado um Everest de dados. Você tem a opção de ser soterrado por eles ou escalá-los para conseguir superar os desafios que tem à frente.

Não estou exagerando.

O Instituto Gartner calculou em 2019 que eram gerados a cada dia 2,2 milhões de terabytes de dados.

Nesse ritmo, já ultrapassamos um total de 40 trilhões de gigabytes de dados acumulados em todo o mundo.

A boa notícia é que essa imensa quantidade de dados está disponível para você.

A má notícia, entretanto, é que apenas um pequeno volume dessa cordilheira de everests – o Big Data – é constituído por dados estruturados em algum data warehouse corporativo, que você pode acessar eficientemente para embasar suas decisões de negócio — principalmente se sua empresa pretende ser “customer-centric”.

A grande maioria são dados não estruturados, praticamente impossíveis de serem utilizados em seu estado bruto.

Para funcionar, é preciso acrescentar um novo termo nessa equação: Big Data Analytics

Big Data vs. Big Data Analytics

Como disse acima, o termo “Big Data” refere-se a um volume de dados que é tão grande, rápido ou complexo que é difícil senão impossível de processar, usando métodos tradicionais.

O ato de acessar e armazenar grandes quantidades de informações para análises existe há muito tempo, mas o conceito de Big Data ganhou impulso no início dos anos 2000, quando Doug Laney, analista do Gartner, deu contornos mais nítidos à definição de Big Data, na medida em que a articulou em torno de três dimensões, os cinco V’s:

Volume

As organizações coletam dados de uma variedade de fontes, incluindo transações comerciais, dispositivos inteligentes (IOT), equipamentos industriais, vídeos, mídias sociais e muito mais.

No passado, o armazenamento teria sido um problema – mas agora o armazenamento em datalake e Hadoop reduziram o problema.

Velocidade

Com o crescimento da Internet das Coisas, os fluxos de dados para empresas ganharam uma velocidade sem precedentes e devem ser tratadas em tempo hábil.

Tags, sensores e medidores inteligentes estão dirigindo a necessidade de lidar com essas torrentes de dados em tempo quase real.

Variedade

Os dados são em todos os tipos de formatos – de bancos de dados tradicionais a bancos de dados de texto não estruturados, e-mails, vídeos, áudios, dados de ticker e transações financeiras.

Com o passar do tempo, duas outras dimensões foram acrescentadas para ajudar os cientistas de dados a serem mais efetivos e comunicarem melhor as características do Big Data:

Variabilidade

Os fluxos de dados são imprevisíveis — mudando frequentemente e variando muito.

É desafiador, mas as empresas precisam saber quando algo está se tornando uma tendência nas mídias sociais e como gerenciar picos de carga de dados diários, sazonais e acionados por eventos.

Veracidade

Como os dados vêm de muitas fontes diferentes, é difícil vincular, combinar, limpar e transformar dados entre sistemas.

As empresas precisam conectar e correlacionar relacionamentos, hierarquias e múltiplas ligações de dados.

Caso contrário, seus dados podem sair rapidamente do controle.

Essa última dimensão é fundamental.

Sem garantir a qualidade dos dados (data quality), você ainda estará correndo o risco de ficar soterrado por essa montanha de dados – e isso pode afetar até mesmo a experiência do seu cliente (customer experience).

Aqui é onde entra o Big Data Analytics.

O que é Big Data Analytics – e como deve ser utilizado

É um conjunto de processos que ajuda as empresas a obterem insights dos enormes recursos de dados que têm atualmente à disposição.

Envolve a coleta, a estruturação e a análise propriamente dita desses grandes conjuntos de dados – Big Data — para descobrir padrões e outras informações úteis.

Big Data Analytics pode ajudar as organizações a entender melhor as informações contidas nos dados e também ajudar a identificar os dados que são mais importantes para os negócios e futuras decisões de negócios.

Sem isso não se é capaz de obter o conhecimento precioso que pode estar enterrado na montanha de dados.

Esse processo é realizado através de ferramentas de software e aplicativos especializados que podem ser agrupadas na seguintes funções:

  • Análise descritiva para mostrar o que aconteceu
  • Análise de diagnóstico para explicar por que algo aconteceu
  • Análise preditiva para sugerir o que provavelmente acontecerá a seguir
  • Análise prescritiva para dizer aos usuários o que fazer para obter um determinado resultado

De forma separada mas altamente integrada por análises de alto desempenho, realizam os seguintes processos:

  • Data mining, para filtrar os dados para encontrar padrões e relacionamentos
  • Algoritmos estatísticos para construir modelos e prever resultados
  • Aprendizado de máquina para lidar com mudanças e novos dados, além de adaptar e enriquecer modelos
  • Análise de texto e processamento de linguagem natural para analisar texto e fala de forma livre

Para exemplificar o uso, vamos supor que você execute processos de Big Data Analytics em seus dados de vendas anteriores e percebe que a demanda vem crescendo em certas regiões para uma de suas linhas de produtos (análise descritiva).

A partir de dados de mídias sociais e de CRM adicionais, você também descobre que os clientes estão comprando produtos dessa linha de produtos para substituir o produto de um concorrente (análise de diagnóstico).

Adicionando dados de marketing e análises, o potencial de vendas é previsto para cada região onde os clientes podem substituir seu produto atual (análise preditiva).

Em seguida, são feitas recomendações para otimizar a publicidade e os preços para maximizar os lucros das vendas (análise prescritiva).

No mundo real, tomemos o exemplo de uma das maiores operadoras de celulares do mundo.

A francesa Orange lançou seu projeto Data for Development, liberando dados de assinantes para pesquisadores na Costa do Marfim e Senegal.

Os 2,5 bilhões de registros, que foram tornados anônimos, incluíam detalhes sobre ligações e mensagens de texto trocadas entre 5 milhões de usuários.

Os pesquisadores acessaram os dados e enviaram propostas à Orange sobre como os dados poderiam servir como base para projetos de desenvolvimento para melhorar a saúde e a segurança pública.

Os projetos propostos incluíam um que mostrava como melhorar a segurança pública rastreando dados de telefones celulares para mapear para onde as pessoas iam após as emergências; outro mostrou como usar dados celulares para contenção de doenças.

À medida que Big Data Analytics ajuda uma organização a quebrar silos de dados e analisar os imensos volumes de dados à disposição, os negócios podem ser transformados de todas as maneiras.

Os avanços atuais na área permitem que os pesquisadores decodifiquem o DNA humano em minutos, prevejam onde os terroristas planejam atacar, determinem qual gene tem maior probabilidade de ser responsável por certas doenças e, claro, a quais anúncios você provavelmente responderá no Facebook.

Benefícios e desafios

As empresas estão cada vez mais procurando encontrar insights acionáveis sobre seus dados, incluindo a utilização de inteligência artificial.

Muitos projetos de big data originam-se da necessidade de responder a perguntas específicas de negócios.

Com as plataformas analíticas de big data adequadas, uma empresa pode impulsionar as vendas, aumentar a eficiência e melhorar as operações, o atendimento ao cliente e o gerenciamento de riscos.

Uma pesquisa recente da QuinStreet ouviu 540 tomadores de decisões empresariais envolvidos em compras de Big Data para saber em quais áreas de negócios as empresas planejam usar Big Data Analytics para melhorar as operações.

Cerca de metade de todos os entrevistados disseram que estavam aplicando as análises para melhorar a retenção de clientes, ajudar no desenvolvimento de produtos e obter vantagem competitiva usando data analytics com uma das estratégias.

Notadamente, a área de negócios que recebe mais atenção está relacionada ao aumento da eficiência e otimização das operações.

Especificamente, 62% dos entrevistados disseram que usam Big Data Analytics para melhorar a velocidade e reduzir a complexidade.

Mas nem tudo são flores.

Para a maioria das organizações, Big Data Analytics é um grande desafio, pois envolve navegar eficazmente por todas as dimensões do Big Data.

Considere o grande volume de dados e os diferentes formatos dos dados (dados estruturados e não estruturados) que são coletados em toda a organização e as muitas maneiras de diferentes tipos de dados podem ser combinados, contrastados e analisados para encontrar padrões e outros negócios úteis em formação.

O primeiro desafio é quebrar os silos de dados para acessar todos os dados que uma organização armazena em locais diferentes e, frequentemente, em sistemas diferentes.

Um segundo desafio é criar plataformas que possam extrair dados não estruturados tão facilmente quanto dados estruturados.

Este enorme volume de dados é normalmente tão grande que é difícil processá-lo usando métodos tradicionais de banco de dados, software e sem uma adequada governança de dados.

Vamos descomplicar?

Você certamente vai precisar estar ao lado de quem tem o conhecimento e a experiência para desenhar o mapa que irá ajudá-lo a usar as trilhas certas que o levarão até o topo do Everest.

Podemos conversar sobre isso.

Sem compromisso.

Mas com a garantia de que iremos mostrar as principais tendências atuais de Big Data Analytics.

Envie email para [email protected] parar marcar o melhor dia e horário.

Descomplique já

Fale com um dos nossos especialistas em Estratégia do Consumidor