A2. Projetos de A a Z: Conceitos Básicos

< VOLTAR AO CURSO

Sumário

Vamos nos aprofundar nos conceitos de ciência de dados para entender melhor como funciona o ambiente de dados sobre o qual iremos fazer nossas análises.


Tipos de dados

Podemos classificar os dados que iremos trabalhar de várias maneiras diferentes. Abaixo vamos verificar algumas delas:

Dados estruturados vs. não-estruturados

Dados estruturados

Os dados estruturados (ou multi-estruturados) são aqueles organizados e representados com uma estrutura rígida, a qual foi previamente planejada para armazená-los, por exemplo um banco de dados, que é a representação mais típica e comum de dados estruturados.

Em um banco de dados, os dados são estruturados conforme a definição de um esquema, que define como as tabelas e suas respectivas linhas e colunas serão armazenadas. Podemos conceituar o esquema de um banco de dados como sendo uma descrição sobre uma organização, ou sobre o minimundo que se deseja representar, definindo quais dados serão armazenados.

Dados não-estruturados

Com o passar dos anos, os bancos de dados passaram a interpretar dados com mais facilidade. Isso aconteceu pelo fato de esses bancos armazenarem informações similares, como planilhas, cálculos, funções e números, o que facilita a forma como esse conteúdo é analisado.

Porém, novos formatos chegaram e eles não são tão facilmente interpretados como antes. Eles são chamados de dados não-estruturados, informações que não estão organizadas ou que não são facilmente entendidas pelos bancos de dados tradicionais e formatos conhecidos de dados. Geralmente, esses elementos são, predominantemente, textos. Metadata de blogs, imagens, e tuítes são exemplos de dados não-estruturados.

Pense em um editar de texto, como o Bloco de Notas ou o Word, vamos adicionando quanto textos queremos, sem qualquer preocupação com campos, restrições ou limites, também podemos adicionar imagens, gráficos e fotos, misturando com os textos que já escrevemos, temos nesse cenário um exemplo de dados não-estruturados.

Você pode lembrar também das redes sociais, onde existe um enorme volume de dados, como textos, imagens e vídeos que são criados diariamente por seus usuários, outro exemplo de dados não-estruturados.

Dados semiestruturados

Além dos dados estruturados e não-estruturados, existe um outro tipo que seria a combinação das duas estruturas, os dados semiestruturados, ou seja, não possuem estrutura totalmente rígida nem estrutura totalmente flexível, sendo uma representação heterogênea.

Um exemplo típico seria um arquivo em XML (Linguagem de Marcação Estendida), o qual possui nós, que são rótulas de abertura e fechamento, precedidos de um símbolo “/”, com os dados inseridos entre os nós.


Representação ilustrativa dos dados estruturados, semiestruturados e não-estruturados.


Baseado na origem do dado:

  • Social Data (dados sociais): a origem são as pessoas, evidenciam características de seu comportamento.
  • Enterprise Data (dados corporativos): a origem são as empresas, evidenciam seus processos, nível de produtividade, entre outros detalhes.
  • Data of Things (dados das coisas): a origem são as informações coletadas em dispositivos IoT (Internet das Coisas), sensores inteligentes e outros equipamentos do tipo.

Big Data

A cada dia mais de 2,5 exabytes (25.000.000.000.000.000.000 de bytes) são criados e esse número praticamente dobra a cada 3 anos, desde 1980. Constantemente mais empresas entendem como — e por que — o Big Data é importante e passam a adotar estratégias que envolvam mais análises de dados e insights a partir dessa análise.


O que é Big Data?

Big data é um termo que descreve o grande volume de dados que inunda uma empresa no dia a dia. Assim, o big data pode ser analisado em busca de insights que levam a melhores decisões e movimentos estratégicos de negócios.

Em relação a esse volume total de dados, o que importa não é necessariamente a sua quantidade, mas o que as organizações fazem com os dados.

Esse grande volume de dados que referenciamos como big data pode ser relativo a qualquer montante de informações de uma empresa ou de um assunto específico (como “ERP”, por exemplo, conceito que veremos mais para frente). O importante é que os dados do big data devem ser acessíveis, não importa se são estruturados (planilhas, tabelas) ou não-estruturados (imagens, blocos de texto), nem por onde são gerados.

Afinal, dados diversos podem compor o big data: desde suas informações de controle de estoque até os dados de navegação do cliente no app do seu negócio. Sejam números, nomes, histórico de acessos, mapas de utilização, dados geográficos, tudo.

Toda empresa “possui” um big data? Sim! No entanto, quanto mais digitalizado for o negócio, mais dados ele terá à disposição no big data. Um exemplo bem simples: uma empresa que fabrica pneus não terá os mesmos dados que uma empresa que fabrica smartphones. Porém, essa empresa de pneus terá outras fontes para consulta, como seu Suporte, o Controle de Qualidade e Pesquisas de Satisfação com consumidores. E tudo isso vai depender, é claro, das ferramentas que ela terá para possibilitar a coleta, o armazenamento e o posterior processamento desses dados.


Os 5 V’s do Big Data

O conceito de big data envolve algumas características, conhecidas como os 5 V’s. São elas:

  • Volume: Como vimos até agora, big data significa um gigantesco volume de dados. A grande quantidade de informações geradas a todo momento está intrinsecamente relacionada a ele. Esse “V” também diz respeito à variedade de fontes utilizadas.
  • Velocidade: Esse item tem a ver com a grande velocidade em que os dados são produzidos hoje em dia. Além das mídias sociais, temos milhões de operações sendo realizadas constantemente. Compras por cartões de crédito, por exemplo, requerem aprovação, bem como vendas e aquisições de ações, análises de flutuações de câmbio de moedas internacionais etc. Uma ferramenta CRM, por exemplo, é capaz de incorporar dados sobre os usuários. Cada processo desses gera dados importantes, que podem ser trabalhados instantaneamente pelas soluções de big data, sem que seja preciso armazená-los.
  • Variedade: O big data envolve uma grande variedade de informações. Não estamos falando apenas de textos e dados convencionais, como os organizados em tabelas e bancos de dados. É mais amplo que isso, pois engloba: Imagens, como fotos, ilustrações, prints de telas etc; Dados de reconhecimentos faciais; Áudios; Vídeos; Dados produzidos por dispositivos via IoT (Internet das Coisas).
  • Veracidade: A veracidade se refere à qualidade dos dados. Como os dados vêm de muitas fontes diferentes, é difícil vincular, combinar, limpar e transformar dados entre sistemas. As empresas precisam conectar e correlacionar hierarquias e múltiplas ligações de dados. Assim, com processos de validação e conferência de dados, ferramentas de big data podem entregar dados mais confiáveis e verídicos, por meio de relatórios, estatísticas e análises, com base em grandes volumes de informações.
  • Valor: As informações produzidas precisam ser relevantes para o negócio. Esse é um dos objetivos do big data: gerar conteúdos que agreguem valor. É por meio deles que os gestores poderão melhorar as suas decisões.

Quais etapas devem ser seguidas ao trabalhar com Big Data?

Antes de começar a utilizar os dados, é preciso entender como essa grande estrutura de informações deve fluir dentro de uma empresa. É preciso considerar que existe todo um ecossistema de fontes, sistemas e usuários a ser levado em conta.

Em geral, há algumas etapas a serem seguidas, como:

  • Definir uma estratégia de big data;
  • Identificar fontes de big data;
  • Acessar, gerenciar e armazenar os dados;
  • Analisar os dados;
  • Tomar decisões baseadas em dados.

Qual é a importância do Big Data?

Como pudemos reparar em todo o estudo do Big Data, ele é de extrema importância para qualquer negócio que busca crescimento e desenvolvimento. Abaixo, vamos listar algumas das principais importâncias e aplicações do Big Data:

  • Possibilidade de fazer uma escuta social/percepção do público;
  • Maior facilidade para segmentação de público e mercado;
  • Realizar análises comparativas para precificação inteligente;
  • Efetuar análises de marketing;
  • Mensurar a satisfação do cliente.

Data Warehouse

O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde, juntamente com a tecnologia da informação, a correta extração destas informações é um fator chave para se conseguir destaque no mercado cada vez mais competitivo.


O que é Data Warehouse?

Um data warehouse consiste em um banco de dados de diversas fontes, normalmente utilizado como base para análises avançadas.

Na prática, para entender o que é um data warehouse e como ele funciona, é preciso antes enxergá-lo como uma solução voltada para empresas.

Ele pode ser compreendido como um suporte para orientar gestores de negócios de todas as áreas em seus processos decisórios.

Ele pode servir como suporte para empresas que atuam no varejo até instituições financeiras e de ensino que precisem de recursos que garantam segurança e transparência em suas operações.


Principais características de um Data Warehouse

Um data warehouse se caracteriza por ser um sistema ativo de prospecção e tratamento de dados para atender a finalidades específicas. Entre as suas principais características, destacamos:

  • Em um DW, são compilados dados relacionais de sistemas transacionais, aplicativos voltados a negócios e bancos de dados operacionais;
  • Os dados precisam ser de qualidade e organizados;
  • Permite consultas mais ágeis, graças à tecnologia de armazenamento local;
  • Pode gerar relatórios em lote, conforme o conceito de Business Intelligence (BI);
  • Os usuários finais geralmente são cientistas de dados, analistas de negócios ou desenvolvedores de dados.

A arquitetura elementar de um armazenamento de dados (DW) tem como base as diferentes fontes de dados online ou em rede. A partir delas, é implementada uma solução chamada “área de datastage”, na qual as informações são coletadas e filtradas – e também onde redundâncias são eliminadas. Essa área é interligada a um data mart, cuja função é realizar uma nova filtragem de dados para enviá-los às ferramentas utilizadas pelo usuário final.


Tipos de Data Warehouse

Embora a estrutura de um data warehouse varie conforme a empresa, em geral, ele pode ser classificado de quatro maneiras, podendo estas serem mescladas simultaneamente.

  • Integrado: Data warehouses integrados têm como principal função gerar relações consistentes entre dados de fontes variadas. Eles são capazes de padronizar informações que vêm de sistemas diferentes, permitindo que, posteriormente, elas sejam tratadas dentro dele.
  • Variável ao longo do tempo: Já os que se caracterizam por ser variáveis ao longo do tempo usam recursos de data mining, que tomam como referência principal um ou mais períodos de tempo. Dessa forma, a mineração de dados não se aplica em tempo real, como acontece em bancos OLTP.
  • Por assunto: Por sua vez, os armazenamentos de dados organizados por assunto são aqueles que atendem aos objetivos de negócios em contextos específicos. Como exemplo, um escritório contábil que precisa listar e cadastrar diferentes clientes e contribuintes, assim como os impostos que eles tenham que apurar e recolher.
  • Não volátil: Dados em data warehouses são sempre tratados para posterior processamento. Isso significa que, antes de eles serem utilizados pelo usuário final, devem passar por processos de exclusão e consultas, nos quais são modificados. Desse modo, eles passam a ser estáticos, ou não voláteis.

Quais são as principais vantagens e desvantagens em usar Data Warehouse nas empresas?

Vamos listar alguns dos principais benefícios de implantar um sistema de data warehouse em uma empresa:

  • Agilidade nas consultas
  • Maior capacidade de processamento de dados
  • Acesso a dados históricos
  • Centralização de dados

No entanto, devemos notar que também existem algumas desvantagens em utilizar este sistema:

  • Dificuldade em integrar com sistemas e softwares legados
  • Problemas no controle de acesso aos dados
  • Complicações ao estruturar dados e para agregar valor a eles
  • Sua estruturação pode ser trabalhosa demais
  • Rápida obsolescência
  • Dificuldade em estabelecer regras para as distintas fases de operação
  • Imprevisibilidade em relação aos problemas.

Lei Geral de Proteção de Dados Pessoais (LGPD)

A Lei Geral de Proteção de Dados Pessoais (LGPD) estabelece diretrizes importantes e obrigatórias para a coleta, processamento e armazenamento de dados pessoais. Ela foi inspirada na GDPR (General Data Protection Regulation), que entrou em vigência em 2018 na União Europeia, trazendo grandes impactos para empresas e consumidores.

No Brasil, a LGPD (Lei nº 13.709, de 14/8/2018) entrou em vigor em 18 de setembro de 2020, representando um passo importante para o Brasil. Com isso, passamos a fazer parte de um grupo de países que contam com uma legislação específica para a proteção de dados dos seus cidadãos. Diante dos atuais casos de uso indevido, comercialização e vazamento de dados, as novas regras garantem a privacidade dos brasileiros, além de evitar entraves comerciais com outros países.


Principais objetivos da LGPD:

  • Assegurar o direito à privacidade e à proteção de dados pessoais dos usuários, por meio de práticas transparentes e seguras, garantindo direitos fundamentais.
  • Estabelecer regras claras sobre o tratamento de dados pessoais.
  • Fortalecer a segurança das relações jurídicas e a confiança do titular no tratamento de dados pessoais, garantindo a livre iniciativa, a livre concorrência e a defesa das relações comerciais e de consumo.
  • Promover a concorrência e a livre atividade econômica, inclusive com portabilidade de dados.

Vídeos de apoio

Assista aos vídeos abaixo para reforçar o conteúdo e aprender alguns tópicos não mencionados no texto-base.


  • Vídeo #1


  • Vídeo #2


  • Vídeo #3


  • Vídeo #4


Quiz

Responda o quiz abaixo para avaliar seu aprendizado neste módulo e também registrar sua presença.

Se estiver com dificuldade de visualizar o formulário abaixo, clique aqui!