Big Data

Conceito

Com a evolução da tenologia os armazenamentos de dados tem ficado cada vez mais complicados, pois são terabytes sendo armazenados semanalmente por grandes industrias a todo momento. Esse grande volume de dados vem sendo estudados cada dia mais por grandes nomes na área.

Uma das dificuldades do Big Data é encontrar seu conceito. É possível vê-lo de maneiras totalmente divergentes em cada blog que se lê, ou seja, se você ler 10 materiais sobre Big Data, provavelmente cada um trará conceitos diferentes. Dentre as matérias, ao se tirar um mínimo comum se verá que o Big Data, na sua raiz, fala em tratar um grande volume de dados com grande velocidade. No entanto, se repara que essa definição é bastante abstrata pelo simples fato de que para uma pessoa A, por exemplo, um grande volume seja um gigabyte e para uma pessoa B um grande volume seja um terabyte e o mesmo pode acontecer ao se referenciar a velocidade e o tempo de resposta de uma requisição.

Assim, o grande desafio do Big Data é estar administrando um grande volume de dados e minerando informações em um menor tempo de requisição. Com o grande volume de dados, fazer com que a aplicação cresça à medida que é necessário é uma ótima estratégia, assim, uma escalabilidade vertical (em que se aumenta o poder do hardware, como aumento de memória e de processamento de uma única máquina) ou horizontal (em que se aumenta a quantidade de máquinas) deve ser analisada. Apesar de ser mais complexa, a escalabilidade horizontal acaba sendo muito barata, sem falar de ser mais fácil de crescer ou diminuir os recursos por demanda.

Bando de dados para o Big Data

Para armazenar as informações com a escalabilidade horizontal, os bancos NoSQL são uma ótima estratégia. Uma diferença entre os bancos NoSQL e SQL é que o primeiro possui uma grande variedade de bancos e cada um com características diferentes. Em termo de arquitetura, os bancos NoSQL podem ser distribuídos ou não, embora sejam mais populares do tipo distribuído. Sua forma de armazenamento pode ser apenas em memória, apenas em disco rígido ou configurável (vale apena lembrar que banco apenas na memória são muito rápidos, no entanto são volúveis, já os somente no HD tem informações permanentes, porém o I/O é muito alto). Outra característica divergente entre os bancos NoSQL está na forma do armazenamento que são: chave-valor, documento, família de coluna e grafos. Os bancos NoSQL costumam ser muito rápidos na leitura e na escrita, no entanto, possuem uma grande deficiência por parte das buscas. Estas normalmente são feitas apenas pela chave, para isso usar um serviço para terceirizar o serviço pode ser uma boa ideia, como o framework Lucene.

Elementos do Big Data

Os elementos do Big Data, mais comumente chamados de os V's do Big Data são:

Volume

O aspecto do Volume é bem dedutível. Estamos falando de quantidades de dados realmente grandes, que crescem exponencialmente e que, não raramente, são subutilizados justamente por estarem nestas condições. Ou seja, o um dos grandes as aspectos do Big Data é questão da enorme quantidade de dado armazenado.

Velocidade

Velocidade (velocity) é outro ponto fácil de assimilar. Para dar conta de determinados problemas, o tratamento dos dados (obtenção, gravação, atualização, enfim) deve ser feito em tempo hábil - muitas vezes em tempo real. Se o tamanho do banco de dados for um fator limitante, o negócio pode ser prejudicado: imagine, por exemplo, o transtorno que uma operadora de cartão de crédito teria - e causaria - se demorasse horas para aprovar um transação de um cliente pelo fato de o seu sistema de segurança não conseguir analisar rapidamente todos os dados que podem indicar uma fraude.

Variedade

Variedade (variety) é outro aspecto importante. Os volume de dados que temos hoje são consequência também da diversidade de informações. Temos dados em formato estruturados, isto é, armazenados em bancos como PostgreSQL e Oracle, e dados não estruturados oriundos de inúmeras fontes, como documentos, imagens, áudios, vídeos e assim por diante. É necessário saber tratar a variedade como parte de um todo - um tipo de dado pode ser inútil se não for associado a outros.

Veracidade

O ponto de vista da veracidade (veracity) também pode ser considerado, pois não adianta muita coisa lidar com a combinação "volume + velocidade + variedade" se houver dados não confiáveis. É necessário que haja processos que garantam o máximo possível a consistência dos dados. Voltando ao exemplo da operadora de cartão de crédito, imagine o problema que a empresa teria se o seu sistema bloqueasse uma transação genuína por analisar dados não condizentes com a realidade.

Valor

Informação não é só poder, informação também é patrimônio. A combinação "volume + velocidade + variedade + veracidade", além de todo e qualquer outro aspecto que caracteriza uma solução de Big Data, se mostrará inviável se o resultado não trouxer benefícios significativos e que compensem o investimento. Este é o ponto de vista do valor (value).

Cases em uso no Brasil ou no mundo

Algumas empresas que utilizam o Big Data são:

Danone

Velocidade no tratamento de dados é determinante para gerar valor aos negócios Desafio: Na indústria de alimentos, como a do iogurte Grego, o desafio é produzir e distribuir o produto com agilidade devido ao seu prazo de validade. A Danone dos Estados Unidos precisava conhecer a demanda para conseguir maximizar a venda do produto e garantir que a produção não se exceda, a fim de evitar desperdícios. A predição da demanda era feita a partir do Excel, o que não trazia funcionalidade. Projeto: A partir da solução M-Factor (agora da IBM) a empresa otimizou o processo de predição de demanda com a integração de dados históricos, regionais e de mercado com informações sobre consumidores e preços para prever vendas e promoções complementares. Resultados: melhora da previsão de demanda de 70% para 98%; conseguiram triplicar a cota de mercado do iogurte Grego a partir de análises de região e preço

Southern States

Compreensão de necessidades de clientes permitiu maior foco no portfólio Desafio: a fabricante norte-americana de produtos agrícolas não tinha muito contato com seus clientes finais. Seu desafio era gerenciar o portfólio, que contava com oferta muito grande de produtos, para 1.200 pontos de venda distribuídos em 300 mil regiões agrícolas distribuídas em 23 estados. Projeto: por meio de ferramenta de análise geoespacial conseguiram descobrir onde estavam seus clientes, quais eram suas necessidades, suas áreas agrícolas, etc. A partir de resultados das análises, reduziram a oferta para e passaram a fornecer produtos de acordo a necessidade de seus clientes. Resultados: redução de 63% a oferta do portfólio oferecido; aumento da taxa de resposta do cliente em 34%; crescimento de 24% de margem bruta.

UPS

UPS: tecnologia acessível com impacto nos gastos em diversas empresas que utilizam caminhões para transporte de cargas. Desafio: otimizar as rotas de trajeto feita pela sua frota caminhões e aumentar a segurança dos motoristas era o objetivo da empresa norte-americana de transporte e fretes USP. Projeto: instalação de sensores telemáticos em mais de 46 mil veículos capazes de captar dados como velocidade, direção, RPM, pressão e informações de localização. Por meio desses dados, chegaram a algoritmos de distribuição para melhor os trajetos dos caminhões e a eficiência dos motoristas. Resultados: economia de 4,8 milhões de litros de gasolina por ano; redução de manutenção e acidentes através da eliminação de 85 milhas da rota diária.

NOAA (National Oceanic and Atmospheric Administration)

Uma amostra de como gerar valor e até monetizar dados gerados na empresa. Oportunidade: A organização pertencente ao governo dos EUA coleta anualmente 30 petabytes de dados por ano gerados a partir de 2.5 bilhões de observações atmosféricas e oceânicas diárias via satélite e outros sensores. Foi então que enxergou a oportunidade de monetizar esses dados. Projeto: através da aplicação de modelos sofisticados de predição, a organização passou a fornecer dados sobre previsão de tempo para diversos fins. Resultados: criação de diversos produtos (gratuitos e pagos) baseados nessas informações preditivas sobre o tempo para o setor público e privado; prevenção de riscos e via alertas climáticos.

Big Data e curiosidades (Nerdologia)

Exemplos de Aplicação

Algumas aplicações do Big Data podem ser pontuadas com a utilização em alguns segmentos da tecnologia tais quais: empresas de tecnologia, que utilizam satélites próprios e conseguem ler informações em tempo real sobre a disponibilidade de vagas em estacionamentos, ou até o trânsito em determinada rua e horário, por exemplo. Por uma tecnologia proposta pela IBM, um hospital no Canadá monitorava a situação dos bebês que nasceram prematuros, o que possibilitou aos médicos um melhor atendimento e a antecipação de eventuais problemas.

Outra utilização é no comércio, onde as empresas podem integrar a tecnologia em carrinhos de supermercados, onde é possível controlar e tornar mais eficaz a experiência de compra dos usuários, pois monitora a combinação de produtos colocados dentro dele. Com a ajuda feita pela distribuição de 2 milhões de chips SIM, foi possível auxiliar nas buscas das vítimas do terremoto que atingiu o Haiti. Além de outros avanços proporcionados pelo Big Data, podemos citar o descobrimento do Pré-Sal, pela alta velocidade de envio e processamento de informações e captações de dados sismicos.

A função e atuação fundamental do Big Data é justamente de ser capaz de trabalhar com muitas variáveis simultaneamente, além de leitura e reinderização de imagens, em tempo mínimo e muita eficácia.

Aplicações do Big Data (Olhar Digital)

Expectativas de mercado

Segundo os principais sourcing advisors do mercado, os investimentos devem ser maciços para os próximos 2 ou 3 anos. O mercado global já movimenta mais de US$70 bilhões anuais, e a tendência de crescimento supera a casa do 40% até 2016.

Referências bibliográficas

http://www.t-systems.com.br/imprensa-analistas/tudo-sobre-big-data-a-revolu-o-da-an-lise-de-dados/1303392

http://www.infowester.com/big-data.php

http://www.devmedia.com.br/introducao-ao-conceito-de-big-data/27066

http://www.infoescola.com/informatica/big-data/

http://itforum365.com.br/noticias/detalhe/3857/seis-cases-representativos-de-big-data-segundo-o-gartner