|
|
| (2 revisões intermediárias por 2 usuários não estão sendo mostradas) |
| Linha 1: |
Linha 1: |
| = Conceito = | | = Conceito = |
| | <br> |
|
| |
|
| Com a evolução da tenologia os armazenamentos de dados tem ficado cada vez mais complicados, pois são terabytes sendo armazenados semanalmente por grandes industrias a todo momento. Esse grande volume de dados vem sendo estudados cada dia mais por grandes nomes na área.
| | * |
| | <br> |
|
| |
|
|
| |
|
|
| |
|
| Uma das dificuldades do Big Data é encontrar seu conceito. É possível vê-lo de maneiras totalmente divergentes em cada blog que se lê, ou seja, se você ler 10 materiais sobre Big Data, provavelmente cada um trará conceitos diferentes. Dentre as matérias, ao se tirar um mínimo comum se verá que o Big Data, na sua raiz, fala em tratar um grande volume de dados com grande velocidade. No entanto, se repara que essa definição é bastante abstrata pelo simples fato de que para uma pessoa A, por exemplo, um grande volume seja um gigabyte e para uma pessoa B um grande volume seja um terabyte e o mesmo pode acontecer ao se referenciar a velocidade e o tempo de resposta de uma requisição.
| | == Banco de Dados para Big Data == |
| | <br> |
|
| |
|
| | * |
| | <br> |
|
| |
|
|
| |
|
| Assim, o grande desafio do Big Data é estar administrando um grande volume de dados e minerando informações em um menor tempo de requisição. Com o grande volume de dados, fazer com que a aplicação cresça à medida que é necessário é uma ótima estratégia, assim, uma escalabilidade vertical (em que se aumenta o poder do hardware, como aumento de memória e de processamento de uma única máquina) ou horizontal (em que se aumenta a quantidade de máquinas) deve ser analisada. Apesar de ser mais complexa, a escalabilidade horizontal acaba sendo muito barata, sem falar de ser mais fácil de crescer ou diminuir os recursos por demanda.
| | = Elementos do Big Data = |
|
| |
|
| | <br> |
|
| |
|
| == Bando de dados para o Big Data ==
| | * |
| | <br> |
|
| |
|
| | * |
|
| |
|
|
| |
|
| Para armazenar as informações com a escalabilidade horizontal, os bancos NoSQL são uma ótima estratégia. Uma diferença entre os bancos NoSQL e SQL é que o primeiro possui uma grande variedade de bancos e cada um com características diferentes. Em termo de arquitetura, os bancos NoSQL podem ser distribuídos ou não, embora sejam mais populares do tipo distribuído. Sua forma de armazenamento pode ser apenas em memória, apenas em disco rígido ou configurável (vale apena lembrar que banco apenas na memória são muito rápidos, no entanto são volúveis, já os somente no HD tem informações permanentes, porém o I/O é muito alto). Outra característica divergente entre os bancos NoSQL está na forma do armazenamento que são: chave-valor, documento, família de coluna e grafos. Os bancos NoSQL costumam ser muito rápidos na leitura e na escrita, no entanto, possuem uma grande deficiência por parte das buscas. Estas normalmente são feitas apenas pela chave, para isso usar um serviço para terceirizar o serviço pode ser uma boa ideia, como o framework Lucene.
| | == Volume == |
|
| |
|
| | <br> |
|
| |
|
| | * |
| | <br> |
|
| |
|
| = Elementos do Big Data =
| |
|
| |
|
| Os elementos do Big Data, mais comumente chamados de os V's do Big Data são:
| | == Velocidade == |
|
| |
|
| | <br> |
|
| |
|
| == Volume ==
| | * |
| | <br> |
|
| |
|
| O aspecto do '''Volume''' é bem dedutível. Estamos falando de quantidades de dados realmente grandes, que crescem exponencialmente e que, não raramente, são subutilizados justamente por estarem nestas condições. Ou seja, o um dos grandes as aspectos do Big Data é questão da enorme quantidade de dado armazenado.
| |
|
| |
|
| | == Variedade == |
|
| |
|
| == Velocidade ==
| | <br> |
| | |
| '''Velocidade''' (velocity) é outro ponto fácil de assimilar. Para dar conta de determinados problemas, o tratamento dos dados (obtenção, gravação, atualização, enfim) deve ser feito em tempo hábil - muitas vezes em tempo real. Se o tamanho do banco de dados for um fator limitante, o negócio pode ser prejudicado: imagine, por exemplo, o transtorno que uma operadora de cartão de crédito teria - e causaria - se demorasse horas para aprovar um transação de um cliente pelo fato de o seu sistema de segurança não conseguir analisar rapidamente todos os dados que podem indicar uma fraude.
| |
| | |
|
| |
|
| == Variedade ==
| | * |
| | <br> |
|
| |
|
| '''Variedade''' (variety) é outro aspecto importante. Os volume de dados que temos hoje são consequência também da diversidade de informações. Temos dados em formato estruturados, isto é, armazenados em bancos como PostgreSQL e Oracle, e dados não estruturados oriundos de inúmeras fontes, como documentos, imagens, áudios, vídeos e assim por diante. É necessário saber tratar a variedade como parte de um todo - um tipo de dado pode ser inútil se não for associado a outros.
| |
|
| |
|
|
| |
|
| == Veracidade == | | == Veracidade == |
|
| |
|
| O ponto de vista da '''veracidade''' (veracity) também pode ser considerado, pois não adianta muita coisa lidar com a combinação "volume + velocidade + variedade" se houver dados não confiáveis. É necessário que haja processos que garantam o máximo possível a consistência dos dados. Voltando ao exemplo da operadora de cartão de crédito, imagine o problema que a empresa teria se o seu sistema bloqueasse uma transação genuína por analisar dados não condizentes com a realidade.
| | <br> |
|
| |
|
| == Valor ==
| | * |
| | <br> |
|
| |
|
| Informação não é só poder, informação também é patrimônio. A combinação "volume + velocidade + variedade + veracidade", além de todo e qualquer outro aspecto que caracteriza uma solução de Big Data, se mostrará inviável se o resultado não trouxer benefícios significativos e que compensem o investimento. Este é o ponto de vista do '''valor''' (value).
| |
|
| |
|
| | == Valor == |
| | <br> |
|
| |
|
| | * |
| | <br> |
|
| |
|
| = Cases em uso no Brasil ou no mundo = | | = Cases em uso no Brasil ou no mundo = |
|
| |
|
| [https://www.youtube.com/watch?v=hEFFCKxYbKM Big Data e curiosidades]
| | <br> |
|
| |
|
| = Exemplos de Aplicação =
| | * |
| | <br> |
|
| |
|
| <iframe src="http://olhardigital.uol.com.br/embed/39376/39376" frameborder="no" scrolling="no" width="460" height="290"></iframe>
| |
|
| |
|
| | <br> |
|
| |
|
| = Expectativas de mercado =
| | * |
| | <br> |
|
| |
|
| Segundo os principais sourcing advisors do mercado, os investimentos devem ser maciços para os próximos 2 ou 3 anos. O mercado global já movimenta mais de US$70 bilhões anuais, e a tendência de crescimento supera a casa do 40% até 2016.
| |
|
| |
|
| = Referências bibliográficas = | | = Referências bibliográficas = |
| | <br> |
|
| |
|
| [http://www.t-systems.com.br/imprensa-analistas/tudo-sobre-big-data-a-revolu-o-da-an-lise-de-dados/1303392 http://www.t-systems.com.br/imprensa-analistas/tudo-sobre-big-data-a-revolu-o-da-an-lise-de-dados/1303392]
| | * |
| | | <br> |
| [http://www.infowester.com/big-data.php http://www.infowester.com/big-data.php]
| |
| | |
| [http://www.devmedia.com.br/introducao-ao-conceito-de-big-data/27066 http://www.devmedia.com.br/introducao-ao-conceito-de-big-data/27066]
| |