BigData

Conceito

• O que é?
  • Big Date é o conjunto de soluções tecnológicas que lida com dados em grande volume, velocidade e variedade. Hoje, o exorbitante volume de dados digitais produzidos e armazenados pela sociedade, apresenta o patamar na casa dos petabytes e zetabytes. Com isso, a tecnologia nos permite analisar qualquer tipo de informação em tempo real deste grande volume de dados, servindo para a geração de resultados importantes.
• Porque é interessante?
  • Big data é interessante, pois lida com os chamados dados não-estruturados, que antes eram compreendidos apenas por pessoas. Na prática, dados de pesquisas, vídeos, posts nas redes sociais passaram a ser estudados por algoritmos e organizados para melhor aproveitamento. Em geral, a organização dos dados aumenta a capacidade de armazenamento, aumenta o poder de processamento e a disponibilidade.
• Quais as características marcantes?
  • Três características são importantes ao compreender Big Data:

Volume – Grandes volumes de dados são produzidos e são coletados.
Velocidade – Rapidez com que os dados são produzidos e precisam ser analisados. Muitas aplicações necessitam de resposta em tempo real, como detecções em fraudes, recomendações baseadas em redes sociais.
Variedade – Existe uma grande variedade de dados, proveniente de várias fontes, podendo ser estruturados ou não.

• Como está o Brasil neste segmento?
  • No Brasil, Big Data é preocupação de muitos profissionais e pesquisadores. Com uma população de aproximadamente 204 milhões de pessoas, o país tem uma das maiores bases de dados do mundo. Por exemplo, a base da Receita Federal associa e cruza dados fornecidos por pessoas físicas e empresas, além de receber milhões de declarações em tempo real. Conta telefônica também é problema de Big data no Brasil.

Software

• Como o software pode ser empregado nesta tecnologia?

• Pode ser utilizados para organizar os dados em estruturas simples. Também podem gerar gráficos estáticos sobre os dados analisados, como o IBM Big Data platform. Há ainda o programa livre Hadoop que permite na nuvem dividir problemas em várias máquinas e depois unir os resultados em uma única máquina. Hadoop é utilizado pelos mecanismos de Big Data do Google.

Aplicação

• Cite as situações onde podemos usar esta tecnologia?
  • Monitoramento de tendência de determina doença em uma região do mundo
  • Máquinas de latas de refrigerante adequam melhor o estoque de acordo maior pedida de clientes em certo local.
  • Recomendação por anúncios de produtos para usuários do Facebook de acordo com os posts e pesquisas.
  • Prevenção de acidentes com vitimas de catástrofes ambientais pela previsibilidade de chuvas e ventos no Rio de Janeiro.
  • Disponibilidade de vagas em um estacionamento. Por imagem de satélite, a Skybox force a informação aos seus usuários.
  • No maior acelerador de partículas do mundo LHC, para armazenar 15 petabytes por ano, o são escolhidos dados relevantes entre 15 petabytes gerados por segundo de operação.

Tecnologias

• Quais tecnologias são usadas?
  • O Sistema de Arquivos Distribuído (Hadoop Distributed File System - HDFS) que e um sistema de arquivos para dividir, espalhar, replicar e gerenciar dados ao longo
  • O MapReduce que e um mecanismo computacional para executar aplicações em paralelo. As aplicações são executadas através da divisão em tarefas que manipulam apenas uma parcela dos dados, coletando e redistribuindo resultados intermediários e gerenciando falhas através de todos os nós do aglomerado.

Visão

• Imagem representando o tema

Referências

• http://www.ibm.com/big-data/br/pt/big-data-and-analytics/
• http://exame.abril.com.br/topicos/big-data
• https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data?lang=en
• http://www.ibm.com/midmarket/br/pt/infografico_bigdata.html
• http://bigdatawg.nist.gov/MGI_big_data_full_report.pdf
• Judith Hurwitz, Alan Nugent, Fern Halper, Marcia Kaufman-Big Data For Dummies-Wiley (2013)
• O'Reilly Media Inc.-Big Data Now 2012 Edition-O'Reilly Media (2012)
• BIG DATA - Computação para uma sociedade conectada e digitalizada - Ciência Hoje (2013)
• http://www.gta.ufrj.br/ensino/cpe728/CAC12.pdf