BigData: mudanças entre as edições

← Edição anterior

Edição atual tal como às 11h01min de 19 de maio de 2017

1.Conceito
- Big Data pode ser definido como o processamento analítico de grandes volumes de dados complexos produzidos por aplicações. Essa tecnologia surgiu com a necessidade de guardar grandes quantidades de dados de forma eficiente e em um curto espaço de tempo. Ela foi consequência de inovações tecnológicas, tais como a evolução da internet, evolução dos meios de armazenamento de dados e difusão de tecnologias referentes a captação de dados.
- As principais características do Big Data são:
  - Grandes quantidades de dados distribuídos.
  - Estabilidade sob demanda.
  - Transformação de dados brutos, semiestruturados ou não estruturados em dados estruturados.
  - Possibilidade de uma extração flexível de conhecimento dos dados.
2.Software
- Com o surgimento do Big Data, os softwares convencionais não conseguem mais lidar com o valor excessivo e a variedade de dados que precisam ser analisados e processados de forma eficiente. Com isso, surgem os softwares NoSQL especializados em lidar com esses grandes volumes de dados computacionais. Esses softwares possuem lógicas de funcionamento variadas e utilizam diferentes meios para manipular terabytes de dados e transformá-los em informação útil.
- Existem diversos modelos de softwares de bancos de dados NoSQL. Dentre deles:
  - Sistemas Colunares como o Big Table, utilizado internamente pela Google.
  - Key/value, como DynamoDB, utilizado pela Amazon.
  - Document database, como o MongoDB.
  - Baseado em Grafos, como o Neo4j.
3.Aplicação
- 3.1.Tecnologias
  - O Big Data é atualmente utilizado vários domínios da sociedade. Ele é utilizado, por exemplo, na web em redes sociais, redes de sensores, dados de sensoriamento, instituições financeiras como bolsas de valores, agências governamentais, comércio de produtos de varejo, detecção de padrões, etc. Ele pode ser utilizado para guardar os mais diversos dados de entrada registrados por tecnologias como: sensores, teclados, microfones, câmeras, etc. Ele ainda pode ser utilizados como base para a Inteligência Artificial(I.A), no reconhecimento de padrões e em algoritmos de recomendações comumente utilizados no e-commerce e na publicidade.
- 3.2.Visão
  - O uso da tecnologia de Big Data não é recomendada para substituir qualquer banco de dados. Ele é utilizado para tratar grandes quantidades de dados de uma forma eficiente e rápida. Sistemas que não possuem um número alto de movimentação de dados, tais como pequenas empresas, comércios de pequeno porte, padarias, etc, não precisam adotar essa tecnologia.
  - Por outro lado, serviços que dependem da boa organização de Terabytes de dados tratados simultaneamente, tais como, google, youtube e facebook, necessitam da utilização de um Big Data.
4 Referências

@@ Linha 1: / Linha 1: @@
-= Conceito =
+*1.Conceito
-<br>
+**   Big Data pode ser definido como o processamento analítico de grandes volumes de dados complexos produzidos por aplicações. Essa tecnologia surgiu com a necessidade de guardar grandes quantidades de dados de forma eficiente e em um curto espaço de tempo. Ela foi consequência de inovações tecnológicas, tais como a evolução da internet, evolução dos meios de armazenamento de dados e difusão de tecnologias referentes a captação de dados.
+**   As principais características do Big Data são:
-* O que é?
+***Grandes quantidades de dados distribuídos.
-** Big Date é o conjunto de soluções tecnológicas que lida com dados em grande volume, velocidade e variedade. Hoje, o exorbitante volume de dados digitais produzidos e armazenados pela sociedade, apresenta o patamar na casa dos petabytes e zettabytes. Com isso, a tecnologia nos permite analisar qualquer tipo de informação em tempo real deste grande volume de dados, servindo para a geração de resultados importantes.
+***Estabilidade sob demanda.
-<br>
+***Transformação de dados brutos, semiestruturados ou não estruturados em dados estruturados.
-* Porque é interessante?
+***Possibilidade de uma extração flexível de conhecimento dos dados.
-** Big data é interessante, pois lida com os chamados dados não-estruturados, que antes eram compreendidos apenas por pessoas. Na prática, dados de pesquisas, vídeos, posts nas redes sociais passaram a ser estudados por algoritmos e organizados para melhor aproveitamento. Em geral, a organização dos dados aumenta a capacidade de armazenamento, aumenta o poder de processamento e a disponibilidade.
+*2.Software
-<br>
+**   Com o surgimento do Big Data, os softwares convencionais não conseguem mais lidar com o valor excessivo e a variedade de dados que precisam ser analisados e processados de forma eficiente. Com isso, surgem os softwares NoSQL  especializados em lidar com esses grandes volumes de dados computacionais. Esses softwares possuem lógicas de funcionamento variadas e utilizam diferentes meios para manipular terabytes de dados e transformá-los em informação útil.
-* Quais as características marcantes?
+**   Existem diversos modelos de softwares de bancos de dados NoSQL. Dentre deles:
-** Três características são importantes ao compreender Big Data:
+*** Sistemas Colunares como o Big Table, utilizado internamente pela Google.
-**'''Volume''' – Grandes volumes de dados são produzidos e são coletados.
+*** Key/value, como DynamoDB, utilizado pela Amazon.
-**'''Velocidade''' – Rapidez com que os dados são produzidos e precisam ser analisados. Muitas aplicações necessitam de resposta em tempo real, como detecções em fraudes, recomendações baseadas em redes sociais.
+*** Document database, como o MongoDB.
-**'''Variedade''' – Existe uma grande variedade de dados, proveniente de várias fontes, podendo ser estruturados ou não.
+***Baseado em Grafos, como o Neo4j.
-<br>
+*3.Aplicação
-* Como está o Brasil neste segmento?
+**3.1.Tecnologias
-**No Brasil, Big Data é preocupação de muitos profissionais liberais e pesquisadores. Com uma população de aproximadamente 204 milhões de pessoas, o país tem uma das maiores bases de dados do mundo. Por exemplo, a base da Receita Federal associa e cruza dados fornecidos por pessoas físicas e empresas, além de receber milhões de declarações em tempo real.  Conta telefônica também é problema de Big data no Brasil.
+*** O Big Data é atualmente utilizado vários domínios da sociedade. Ele é utilizado, por exemplo, na web em redes sociais, redes de sensores, dados de sensoriamento, instituições financeiras como bolsas de valores, agências governamentais, comércio de produtos de varejo, detecção de padrões, etc. Ele pode ser utilizado para guardar os mais diversos dados de entrada registrados por tecnologias como: sensores, teclados, microfones, câmeras, etc. Ele ainda pode ser utilizados como base para a Inteligência Artificial(I.A), no reconhecimento de padrões e em algoritmos de recomendações comumente utilizados no e-commerce e na publicidade.
+**3.2.Visão
-<br>
+*** O uso da tecnologia de Big Data não é recomendada para substituir qualquer banco de dados. Ele é utilizado para tratar grandes quantidades de dados de uma forma eficiente e rápida. Sistemas que não possuem um número alto de movimentação de dados, tais como pequenas empresas, comércios de pequeno porte, padarias, etc, não precisam adotar essa tecnologia.
+***Por outro lado, serviços que dependem da boa organização de Terabytes de dados tratados simultaneamente, tais como, google, youtube e facebook, necessitam da utilização de um Big Data.
-= Software =
+*4 Referências
-<br>
+** http://data.ime.usp.br/sbbd2012/artigos/pdfs/sbbd_min_01.pdf
+** http://www.deviante.com.br/podcasts/scicast/99-big-data/
-* Como o software pode ser empregado nesta tecnologia?
+** http://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation
-<br>
+** https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data?lang=en
-*Pode ser utilizados para organizar os dados em estruturas simples. Também podem gerar gráficos estáticos sobre os dados analisados, como o IBM Big Data platform. Há ainda o programa livre Hadoop que permite na nuvem dividir problemas em várias máquinas e depois unir os resultados em uma única máquina. Hadoop é utilizado pelos mecanismos de Big Data do Google.
-= Aplicação  =
-<br>
-* Cite as situações onde podemos usar esta tecnologia?
-**	Monitoramento de tendência de determina doença em uma região do mundo
-**	Máquinas de latas de refrigerante adequam melhor o estoque de acordo maior pedida de clientes em certo local.
-**	Recomendação por anúncios de produtos para usuários do Facebook de acordo com os posts e pesquisas.
-**	Prevenção de acidentes com vitimas de catástrofes ambientais pela previsibilidade de chuvas e ventos no Rio de Janeiro.
-**	Disponibilidade de vagas em um estacionamento. Por imagem de satélite, a Skybox force a informação aos seus usuários.
-**	No maior acelerador de partículas do mundo LHC,  para  armazenar 15 petabytes por ano,  são escolhidos dados relevantes entre 15 petabytes gerados por segundo de operação.
-<br>
-== Tecnologias ==
-<br>
-* Quais tecnologias são usadas?
-** 	O Sistema de Arquivos Distribuído (Hadoop Distributed File System - HDFS) que e um sistema de arquivos para dividir, espalhar, replicar e gerenciar dados ao longo
-**	O MapReduce que e um mecanismo computacional para executar aplicações em  paralelo. As aplicações são executadas através da divisão em tarefas que manipulam  apenas uma parcela dos dados, coletando e redistribuindo resultados intermediários e gerenciando falhas através de todos os nós do aglomerado.
-<br>
-== Visão ==
-<br>
-* Imagem representando o tema
-<br>[[Arquivo:ssa_img_ibm_bigdata_110612.jpg]]
-= Referências =
-<br>
-*Judith Hurwitz, Alan Nugent, Fern Halper, Marcia Kaufman-Big Data For Dummies-Wiley (2013)
-*O'Reilly Media Inc.-Big Data Now 2012 Edition-O'Reilly Media (2012)
-*BIG DATA - Computação para uma sociedade conectada e digitalizada - Ciência Hoje (2013)
-*http://www.ibm.com/big-data/br/pt/big-data-and-analytics/
-*http://exame.abril.com.br/topicos/big-data
-*https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data?lang=en
-*http://www.ibm.com/midmarket/br/pt/infografico_bigdata.html
-*http://bigdatawg.nist.gov/MGI_big_data_full_report.pdf
-*http://www.gta.ufrj.br/ensino/cpe728/CAC12.pdf