Tecnologia BigData

Esta pesquisa deve fornecer um conteúdo atualizado sobre o tema acima. Não esqueça de incluir as  
referëncias (fontes) no último item, reforçando que não deve ser um Copy/Paste e sim uma síntese 
das pesquisas que fizer.

Conceito

Pode-se definir Big Data por meio dos 4 V's:

• Volume:

Organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina.

• Velocidade:

Os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Sensores, celulares e contadores inteligentes estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real.

• Variedade:

Os dados são gerados em todos os tipos de formatos: de dados estruturados, dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras.

• Valor:

É resultante da combinação de todos os aspectos citados acima. Assim, o resultado não terá sentido algum se não trouxer benefícios significativos e que compensem todo o investimento.

Assim, simplificando, o Big Data é entendido como os conjuntos de dados de grande volume (estruturados e não estruturados) e que necessitam de ferramentas especiais para lidar com grandes quantidades, de forma que todas as informações possam ser encontradas, analisadas e também aproveitadas no tempo necessário.

Aplicações

O Big Data pode ser aplicado nos seguintes itens:

• Banco

Com grandes quantidades de informações fluindo partir inúmeras fontes, os bancos são desafiados a encontrar maneiras novas e inovadoras de gerenciar Big Data. Ao mesmo tempo em que Big Data é importante para compreender os clientes e aumentar sua satisfação, é igualmente importante para minimizar os riscos e fraudes enquanto mantém uma conformidade regulatória. Big Data traz ótimos insights, mas também exige que as instituições financeiras estejam um passo à frente neste jogo, com análises avançadas.

• Governo

Quando as organizações governamentais são capazes de aproveitar e aplicar analytics em Big Data, elas progridem significativamente quando se trata de gerenciar serviços públicos, lidar com o congestionamento ou a prevenir a criminalidade.

• Saúde

Registros de pacientes, planos de tratamento, informações de prescrição. Quando se trata de cuidados com a saúde, tudo precisa ser feito rapidamente com precisão. Quando grandes quantidades de dados são geridas de forma eficaz, os prestadores de cuidados de saúde podem descobrir insights escondidos que melhoram o atendimento ao paciente.

• Ensino

Educadores com uma visão orientada a dados podem ter um impacto significativo sobre os sistemas escolares, estudantes e currículos. Analisando Big Data, eles podem identificar alunos e assegurar que os estudantes estão progredindo de forma adequada, e podem implementar um sistema melhor de avaliação e apoio aos professores e diretores.

• Manufatura

Com uma visão que Big Data pode fornecer, os fabricantes podem aumentar a qualidade e a produção, minimizando o desperdício. Cada vez mais fabricantes estão trabalhando em uma cultura baseada em análise de dados, o que significa que eles podem resolver problemas mais rapidamente e tomar decisões de negócios mais ágeis.

Tecnologias

• Hadoop

O projeto Apache Hadoop tem dois componentes principais, o armazenamento de arquivo chamado Hadoop Distributed File System (HDFS) e a estrutura de programação chamada MapReduce.

HDFS: Se você quiser que 4000+ computadores funcionem em seus dados, é melhor espalhar seus dados em 4000+ computadores. HDFS faz isso para você. HDFS tem algumas partes móveis. O Datanodes armazena seus dados e o Namenode controla onde suas coisas são armazenadas.

MapReduce: Esse é o modelo programático para Hadoop. Há duas fases, chamados de Map e Reduce. O JobTracker gerenciar os 4000+ componentes de seu trabalho MapReduce. O TaskTrackers recebe ordens do JobTracker. Se você gosta de Java, codifique em Java. Se você gostar de SQL ou de outras linguagens diferentes de Java, é possível usar um utilitário chamado Hadoop Streaming.

Hadoop Streaming: Um utilitário que permite ao MapReduce codificar em qualquer linguagem: C, Perl, Python, C++, Bash etc. Os exemplos incluem um mapeador Python e um redutor AWK.

• HPE Moonshot

Uma usina de carga de trabalho ultra convergente que aplica processamento na menor da escalas, para tornar o acesso instantâneo e o processamento altamente eficiente.

• HPE Apollo 4000

Análise e armazenamento de objetos. Foque em dados com mineração de dados baseada em Hadoop e análise baseada em NoSQL. Implemente armazenamento de objetos com volumes de dados em escala de petabyte.

Vantagens

São vários os benefícios oferecidos pelo Big Data, dentre eles estão:

• Redução do custos e de tempo;
• Desenvolvimento de novos produtos e ofertas otimizadas;
• Determinar a causa raiz de falhas, problemas e defeitos em tempo quase real;
• Gerar cupons no ponto de venda com base em hábitos de compra dos clientes;
• Recalcular carteiras de risco inteiras, em questão de minutos;
• Detectar comportamentos fraudulentos antes que eles afetem sua organização.

Referências Bibliográficas

https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data?lang=en

http://slides.com/lclaudio/apresentacao-1-5-6-16-19#/

http://harvardmagazine.com/2014/03/why-big-data-is-a-big-deal

http://www.ies.ufpb.br/ojs2/index.php/itec/article/view/19380/11156

http://www.infowester.com/big-data.php

https://www.oficinadanet.com.br/post/13252-o-que-e-big-data