Tecnologia BigData

Esta pesquisa deve fornecer um conteúdo atualizado sobre o tema acima. Não esqueça de incluir as  
referëncias (fontes) no último item, reforçando que não deve ser um Copy/Paste e sim uma síntese 
das pesquisas que fizer.

Conceito

Pode-se definir Big Data por meio dos 4 V's:

• Volume:

Organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina.

• Velocidade:

Os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Sensores, celulares e contadores inteligentes estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real.

• Variedade:

Os dados são gerados em todos os tipos de formatos: de dados estruturados, dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras.

• Valor:

É resultante da combinação de todos os aspectos citados acima. Assim, o resultado não terá sentido algum se não trouxer benefícios significativos e que compensem todo o investimento.

Assim, simplificando, o Big Data é entendido como os conjuntos de dados de grande volume (estruturados e não estruturados) e que necessitam de ferramentas especiais para lidar com grandes quantidades, de forma que todas as informações possam ser encontradas, analisadas e também aproveitadas no tempo necessário.

Software

Alguns softwares que fazem a composição do Big Data:

• Automação de serviços de nuvem

Software de gerenciamento de nuvem que permite que uma empresa aproveite com facilidade os benefícios de serviços de nuvem seguros e compatíveis. Automatize e simplifique a implantação e o gerenciamento de sua opção de serviços de TI híbridos.

Ofereçe aos usuários de linha de negócios um portal personalizável, intuitivo e de autoatendimento com uma experiência moderna de compra por meio de catálogo e recursos de combinações;
Elimina a dependência de fornecedor usando suporte de API REST aberto e extensível para hardware multi-hipervisor e multifornecedor, incluindo nuvem privada e pública;
Implanta infraestrutura avançada e serviços de plataforma de aplicativos em várias camadas usando um designer de serviço gráfico, flexível e incorporado;
Simplifica a administração usando um conjunto de ferramentas de gerenciamento de operações de TI completo com uma experiência em um único lugar em TI tradicional e nuvens privadas e públicas.

http://www8.hp.com/br/pt/software-solutions/cloud-service-automation/index.html

• Automação de servidores

Diminui o tempo de paralisação e o risco da configuração manual, enquanto reduz em 90% o tempo gasto em provisionamento de servidor, gerenciamento de patches de servidor e manutenção da segurança em servidores gerenciados.
Gerencia facilmente a instalação, a atualização, a remoção e a geração de relatórios para empacotamento proprietário, arquivos importados, objetos e scripts de configuração.

• Ferramenta de prontidão de adoção (ART)

Reduz os custos de suporte sendo proativo no treinamento de sua força de trabalho;
Obtem-se o ROI com mais rapidez capacitando os usuários para uma adoção bem-sucedida;
Diminui o risco utilizando usuários que tenham treinamento completo.

http://www8.hp.com/br/pt/software-solutions/art-user-enablement-platform/index.html

Softwares A-Z:

http://www8.hp.com/br/pt/software-solutions/enterprise-software-products-a-z.html?view=list

Aplicações

O Big Data pode ser aplicado nos seguintes itens:

• Banco

Com grandes quantidades de informações fluindo partir inúmeras fontes, os bancos são desafiados a encontrar maneiras novas e inovadoras de gerenciar Big Data. Ao mesmo tempo em que Big Data é importante para compreender os clientes e aumentar sua satisfação, é igualmente importante para minimizar os riscos e fraudes enquanto mantém uma conformidade regulatória. Big Data traz ótimos insights, mas também exige que as instituições financeiras estejam um passo à frente neste jogo, com análises avançadas.

• Governo

Quando as organizações governamentais são capazes de aproveitar e aplicar analytics em Big Data, elas progridem significativamente quando se trata de gerenciar serviços públicos, lidar com o congestionamento ou a prevenir a criminalidade.

• Saúde

Registros de pacientes, planos de tratamento, informações de prescrição. Quando se trata de cuidados com a saúde, tudo precisa ser feito rapidamente com precisão. Quando grandes quantidades de dados são geridas de forma eficaz, os prestadores de cuidados de saúde podem descobrir insights escondidos que melhoram o atendimento ao paciente.

• Ensino

Educadores com uma visão orientada a dados podem ter um impacto significativo sobre os sistemas escolares, estudantes e currículos. Analisando Big Data, eles podem identificar alunos e assegurar que os estudantes estão progredindo de forma adequada, e podem implementar um sistema melhor de avaliação e apoio aos professores e diretores.

• Manufatura

Com uma visão que Big Data pode fornecer, os fabricantes podem aumentar a qualidade e a produção, minimizando o desperdício. Cada vez mais fabricantes estão trabalhando em uma cultura baseada em análise de dados, o que significa que eles podem resolver problemas mais rapidamente e tomar decisões de negócios mais ágeis.

Tecnologias

• Hadoop

O projeto Apache Hadoop tem dois componentes principais, o armazenamento de arquivo chamado Hadoop Distributed File System (HDFS) e a estrutura de programação chamada MapReduce.

HDFS: Se você quiser que 4000+ computadores funcionem em seus dados, é melhor espalhar seus dados em 4000+ computadores. HDFS faz isso para você. HDFS tem algumas partes móveis. O Datanodes armazena seus dados e o Namenode controla onde suas coisas são armazenadas.

MapReduce: Esse é o modelo programático para Hadoop. Há duas fases, chamados de Map e Reduce. O JobTracker gerenciar os 4000+ componentes de seu trabalho MapReduce. O TaskTrackers recebe ordens do JobTracker. Se você gosta de Java, codifique em Java. Se você gostar de SQL ou de outras linguagens diferentes de Java, é possível usar um utilitário chamado Hadoop Streaming.

Hadoop Streaming: Um utilitário que permite ao MapReduce codificar em qualquer linguagem: C, Perl, Python, C++, Bash etc. Os exemplos incluem um mapeador Python e um redutor AWK.

• HPE Moonshot

Uma usina de carga de trabalho ultra convergente que aplica processamento na menor da escalas, para tornar o acesso instantâneo e o processamento altamente eficiente.

• HPE Apollo 4000

Análise e armazenamento de objetos. Foque em dados com mineração de dados baseada em Hadoop e análise baseada em NoSQL. Implemente armazenamento de objetos com volumes de dados em escala de petabyte.

Analytics

• A análise de dados é o processo de coleta, organização e análise de grandes conjuntos de dados para descobrir padrões e outras informações úteis. Análise de dados podem ajudar as organizações a compreender melhor as informações contidas dentro dos dados e também vai ajudar a identificar os dados que é mais importante para os negócios e decisões de negócios futuros.

• Para analisar um grande volume de dados, tais, análise de Big Data é tipicamente realizada utilizando ferramentas de software e aplicativos especializados para análise preditiva, mineração de dados, mineração de texto, previsão e otimização de dados. Usando grandes ferramentas de dados e software permite que uma organização consiga processar extremamente grandes volumes de dados que uma empresa tenha coletado para determinar quais dados são relevantes e podem ser analisados ​​para tomar melhores decisões de negócios no futuro. OBS: Um bom exemplo de uso de Hadoop para analytics é o BigInsights da IBM.

Vantagens

São vários os benefícios oferecidos pelo Big Data, dentre eles estão:

• Redução do custos e de tempo;
• Desenvolvimento de novos produtos e ofertas otimizadas;
• Determinar a causa raiz de falhas, problemas e defeitos em tempo quase real;
• Gerar cupons no ponto de venda com base em hábitos de compra dos clientes;
• Recalcular carteiras de risco inteiras, em questão de minutos;
• Detectar comportamentos fraudulentos antes que eles afetem sua organização.

Referências Bibliográficas

https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data?lang=en

http://slides.com/lclaudio/apresentacao-1-5-6-16-19#/

http://harvardmagazine.com/2014/03/why-big-data-is-a-big-deal

http://www.ies.ufpb.br/ojs2/index.php/itec/article/view/19380/11156

http://www.infowester.com/big-data.php

https://www.oficinadanet.com.br/post/13252-o-que-e-big-data

http://www.sas.com/pt_br/insights/analytics/what-is-analytics.html

http://www.webopedia.com/TERM/B/big_data_analytics.html

http://www8.hp.com/br/pt/software-solutions/enterprise-software-products-a-z.html?view=list