Sem resumo de edição |
|||
| Linha 6: | Linha 6: | ||
<div align="justify"> | <div align="justify"> | ||
& |    Segundo [http://readwrite.com/2013/05/23/hadoop-what-it-is-and-how-it-works] você não pode ter uma longa conversa sobre Big Data[http://www.infowester.com/big-data.php] sem que um elefante entre na sala: Hadoop. | ||
& |    Hadoop é uma plataforma [http://www.infowester.com/freexopen.php open source] mantida pela [http://www.apache.org/ Apache Software Foundation] que tem se mostrado muito útil tanto no armazenamento quanto no processamento de grandes volumes de dados, de forma barata e eficiente. O Projeto é mantido pela Apache, porém conta com a colaboração de várias grandes empresas, entre elas: Yahoo, Facebook, Google e IBM[http://wiki.apache.org/hadoop/PoweredBy]. | ||
& |    Basicamente Hadoop é uma forma de armazenar grandes quantidades de dados distribuídos em máquinas distintas e, em seguida, distribuir também o processamento desses dados em cada máquina. | ||
| Linha 22: | Linha 22: | ||
   Hadoop é baseado em duas partes principais, um sistema de arquivo HDFS (Hadoop Distributed File System) e o sistema para distribuir o processamento MapReduce. | |||
</div> | </div> | ||
== Hadoop DFS == | == Hadoop DFS == | ||
[[Arquivo:hdfs.jpg]] | |||
<br> | <br> | ||
== Hadoop Map Reduce == | == Hadoop Map Reduce == | ||
[[Arquivo:mr.jpg]] | |||
<br> | <br> | ||
Edição das 18h50min de 13 de maio de 2015
Hadoop
Segundo [1] você não pode ter uma longa conversa sobre Big Data[2] sem que um elefante entre na sala: Hadoop.
Hadoop é uma plataforma open source mantida pela Apache Software Foundation que tem se mostrado muito útil tanto no armazenamento quanto no processamento de grandes volumes de dados, de forma barata e eficiente. O Projeto é mantido pela Apache, porém conta com a colaboração de várias grandes empresas, entre elas: Yahoo, Facebook, Google e IBM[3].
Basicamente Hadoop é uma forma de armazenar grandes quantidades de dados distribuídos em máquinas distintas e, em seguida, distribuir também o processamento desses dados em cada máquina.
- O Hadoop é tido como uma solução adequada para Big Data por vários motivos:
- É um projeto open source, como já informado, fato que permite a sua modificação para fins de customização e o torna suscetível a melhorias constantes graças à sua rede de colaboração. Por causa desta característica, vários projetos derivados ou complementares foram - e ainda são - criados;
- Proporciona economia, já que não exige o pagamento de licenças e suporta hardware convencional, permitindo a criação de projetos com máquinas consideravelmente mais baratas;
- O Hadoop conta, por padrão, com recursos de tolerância a falhas, como replicação de dados;
- O Hadoop é escalável: havendo necessidade de processamento para suportar maior quantidade de dados, é possível acrescentar computadores sem necessidade de realizar reconfigurações complexas no sistema.
Hadoop é baseado em duas partes principais, um sistema de arquivo HDFS (Hadoop Distributed File System) e o sistema para distribuir o processamento MapReduce.
Hadoop DFS
Hadoop Map Reduce
Referências