SI - Armazenamento de Dados

link de visualização

Conceito do Tema

O armazenamento de dados é um agrupamento de arquivos considerados importantes, gravados em um local considerado seguro, de modo a proporcionar eficiência em pesquisas, operações empresariais, arquivamento de banco de dados e gerenciamento de informações.

Armazenamento magnético: é o formato mais comum de tecnologia de armazenamento. Em geral, os dispositivos de armazenamento utilizam drives que se conectam ao computador para receber as informações, e podem ser removidos até a próxima utilização. Exemplo: HD e disquete.

Armazenamento magneto-óptico: são dispositivos portáteis que possuem alta longevidade e capacidade de armazenamento, além de permitir acesso não linear. são os mais utilizados para o armazenamento de informações multimídia, sendo amplamente aplicados no armazenamento de filmes, música, informações e programas, sendo especialmente utilizados para a instalação de programas no computador. Podem ser encontradas nos formatos regraváveis, gravação única e leitura infinita. Exemplo: CD e DVD.

Armazenamento eletrônico: é composto apenas por circuitos que não precisam se movimentar para ler ou gravar informações. Esses dispositivos têm a vantagem de permitir um acesso muito mais rápido às informações. Os dispositivos de armazenamento por meio eletrônico tem a vantagem de possuir um tempo de acesso muito menor que os dispositivos por meio magnético, por não conterem partes móveis. O principal ponto negativo desta tecnologia é o seu custo ainda muito alto.Exemplo: pen drive e cartão de memória.

Funcionamento

HD

É o dispositivo de armazenamento permanente de dados mais utilizado nos computadores. Nele, são armazenados desde os seus arquivos pessoais até informações utilizadas exclusivamente pelo sistema operacional Considerando que um HD possui o braço, eixo, disco (também chamado de prato), cabeça de leitura e gravação e ainda o atuador, o seu funcionamento se dá através da movimentação desses itens descritos. Os pratos de um HD são onde os discos são armazenados. Esses discos ficam posicionados sob o eixo, que é responsável por fazê-los girar. Nos HDs também possui um dispositivo chamado de cabeça, ou cabeçote, de leitura e gravação. Nele contém uma bobina que usa impulsos magnéticos para que as moléculas possam se movimentar sobre o disco e assim gravar os dados. Nos modelos de HDs mais modernos, a cabeça de gravação conta com dois componentes, um responsável pela gravação e outro direcionado à leitura. O atuador presente na estrutura do HD é responsável por mover o braço acima da superfície dos pratos e com isso permitir que as cabeças façam o seu trabalho. Para que a movimentação sai de forma correta, o atuador conta em seu interior uma bobina que é "induzida" por imãs. A parte responsável por todo o armazenamento de dados são os discos magnéticos. O responsável pela leitura e também gravação de dados sobre o disco magnético é chamado de "cabeça de leitura”. A cabeça de leitura posiciona um leitor (uma espécie de “agulha") sobre os discos magnéticos para ler ou gravar dados. Esses dados são lidos e gravados sem que a agulha encoste no disco. Isso só acontece porque o HD é hermeticamente fechado e em consequência à alta velocidade em que o disco é submetido, a cabeça de leitura acaba sendo jogada para cima. O atuador é uma peça que movimenta a cabeça de leitura em torno do disco e ele funciona por atração/repulsão magnética.

Floppy Disk

As partes principais de um drive de disquete são:

 Cabeças de leitura/gravação: localizadas em ambos os lados do disquete, elas se movem em conjunto em uma mesma montagem. Uma mesma cabeça é utilizada para ler e gravar, enquanto que uma segunda, mais larga, é utilizada para apagar um setor antes do mesmo ser gravado. Isso permite que os dados sejam escritos em um "espaço limpo" sem interferir nos dados análogos que estão em um setor adjacente;

 Trilha: anel concêntrico de dados em um lado do disco;

 Motor do drive: um motor muito pequeno engata a parte de metal do centro disquete, girando-o a 300 ou 360 rotações por minuto (RPM);

 Motor de passo: este motor executa um número preciso de revoluções (passos completos) para mover a montagem da cabeça de leitura/gravação para a posição adequada da trilha. A montagem da cabeça de leitura/gravação é presa ao eixo do motor de passo;

 Placa do circuito: contém todos os componentes eletrônicos para manipular os dados lido do disquete ou nele gravado.

SIMPLIFICADO:

 Disco flexível - também chamado de disquete. O tamanho usual de hoje é 3,5 polegadas.

 Drive de disquete - o dispositivo eletromecânico que lê e grava disquetes.

 Trilha - anel concêntrico de dados em um lado do disco.

 Setor - um subconjunto de trilhas, semelhante a uma cunha ou uma fatia de torta.

.Funcionamento

1. O programa do computador passa uma instrução ao hardware para gravar um arquivo de dados no disquete.

2. O hardware do computador e o controlador do drive de disquete dão partida ao motor do drive do disquete para girar o disco flexível. O disco possui muitas trilhas concêntricas (trilhas) em cada lado. Cada trilha é dividida em segmentos menores chamados setores, como pedaços de torta.

3. Um segundo motor, chamado de motor de passo, gira um eixo parafusado em incremento de minutos que coincidem com os espaçamento entre trilhas.

4. A cabeça de leitura verifica o endereço pré-escrito no disquete formatado para assegurar-se de que ele esteja utilizando o lado correto do disquete e de que esteja na trilha correta.

5. Antes dos dados do programa serem gravados no disquete, uma bobina de limpeza é energizada para "limpar" um setor antes de gravar os dados do setor com a cabeça de gravação. O setor apagado é mais amplo do que o setor gravado - desta forma, nenhum sinal dos setores adjacentes interferirá no setor que está sendo gravado.

6. A cabeça de gravação energizada coloca dados no disquete magnetizando as partículas magnéticas embutidas na superfície do disquete. As partículas magnetizadas possuem polos positivos e negativos de maneira que seu padrão pode ser detectado e lido na operação de leitura subsequente.

CD

Os discos compactos(CDs) possuem quatro camadas e praticamente toda a sua espessura (99%) é de policarbonato. O restante (1%), é dividido em três camadas: uma refletiva, camada de proteção e a etiqueta decorativa do CD. dados são armazenados nessas camadas. A integridade do disco é mantida através de uma camada seladora. graváveis, como os CDS de artistas musicais, nunca sofrerão alguma alteração. Para tanto, no CD-R, por ele ter uma camada adicional, poderá ser gravado sem problemas. partir disso, o laser pode registrar novos dados no CD. Nos CDs regraváveis (CD-RW), a camada de tinta costuma ser transparente ou mesmo opaca, nesses, é possível registrar novos dados quantas vezes desejar. Um dos lados do CD conta com uma camada metálica, no geral, de prata. Os Existem dois tipos de CDs, os graváveis (CD-R) e os não-graváveis. Nos CDs que podem ser gravados, há uma tinta esverdeada na nova camada.

DVD

A tecnologia empregada em um disco de vídeo digital (DVD) é muito parecida com a de um CD, que vimos logo acima. A diferença básica entre eles é que o DVD tem capacidade de armazenamento maior do que o CD e isso se dá porque seus sulcos são menores e consequentemente as faixas estão mais perto entre si. O DVD, igualmente ao CD, possui sua composição básica de policarbonato, assim, sobre a primeira camada existe uma camada específica para a gravação de dados. Esta camada fica localizada sobre uma camada metálica protetora e também sobre uma nova camada de policarbonato. O DVD conta com uma camada a mais que o CD. Os DVDs, igualmente aos CDs, podem ser graváveis ou regraváveis, de uma ou duas camadas, de uma ou duas faces.  Assim, um disco com dupla camada conta com duas camadas para gravação, e um de dupla face e também dupla camada, somando quatro camadas.

RAID

RAID ou "Redundant Array of Independent Disks" (Conjunto Redundante de Discos Independentes) é um meio de se criar um sistema de armazenamento composto por vários discos individuais, com a finalidade de ganhar segurança e desempenho.

RAID 0 (Striping)

. Divisão de um mesmo dado em dois ou mais discos;

. Oferece melhor desempenho comparado a discos individuais;

. Se um dos disco apresentar problema, todos os dados são perdidos.

 RAID 1 (Mirror)

. Todos os dados são gravados em dois discos diferentes;

. Se um disco falhar ou for removido, os dados preservados no outro disco permitem a não descontinuidade da operação do sistema;

. Promove melhor segurança dos dados.

 RAID 2

. Na época (final dos anos 80) HDs não possuíam checagem de erros;

. Possui algoritmos de Hamming ECC (Error Correcting Code), diminuindo a quase zero as taxas de erro, mesmo com falhas de energia;

. Existem tecnologias melhores para o mesmo fim.

 RAID 3

.  Versão simplificada do RAID 2;

. Um único bit de paridade é computado para cada palavra de dados e escrito em um drive de paridade;

. Exige que todos os eixos das unidades de disco estejam sincronizados;

. Escrita e Leitura rápidas;

. Possui controle de erros;

. A maioria das unidades de disco mais recentes não possuem a opção de sincronização do eixo.

 RAID 4

.  Funciona com três ou mais discos iguais, com um dos discos guardando a paridade;

. Configurados para acomodar um registro inteiro e dividos em blocos. Isto permite leituras independentes da informação armazenada possibilitando muitas leituras pequenas e simultâneas;

. Taxa de leitura rápida mas de gravação lenta.

 RAID 5

. Similar ao RAID 4;

. Informações sobre paridade para os dados do array são distribuídas ao longo de todos os discos do array;

. Maior rapidez com tratamento de ECC;

. Taxa de leitura rápida mas de gravação nem tanto.

 RAID 6

. Semelhante ao RAID 5, porém usa o dobro de bits de paridade;

. Garante a integridade dos dados caso até 2 dos HDs falhem ao mesmo

. Necessita de N+2 HDs;

. Escrita lenta;

 RAID 01 e RAID 10 e RAID 100

. União entre RAID 0 e RAID 1;

. Segurança e velocidade;

. Alto custo;

. Pode falhar um HD e dependendo até 2;

. Devem estar em sincronismo para máxima performance.

 RAID 50

. União entre RAID 0 e RAID 5;

. Alta taxa de transferência;

. Ótimo para uso em servidores;

. Alto custo.

Contribuição de cada pesquisa

Mineração de dados

No dia-a- dia das grandes empresas,o Data Mining pode ser utilizado para uma grande variedade de contextos de tomada de decisão nos negócios, como: no markenting,onde as aplicações incluem a análise do comportamento do consumidor com base em padrões de compra, podendo determinar as estratégias de marketing, incluindo propaganda, localização de lojas e projetos de catálogos; na manufatura, onde as aplicações envolvem otimizações de recursos como equipamentos,força de trabalho e matéria-prima.

SGDB’s

São softwares que permitem a definição de estruturas para armazenamento de informações e fornecimento de mecanismos para manipula-las, Uma das principais vantagens de um SGBD é que a mesma informação pode ser disponibilizada a utilizadores diferentes, ou seja, compartilhamento de dados, além de que os dados são mais fáceis de acessar e manipular com um SGBD do que sem ele.

Tecnologia BigData

Assim, simplificando, o Big Data é entendido como os conjuntos de dados de grande volume (estruturados e não estruturados) e que necessitam de ferramentas especiais para lidar com grandes quantidades, de forma que todas as informações possam ser encontradas, analisadas e também aproveitadas no tempo necessário.

Redução do custos e de tempo;

Desenvolvimento de novos produtos e ofertas otimizadas;

Determinar a causa raiz de falhas, problemas e defeitos em tempo quase real;

Gerar cupons no ponto de venda com base em hábitos de compra dos clientes;

Recalcular carteiras de risco inteiras, em questão de minutos;

Detectar comportamentos fraudulentos antes que eles afetem sua organização.

Tuning

A prática do Tuning há muito vêm sendo feita manualmente ou via ferramentas incapazes de realizar uma análise verdadeiramente completa e metódica do sistema de entrada. Com o auxílio de Python, desenvolveremos uma ferramenta poderosa e que rode por si só, sem necessidade de debugs ou instalações de packages/libraries situacionais.

A importância do tuning se dá quando há a necessidade de reduzir o tempo de resposta para os usuários do sistema ou reduzir o número de recursos utilizados pelo sgbd para execução de uma certa tarefa.

Vulnerabilidade

Vulnerabilidades, em sistemas de informação, é pode ser definia como alguma falha em um determinado software, ou sistema, que permite que um atacante (hacker) ganhe acesso ao mesmo, podendo utilizá-lo em benefício próprio. Como exemplos de falha, podemos citar a má utilização de memória que, por consequência, causa o chamado buffer overflow ou Transbordamento de Dados. Um simples firewall desatualizado pode ser considerado uma vulnerabilidade grave. Essa prática consiste em fazer buscas minuciosas na rede, para coletar informações de computadores conectados e, assim, obter acesso a partir de possíveis vulnerabilidades que aquele usuário possa ter.

Alocação encadeada

Os arquivos são armazenados como listas de blocos

• cada bloco aponta para o próximo

• diretório aponta para o bloco inicial

• os blocos podem estar espalhados

Base de funcionamento da FAT

• sistema de arquivos Windows

Alocação indexada

Baseada em tabelas de blocos

• um bloco especial guarda a tabela de blocos do arquivo: index-node (i-node)

• diretório aponta para os i-nodes

• blocos podem estar espalhados

Base de funcionamento do UNIX

Exemplos de soluções

Compressão de Dados: 7zip, WinRAR, WinZIP

SGBD: PostgreSQL, Firebird, mySQL, Oracle

BI: Board, SharePoint, Oracle BI

ETL: CloverETL, JaspersoftETL

Mineração: Clementine, Oracle Data Mining

Estado da arte

O armazenamento de dados vêm evoluindo juntamente com o avanço da tecnologia. Quanto mais conteúdos e novas tecnologias são inventadas, novas formas de armazenamentos de dados também são necessários. Uma das grandes características desse avanço é a utilização do menor espaço possível para esse armazenamento. Desde o invento dos "floppy-disks" conhecidos como disquetes, passando por CD's, DVD's, SSD's, cartões de memória e pendrives,chegando hoje à técnica mais utilizada por grandes empresas, o Cloud Storage, armazenamento nas nuvens.

Se tratando em CD e DVD, o que vem ganhando muito espaço em quesito de armazenamento de dados é o Blu-Ray. Em uma pequena comparação podemos perceber os seguintes dados:

- Um CD pode armazenar no máximo 700 MB de dados. Quantidade pequena se comparado a um DVD, que pode armazenar até 9 GB. Em comparação com esses dois porém, o Blu-Ray consegue armazenar até 128 GB de dados. Um aumento de quase 182 vezes mais capacidade em comparação a CD’s.

Porém a mais nova tecnologia no que se trata a armazenamento de dados vêm sendo pesquisada atualmente no Reino Unido. Pesquisadores pretendem armazenar 360 terabytes de informação dentro de um pequeno disco de quartzo utilizando lasers. Para fazer uma pequena comparação, o pendrive com maior capacidade de armazenamento existente é o DataTraveler HyperX Predator, criado pela Kingston que armazena 1 terabyte de informação. O disco de quartzo armazena mais de 300 vezes a capacidade do pendrive, e o tamanho atual dele é de 2x2 cm. Porém o que mais impressiona nesse novo disco de armazenamento não é seu tamanho ou sua capacidade de armazenamento, e sim as condições que ele é capaz de suportar. Ele resiste a condições extremas, podendo ser submetido a uma temperatura de mil graus Celsius durante duas horas ou ficar normalmente a temperatura de 170 graus sem perder seu funcionamento além de que grande parte dos ácidos e compostos químicos conhecidos não o "quebrarem" a expectativa é de que ele consiga armazenar dados por até 14 bilhões de anos.