ETL: mudanças entre as edições

Edição atual tal como às 12h34min de 17 de maio de 2017

1.1 Conceito 1.2 Funcionamento 1.3 Vantagens 1.4 Motivos para utilização 1.5 Exemplos de Software 1.6 Relação com BI 1.7 Referências Bibliográficas

@@ Linha 1: / Linha 1: @@
-= ETL =
+.1 Conceito
-<br>
+.2 Funcionamento
+.3 Vantagens
-== Conceito ==
+.4 Motivos para utilização
-A sigla ETL, vem do inglês Extract Transform Load, que traduzindo para o português é, Extração Transformação Carga (ETC). Na pratica ele é responsável pela extração dos dados de origem, transformações desses dados e, carga ou armazenamento dos dados em um Data Warehouse (DW).
+.5 Exemplos de Software
-<br>
+.6 Relação com BI
+.7 Referências Bibliográficas
-== Funcionamento ==
-<br>
-'''Extração'''
-A extração é o recolhimento de dados para o DW todo projeto precisa-se consolidar as informações de diversas fontes, agindo independentemente do sistemas operacionais que ele esta alocado. Por isso o processo de ETL tem que ser capaz de se conectar com uma vasta gama de fontes e delas coletar informações.
-'''Transformação'''
-A etapa de transformação pode ser chamada também de limpeza, ajustes e consolidação, que basicamente consiste em, realizar devidas formatações nos dados, podendo assim melhorar a composição dos dados e fundamentar as informações de fontes diversificadas.
-A fase de transformação tem base na aplicação de uma cadeia de regras ou funções, nas informações extraídas, a fim de ajustar os dados a serem ajustados de uma forma padrão.
-'''Carga'''
-A última etapa pode ser enunciada como carga ou entrega de dados, é o período em que se carrega no DW as informações que foram transformadas e lidas na origem. Esta etapa pode variar amplamente, pois depende do jeito que o projeto feito será. Nesta fase também é definido o tempo em que a informação vai estar armazenada.
-== Vantagens ==
-<br>
-'''Produção de cargas''': Formar um estilo de entrega de dados em uma ferramenta de ETL é muito mais viável. Em casos de usuários não experientes quiserem utilizar, dependendo da facilidade do projeto eles serão capazes de carregar carga mais simples.
-'''Atuação''': As ferramentas de ETL utilizam meios que geram uma melhor performance para trabalhar com grandes volumes de dados e no geral conseguem extrair, transformar e carregar dados mais rapidamente e economizando recursos.
-'''Padronização''': As ferramentas do ETL tem recursos de paralelização de dados, é útil para quem extrai informações de várias fontes e nem sempre elas estão padronizadas.
-'''Migração de dados''': as ferramentas podem ser útil para qualquer tipo de trabalho que envolva importação, transformação e exportação de dados para outros servidores.
-'''Diversos conectores''': A conexão de uma ferramenta de ETL tem a capacidade de conectar com várias fontes de dados.
-'''Reutilização''': Um dado pode ser reciclado, sendo assim reutilizado dentro de outras cargas.
-'''Continuidade''': As ferramentas de ETL tem a função de iniciar os dados na parte onde ele foi desligado, assim dando continuidade ao trabalho.
-== Motivos para utilização ==
-<br>
-A utilização do ETL é um processo considerado crítico, porém necessário dentro de um projeto de DW, pois grandes fluxos de dados são processados, serão formuladas as regras dos indicadores que irão armazenar os arquivos. Em média 80% do tempo gasto em um projeto de DW é consumido pelo ETL, contudo 55% do custo financeiro é gasto com as ferramentas de ETL. Quando fala –sede um projeto de BI o ETL é a parte que o usuário não tem contato, porque ele só tem contato com a parte Front – End, que é aparte visual.
-== Exemplos de Software ==
-<br>
-'''DTS (Data Transformation Service)''':
-No geral DTS é uma ferramenta auxilia na importação, transformação e exportação de dados, pois vendo mais a fundo sobre esse software, suas funções vão muito além disso, podendo ser utilizando para modelar fluxos de validação, distribuição, homologação, implantação.
-'''Data Stage''':
-Esta ferramenta facilita a interação com uma grande variedade de fonte de informações, portanto com este software pode - se pegar dados de diversas bases podendo carregar esses dados em diversas bases.
-'''Sunopsis''': É um software de integração de dados para ETL, ele fornece uma maneira para interpretar as maneiras de transformação de conteudos e integração dos mesmos.
-'''Oracle Warehouse Builder ''': esse software melhora a performace e a produtividade de um projeto ETL, assim tendo a capacidade de reutilizar os dados que ja estao inseridos no DW.
-'''Sagent Data Flow ''': É um instrumento de inclusão eficiente e eficaz que agrega informações de diversas fontes na mesma produção, na qual um aglomerado de ferramentas de modificação de dados pode reagrupar e limpar os dados para melhorar seu valor comercial.
-''' Power Center''': Ele serve para fornecer informações aos projetos em um intervalo de tempo muito mais rapido se fosse de forma convencional.
-'''Pentaho ''': É um software de linguagem aberta para o raciocínio de um negocio, com o desenvolvimento em java. A plataforma abrange o setor de ETL,  OLAP e Data Ming, fazendo avaliações de Big Data, funciona puramente com bancos de dados NoSQL e Hadoop.
-'''Talend''':  O software oferece uma base para a organização de uma gama vasta de dados assim, em escala empresarial, tornando o trabalho mais organizado.
-== Relação com BI ==
-<br>
-'''O Business Intelligence (BI)''' consiste em extração, modificação, avaliação e o arranjo de informações a fim de ter melhor rendimento nos caminhos que as empresas seguem. Ele mostra a competência do negócio de poder ter o acesso e explorar as informações desejadas, o criando percepção e conhecimento, acarretando a melhora da técnica de tomada de decisões. Seu interior tecnológico é composto de Data Warehouse, Data Mining e o ODS além dos softwares embutidos em cada um deles
-Assim como funcionamento do ETL tem seus processos, dentro de um projeto de BI também tem, são eles respsctivamente:
-Modelagem dimensional
-Etl
-Olap
-== Referências Bibliográficas ==
-<br>
-Desenvolvimento de uma Ferramenta de Business Intelligence para o Ambiente de Ensino a Distância Amadeus: Um Estudo de Caso. Faculdade Estácio de Sá do Recife. Marcelo Silva de Moraes Filho, Milton Guedes Duarte, Eduardo José Marcelino Vicente dos Santos. Revista Eletrônica
-DATA WAREHOUSE: ANÁLISE DA PERFORMANCE DE FERRAMENTAS DE ETL. UNIVERSIDADE DO SUL DE SANTA CATARINA.
-VALDINEI VALMIR DOS SANTOS
-DESMISTIFICANDO O CONCEITO DE ETL. Fábio Silva Gomes da Gama e Abreu- FSMA. Revista de Sistemas de Informação n°. 02 Jul./Dez. 2008
-O Processo ETL em Sistemas Data Warehouse. João Ferreira, Miguel Miranda, António Abelha e José Machado. Universidade do Minho, Departamento de Informática,
-Braga, Portugal
-DESENVOLVIMENTO DE APLICAÇÕES ETL COMO UMA PROPOSTA PARA A REDUÇÃO DE CUSTOS EM PROJETOS DE DATA WAREHOUSE. Dissertação de mestrado Carla Oran Fonseca de Souza. Recife - PE. 29 de setembro de 2003 (Universidade Federal de Pernambuco)