ETL

ETL

Conceito

A sigla ETL, vem do inglês Extract Transform Load, que traduzindo para o português é, extração transformação carga. Na pratica ele é responsável pela extração dos dados de origem, transformações desses dados e, carga ou armazenamento dos dados em um Data Warehouse (DW).

Funcionamento

Extração

A extração é o recolhimento de dados para o DW todo projeto precisa-se consolidar as informações de diversas fontes, agindo independentemente do sistemas operacionais que ele esta alocado. Por isso o processo de ETL tem que ser capaz de se conectar com uma vasta gama de fontes e delas coletar informações.

Transformação

A etapa de transformação pode ser chamada também de limpeza, ajustes e consolidação, que basicamente consiste em, realizar devidas formatações nos dados, podendo assim melhorar a composição dos dados e fundamentar as informações de fontes diversificadas. A fase de transformação tem base na aplicação de uma cadeia de regras ou funções, nas informações extraídas, a fim de ajustar os dados a serem ajustados de uma forma padrão.

Carga

A última etapa pode ser enunciada como carga ou entrega de dados, é o período em que se carrega no DW as informações que foram transformadas e lidas na origem. Esta etapa pode variar amplamente, pois depende do jeito que o projeto feito será. Nesta fase também é definido o tempo em que a informação vai estar armazenada.

Vantagens

Produção de cargas: Formar um estilo de entrega de dados em uma ferramenta de ETL é muito mais viável. Em casos de usuários não experientes quiserem utilizar, dependendo da facilidade do projeto eles serão capazes de carregar carga mais simples.

Atuação: As ferramentas de ETL utilizam meios que geram uma melhor performance para trabalhar com grandes volumes de dados e no geral conseguem extrair, transformar e carregar dados mais rapidamente e economizando recursos.

Padronização: As ferramentas do ETL tem recursos de paralelização de dados, é útil para quem extrai informações de várias fontes e nem sempre elas estão padronizadas.

Migração de dados: as ferramentas podem ser útil para qualquer tipo de trabalho que envolva importação, transformação e exportação de dados para outros servidores.

Diversos conectores: A conexão de uma ferramenta de ETL tem a capacidade de conectar com várias fontes de dados.

Reutilização: Um dado pode ser reciclado, sendo assim reutilizado dentro de outras cargas.

Continuidade: As ferramentas de ETL tem a função de iniciar os dados na parte onde ele foi desligado, assim dando continuidade ao trabalho.

Motivos para utilização

A utilização do ETL é um processo considerado crítico, porém necessário dentro de um projeto de DW, pois grandes fluxos de dados são processados, serão formuladas as regras dos indicadores que irão armazenar os arquivos. Em média 80% do tempo gasto em um projeto de DW é consumido pelo ETL, contudo 55% do custo financeiro é gasto com as ferramentas de ETL. Quando fala –sede um projeto de BI o ETL é a parte que o usuário não tem contato, porque ele só tem contato com a parte Front – End, que é aparte visual.

Exemplos de Software

DTS (Data Transformation Service): No geral DTS é uma ferramenta auxilia na importação, transformação e exportação de dados, pois vendo mais a fundo sobre esse software, suas funções vão muito além disso, podendo ser utilizando para modelar fluxos de validação, distribuição, homologação, implantação.

Data Stage: Esta ferramenta facilita a interação com uma grande variedade de fonte de informações, portanto com este software pode - se pegar dados de diversas bases podendo carregar esses dados em diversas bases.

ETI

Business Objects Data Integration

Sunopsis

Oracle Warehouse Builder

Sagent

Informática Power Center

Pentaho

Talend

Referências Bibliográficas

Desenvolvimento de uma Ferramenta de Business Intelligence para o Ambiente de Ensino a Distância Amadeus: Um Estudo de Caso. Revista Eletrônica

DATA WAREHOUSE: ANÁLISE DA PERFORMANCE DE FERRAMENTAS DE ETL. UNIVERSIDADE DO SUL DE SANTA CATARINA. VALDINEI VALMIR DOS SANTOS

DESMISTIFICANDO O CONCEITO DE ETL. Fábio Silva Gomes da Gama e Abreu- FSMA. Revista de Sistemas de Informação n°. 02 Jul./Dez. 2008