Fase I - Estudo

Título da Idéia

Telco Analytics

Objetivos

Os principais objetivos da presente pesquisa são: destacar a importância da Analytics no meio Telco e indicar possíveis aplicações no sentido de encontrar oportunidades de crescimento nesse mercado.

Conceito

Antes de pensar no contexto de telecomunicações, pode-se definir a área de Analytics como a utilização de técnicas em estatística, matemática, modelagem preditiva e aprendizagem de máquina para identificar padrões e obter conhecimento significativo em dados. Aplicável em diversos contextos, a Analytics, também conhecida como inteligência analítica, representa um campo promissor, uma vez que é capaz de produzir conteúdo útil para a tomada de decisões sobre negócios. Tal conteúdo é baseado em dados já produzidos, o que reduz o risco inerente às decisões a serem tomadas. De acordo com O'Brien & Kok (2013), o tópico aqui discutido está inserido no contexto de Data Science, a qual é composta por ferramentas, metodologias e resultados obtidos de dados, que, por sua vez, permitem a predição das tendências de negócio.

No contexto Telco, ou seja, de empresas de Telecomunicação, deve-se introduzir a Analytics avançada e baseada em dados para responder questionamentos sobre como permanecer lucrativo nesse mercado, que tem se saturado e comoditizado. Ademais, o uso do recurso aqui discutido pode ajudar as Telcos a direcionar seus esforços para a entrega de uma melhor experiência do usuário na era digital, o que significaria maior crescimento.

Nos últimos anos, o campo de Telco Analytics tem se apoiado na Big Data — grandes conjuntos de dados produzidos ao longo do tempo devido ao funcionamento do serviço de telecomunicação — para realizar análises e encontrar melhores insights sobre a situação do serviço. Sendo assim, é possível encontrar estudos e pesquisas sobre tal tópico associado à Telco Analytics e sobre como essa aliança pode melhorar a receita das telcos. Pode-se citar, por exemplo, o estudo de Chen (2015), que tratou sobre casos de uso de Big Data e Analytics, bem como dos desafios das Telcos ao utilizarem essas ferramentas. Lall (2013), por sua vez, discute de forma objetiva sobre os desafios das Telcos e respectivas técnicas de Analytics que podem ser utilizadas para superá-los. Como a intenção é apresentar a Telco Analytics, o presente estudo se restringirá aos assuntos abordados nos dois trabalhos citados.

Características

De acordo com Chen (2015), o framework abaixo, sobre gerenciamento de empresas Telco, apresenta 3 camadas de aplicação vertical: Clientes, Serviços e Recursos. Essas camadas são cruzadas com duas perspectivas: Infraestrutura/Produtos e Operações. O cruzamento produz casos de uso para a aplicação da Analytics com Big Data em cada contexto. Desse modo, é possível que a Telco direcione o seu foco nesses casos de uso para encontrar formas de reagir aos desafios do mercado.

Erro ao criar miniatura: Arquivo não encontrado

Framework: Telecom big data analytics. Fonte: Chen (2015)

Na frente de clientes, por exemplo, operadores podem usar os insights para recomendar produtos e serviços de acordo com localização, dispositivos e uso realizado pelos clientes. Análises de Churn podem indicar a probabilidade de perda de clientes e dar insights que explicam o porquê disso acontecer. Por meio do constante monitoramento da Qualidade da Experiência (QoE) do cliente, tratativas proativas podem solucionar problemas antes mesmo de afetarem tais clientes. Já na frente de recursos, operadores podem monitorar as performances da rede para garantir uma operação adequada. Dados coletados nessa frente podem dar suporte a casos de uso para planejamento da rede, gerenciamento de capacidade e outros. Por fim, a camada de serviços abrange atividades relacionadas a providenciar os serviços de voz, dados e vídeo. Nesse sentido, a analytics pode ser usada para melhorar o processo de ordem de serviço, diminuindo o tempo entre pedido e faturamento. Diagnósticos reativos e monitoramento proativo necessários em SLAs também são possíveis. Além disso, a mineração de dados de uso pode, nesse contexto, detectar fraudes.

Já os estudos de Lall (2013) apontam, objetivamente, os principais desafios da Telcos como sendo:

Falhas de rede: as quais levam à insatisfação dos clientes;
Churn: clientes que mudam de operadoras, ocasionando significante perda de receita;
Estagnação ou queda de ARPU (Receita Média por Cliente).

EMPRESAS ESPECIALIZADAS EM ANÁLISE DE DADOS

Erro ao criar miniatura: Arquivo não encontrado

Empresas especializadas em Data Science: potenciais parceiras

FERRAMENTAS COMUMENTE USADAS EM TELCO ANALYTICS

Dados: Hadoop, PostgreSQL, Hortonworks, AWS Amazon, Cassandra, G Suíte, Oracle, My SQL

ETL: Pentaho, IBM InfoSphere, Spark, Hive, Impala

Softwares/Linguagens: Python, R, Excel, QGIS (KML)

Visualização:Tibco Spotfire,Tableau, Metabase, Birst, Jaspersoft, MicroStrategy, Orange, Qlik, Sisense

Estudo Dirigido

O estudo dirigido deve contemplar os seguintes tópicos:

Estudos sobre Analytics;
Aplicação nas Telcos;
Estudos sobre Big Data, BI e tópicos afins;
Levantamento de principais aplicações e casos de uso;
Levantamento das principais ferramentas/softwares utilizados;

As informações serão coletadas de artigos científicos ou de cunho didático da internet.

Referências Bibliográficas

Chung-min Chen. Use cases and challenges in telecom big data analytics. 2015
Vijayeta James Lall. Application of Analytics to Help Telecom Companies Increase Revenue in Saturated Markets. 2013

Fase II - Ensino

Conteúdo e Apresentação

Apresentação Telco Analytics

Metodologia

Estratégia de execução:

Erro ao criar miniatura: Arquivo não encontrado

Metodologia de Execução e Validação dos UCs:

Será adotada a metodologia Scrum para o trabalho interno, que apesar de muito popular entre desenvolvedores de softwares, foi adaptada para outros tipos de processos, como o presente.

Parceiros prospectados:

AWS
Dell/EMC
Hekima
Splunk
Twist
Resolute IT
Kyros
Comarch
Tenbu
IBM / ICARO
NOKIA

Parceiros Acadêmicos:

UFU - Engenharia Eletrica e FACOM
UNITRI
UFRJ - Coppe
UFMG DCC

Fase III - Exemplo de Caso de Negócio

Product Backlog

A seguir são listados os principais requisitos ou as frentes a serem abordadas pela aplicação da Telco Analytics:

Análise de Padrões de Atendimento e Repetição;
Prevenção de contencioso Jurídico e Reclamações;
Aprendizado de Potencial de Vendas & Redes;
Smart Bateria;
Capacidade & Priorização Tráfego;

Benefícios para quem for oferecer esta solução

Predição de probabilidade de repetição de reclamações e potenciais causas-raiz para atuação preventivas em equipes especializados evitando residência;

Prevenção de contencioso jurídico, com apontamento de chamadas e eventos com maior probabilidade de gerar insatisfações e contencioso jurídico para atuação diferenciada nas tratativas;

Determinações com maior precisão de demanda potencial de mercado para banda larga;

Previsão de potenciais falhas de baterias, com diminuições de falhas de redes e custos de reposição de bancos de baterias com atuações preventivas;

Priorização do investimento de acordo com maior interesse de tráfego & receita, alocando investimentos de forma mais eficiente e atuando preventivamente da capacidade e qualidade da rede para os maiores interesses de tráfego.

Benefícios para o usuário

Os clientes dos serviços oferecidos pela empresa terão os seguintes benefícios:

Melhoria na satisfação e na qualidade dos serviços;
Menor desgaste para os clientes, evitando custos desnecessários para cliente e para a operação.
Maior correção das ofertas de acordo com o interesse dos clientes.

Direcionadores chave para esta iniciativa

Em resumo, os principais direcionadores do projeto são:

Entrega de melhor CX;
Redução de Opex;
Predição de performance e prevenção de falhas;
Melhoria de eficiência;

Possíveis modelos de negócios

A empresa fará parcerias com empresas especializadas em Analytics para desenvolvimento do projeto e acionará as equipes de Analytics, Marketing e Engenharia internos para execução das ações e exploração dos benefícios gerados;

Modelo de Trabalho com Parcerias:

Business Case

Seguem alguns business case de aplicação da Telco Analytics

Deloitte (Link do artigo):

In this wireless telecommunications case study, a large telecom needed to more effectively leverage its vast stores of data for timely customer analytics. They also faced increased churn and decreased share. Now you can see how Deloitte helped them tackle these complicated challenges. Our strategy included implementation of several platforms that collected, stored, and analyzed data from millions of customers and billions of transactions. The outcome: real-time marketing effectiveness to better serve existing customers and open the door for new ones. Big data is becoming increasingly critical to generate unique market insights for consumer oriented companies. This company is no exception. The company has sizeable volumes of data but no way to perform meaningful analysis on that data. They were facing problems with data latency as well, with an imposed reporting lag time of 45 days on current operational data. The company requires more current data to generate insight for analysis to help them better understand their customer base and open new markets. They also need to integrate new CRM competencies to stave off churn. They also desire foresight capabilities to explore how to shape new revenue streams and capture more aggressive market share. Deloitte helped the company craft a solution using the SAP HANA platform, which is an in-memory solution designed to deliver versatility and near real-time analytics. With the insight that real-time data fed into analytics engines can provide, the company is able to better understand—and proactively respond to—customer actions by serving up timely incentives and offerings, via multiple channels, such as text messages or target electronic advertising with relevant coupons. The solution can also enhance the ability for company business analysts and functions to perform scenario-based analyses and campaign simulations in real-time, using live customer and established campaign data—thus opening the possibility for discovering new markets.

Dell Technologies (Link do artigo):

Business Problem:

A global mobile communications service provider wanted to understand customer location and travel patterns to support realtime promotions, advertising and up-sell of services. In addition, they desired additional, textured information to improve the quality of their network operations and provide enhanced customer service for their most important customers.

EMC’s Solution:

We bundled several existing assets from Pivotal together with EMC Professional Services to create an overall realtime analytics service solution for this carrier. We stored raw data as it was received for historical trends and analytics. We ran realtime analytics models to identify patterns in the subscriber location data and to act upon the targeted behavior event. We loaded the network control data in a realtime streaming mode for more than 10 million subscribers. A single unit of our solution is capable of ingesting data up to 10TB/hr and it has linear scalability (i.e., 20TB/hr with two units).

Business Benefits:

This client benefited by improved targeting of, and interaction with customers on multiple devices—not just smart phones. This resulted in wider coverage for targeted marketing messages. In addition, the client realized improved efficiency of marketing expenditures and was able to generate additional revenue from marketing agencies. One example was specific location-based marketing: to identify subscribers that were approaching a subway entrance. The carrier’s normal coverage was not as effective underground, so they invested heavily in WiFi networks in the subway. Yet, their WiFi service was not getting expected “take” rates. This solution was used to send specific messages to subscribers about to enter the subway—to inform and provide an incentive to try the carrier’s WiFi. A second example was a campaign to communicate with subscribers within 30 seconds of experiencing a dropped call on the network.

This campaign had strenuous requirements, including realtime target selection of customers who met the following criteria:

- Experienced a dropped call anywhere on the mobile operator’s network;
- Were also in the top tier of customers based on lifetime value to the operator;
- Determine this within 30 seconds of the subscriber experiencing a dropped call;

In this case, the action generated by our solution was to inform the users that the network operator was aware that the dropped call occurred and provide them a credit to their account.

The examples cited above are two of many that are being implemented—by this mobile carrier and others.

Vodafone and Argyle Data(Link do artigo)

Argyle Data monitors and detects fraud in real time by ingesting streaming data into Accumulo, a massively scalable key-value database developed by the National Security Agency, and queries both live and historical data using Presto, a distributed SQL query engine developed by Facebook. Argyle Data has developed a fraud analytics application on this platform that allows attacks to be detected and stopped in seconds using state-of-the-art Adversarial Machine Learning on Hadoop. This supports an ensemble of algorithms that are designed to detect fraudulent activity, at petabyte scale, in minutes versus the traditional 24-hour window.

The company was recently named to CIO Review's 100 Big Data Companies list, saying "Argyle Data's real-time analytics transforms enterprises from a reactive to a proactive state."

Argyle Data also announced the hiring of four new executives to help lead. Joining the team is Arshak Navruzyan, Dr. Ian Howells, Padraig Stapleton, and Dr. Volkmar Scharf-Katz. Navruzyan leads product management with an extensive background in machine learning and analytics. Howells leads marketing with over 25 years experience building successful technology companies. Stapleton leads engineering with management and technical expertise across a number of areas including mobile telecommunications and big data. Most recently, he was VP of Engineering and Operations for the Big Data group at AT&T responsible for development of its big data platform. Scharf-Katz leads mobile strategy and solutions with over 15 years of experience in the mobile industry specializing in analytics, big data platforms, and communication technologies. Previously, he was Chief IP Networks Partner, R&D and Head of Service Platform at Vodafone where he was responsible for building advanced computing environments to demonstrate real-time analytics, showcase artificial intelligence and develop mobile applications.

"We're at an inflection point for cyber fraud detection. The volume of data that we track now exceeds what a human can cope with. Scaling with more humans is simply not the answer," said Padraig Stapleton, VP Engineering and Operations at Argyle Data. "The answer is leveraging more data, more algorithms and more sophisticated technology, to beat the new breed of organized cyber fraud criminals. My experience in using big data techniques at massive scale convinced me of Argyle Data's potential to beat online fraud in a dramatically more cost effective way using commodity hardware and state-of-the-art machine learning."

"Imagine a credit card company with no fraud protection. No one would trust it or use it. I believe fraud protection is going to be just as critical and expected across all aspects of the mobile and financial services sectors. Fraud directly impacts people's lives in a very personal and invasive way. I joined Argyle Data to blend my past experience in the mobile industry with the big data and machine learning experience of the existing team to beat mobile fraud and protect customers from the new breed of sophisticated phone fraud criminals," said Dr. Volkmar Scharf-Katz, VP of Mobile Strategy & Solutions at Argyle Data.

Alinhamento com Lei do Bem

Projeto possui algum elemento tecnologicamente novo ou inovador?

Hipótese que está sendo testada: os setores censitários possuem ocupação de rede de acordo com o seu potencial de vendas;

Projeto possui barreira ou desafio tecnológico superável?

Apesar de superáveis, o projeto terá suas dificuldades. As principais são listadas a seguir:

- Modelo ficar desatualizado sem retreino;
- Áreas de negócio não mudarem os processos de acordo com os resultados do modelo;
- GeoFusion com dados desatualizados em 1 ano;
- Inconsistências nas bases em relação quantidade portas existentes, ocupadas e domicílios;

Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?

O modelo multinível será utilizado, pois possibilita entender os efeitos de atributos (features) para o nível de setor censitário e cluster

Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?

Sim, a empresa parceira é a A3Data;

Fase IV - Protótipo orientado ao Negócio

Escopo

Explique o escopo deste protótipo

Limitações

Informe sobre as limitações técnicas, comerciais, operacionais, recursos, etc.

PoC

Desenvolva um PoC (Proof of Concept)

Detalhamento Técnico

Clusterização:

Para rodar o Modelo de Regressão Multinível, através da linguagem Python e de suas bibliotecas de análises de dados, foi necessário o preparo e classificação dos dados de rede e socio-econômicos referentes aos Setores Censitários (área de referência utilizada no estudo). Uma parte desse processo de preparo foi a clusterização, ou seja, definição de clusters ou grupos de setores de características semelhantes como quantidade de cliente GPON/Banda Larga, quantidade de clientes que pediram upgrade e outras.

Saída do Modelo:

Foram definidos 7 clusters de acordo com o Elbow Graph do conjunto de dados. Com todos os dados e classificação dos setores, foram definidas as features ou características mais importantes para o estudo e então, tais features foram usadas como input no Modelo Multinível. O modelo retornou um número de -3 a 3 para cada setor, tais números representam o potencial de vendas e exploração em cada local. É importante destacar que o modelo exige treino e é feito trimestralmente, ou seja, ele deve ser refeito periodicamente, tanto para trazer confiabilidade às saídas, quanto para acompanhar as mudanças realizadas na rede e/ou ações realizadas pelo comercial.

Mapeamento:

Com a execução do modelo estatístico e, como consequência, garantia dos resultados de potencial vendas (preditos por meio da entrada, no modelo, de diversos dados referentes aos setores censitários), é possível agregar tais resultados ao estado de disponibilidade de rede em uma mapa. O esboço desse mapa pode ser visto na imagem abaixo:

Erro ao criar miniatura: Arquivo não encontrado

À esquerda são mostrados os filtros possíveis. No centro, o mapa com a delimitação de bairros, setores censitários e sua classificação quanto ao potencial, sendo as classes negativas pouco exploradas, de acordo com o modelo. À direita, os KPIs mostram a soma dos potenciais negativos e uma lista dos potenciais de cada setor censitário em ordem crescente

Cronograma Macro

Histórico

02/03/2020: Marcação de alinhamento com o especialista Henrique Omena para discussão do tópico;
03/03/2020: Início da escrita do Conceito;
06/03/2020: Alinhamento marcado para 10/03;
11/03/2020: Refinamento do Conceito, início das características e listagem dos tópicos do estudo dirigido;
12/03/2020: Refinamento do Conceito;
18/03/2020: Criação de apresentação da Fase 2;
25/03/2020: Refinamento da apresentação;
26/03/2020: Início da escrita da Fase 3 e ponto de controle realizado com especialista, o qual apontou modificações e próximos passos para o desenvolvimento da PoC;
30/03/2020: Continuação da escrita da Fase 3 e ponto de controle marcado para 02/04 com o Luiz Cláudio;
31/03/2020: Término da Fase 3;
06/04/2020: Apresentações realizadas para o especialista e Luiz Cláudio nos últimos dias. Realização de revisão bibliográfica para embasar melhor a teoria;
09/04/2020: Início: desenvolvimento de esboço do Dashboard de apoio ao projeto;
13/04/2020: Esboço do Dashboard de apoio ao projeto finalizado;
23/04/2020: Edição de fase III para adequação ao que deve ser escrito;
27/04/2020: Adição de Business Case em Telco Analytics;
28/04/2020: Adição de Business Case em Telco Analytics;
04/05/2020: Trabalho no UC referente à PoC;
12/05/2020: Continuação trabalho no UC referente à PoC: cálculo dos indicadores de disponibilidade de rede para validação do modelo;
15/05/2020: Continuação trabalho no UC referente à PoC: cálculo dos indicadores de disponibilidade de rede para validação do modelo;
19/05/2020: Adição de recursos no Dashboard para filtragem de acordo com métricas de disponibilidade de rede sugeridos por Henrique Omena, como por exemplo, número de portas ocupadas por domicílios e etc. A visão auxiliará a equipe do comercial a definir frente de vendas no futuro. O output dos indicadores será usado para testes estatístico, visando melhor entendimento dos dados;
20/05/2020: Início da escrita do detalhamento técnico: adição do esboço do dashboard e uma breve legenda na imagem;
21/05/2020: Discussão com especialista sobre o processo de levantamento e tratamento de dados e aplicação do modelo multinível (preditivo) para previsão do potencial de vendas dos setores;
22/05/2020: Detalhamento técnico sobre a aplicação do modelo preditivo para retorno do potencial de vendas do setores censitários: clusterização e saída do modelo;
25/05/2020: Aguardando aprovação de acesso ao banco Redshift para acesso à base ativa de clientes;
26/05/2020: Inserção da base ativa no dashboard. A intenção é inserir os últimos indicadores de disponibilidade de rede e aperfeiçoar o layout do dashboard para apresentar para o comercial;

Pesquisadores

Arthur Filipe Sousa Gomes
Henrique Amaral de Omena