Computer Use

Fase I - Estudo

Título da Ideia

Computer Use

Objetivos

• IAs que interajam com o computador do usuário/remoto. Por exemplo, para abrir arquivos, navegar por apps ou automatizar tarefas locais.

Características 

Informe sobre as particularidades, aspectos e atributos desta ideia.

• Informações sobre Computer Use:
  • Specific Projects & Research:
    • Anthropic's "Computer Use" Tool (for Claude models):
    • OpenAI's "Computer-Using Agent (CUA)" / "Operator"
    • OpenAI Computer-Using Agent
    • OpenAI Operator AI
    • Research papers or GitHub repositories for sample applications related to CUA.
  • Dive deeper into the academic side:
    • AI GUI interaction research papers
    • Autonomous UI navigation AI
    • Large Language Models controlling GUIs
    • Vision-based UI automation for AI.

Estudo Dirigido

• Pesquisar e escrever sobre as características principais da tecnologia
• Redigir sobre Conceito conforme orientações do template
• Definir Objetivos com Especialista do CoE IA e Automação
• Avaliar os ratings e montar quadro comparativo
• Pesquisar soluções open-source
• Começar a pensar numa aplicação dessa tecnologia que deverá estar alinhada com o objetivo.

Fase II - Ensino

Conteúdo

Desenvolva um conteúdo que possa transmitir o conhecimento adquirido para outros
Crie um material (Wiki, PDF, PPT, ...) que possa ser armazenado e facilmente atualizável

Apresentação

Apresente ao grupo (reunião, EAD, Blog, ...)
Publique aqui

Metodologia

Descrevas as metodologias usadas. Alguns exemplos:

Estratégia de Job Rotation
Estudos básicos para conhecimento do potencial
Estudos básicos para entendimento sobre o problema
Estudos para dar base aos pesquisadores
Benchmarking com empresas estrangeiras 
Aceleradoras de empresas
Adoção de novas tecnologias
Utilização da proposta de soluções Open-source
Priorização no desenvolvimento interno
Foco na não dependência de fornecedores
Prática de formação dos talentos necessários 

Hipóteses

 Que questões envolvem a pesquisa? 
O que se espera provar?
O que se espera como resultado?
Explicações e argumentos que subsidiem a investigação em curso

Fase III - Exemplo de Caso de Negócio

Product Backlog

Descreva os requisitos deste projeto

Benefícios para quem for oferecer esta solução

    Descrever em tópicos os benefícios que uma pessoa ou uma empresa podem obter: ganhos, receitas, novos negócios, novos produtos, novas parcerias

Benefícios para o usuário

    Descrever em tópicos os benefícios para os usuários desta solução.
    Pode se inspirar no Canvas.

Direcionadores chave para esta iniciativa

    Descrever em tópicos o que esta iniciativa pode proporcionar

Possíveis casos de uso

• Case: Automação de Processos de Onboarding de Clientes em Serviços Digitais
  • Desafio: Empresas de serviços digitais (bancos, fintechs, plataformas de streaming, e-commerce, etc.) frequentemente enfrentam processos de onboarding de novos clientes que são complexos, demorados e suscetíveis a erros humanos. Isso envolve:
    • Preenchimento de Múltiplos Formulários: O cliente precisa preencher dados em diversas páginas ou em sistemas legados.
    • Verificação de Documentos: Upload, análise e validação de identidades, comprovantes, etc., muitas vezes envolvendo interfaces de terceiros ou internas.
    • Configurações Iniciais: Personalização de preferências, ativação de serviços adicionais, vinculação de contas bancárias, etc.
    • Navegação por Interfaces Heterogêneas: O processo pode exigir interação com um site, um aplicativo mobile, um portal interno e até mesmo um sistema de CRM ou ERP para registro final.
  • Essa complexidade leva a:
    • Alta Taxa de Abandono: Clientes desistem do processo por frustração.
    • Aumento de Custos Operacionais: Equipes de suporte dedicadas a auxiliar no onboarding e corrigir erros.
    • Erros Humanos: Inconsistências nos dados e atrasos na ativação do serviço.
  • A Solução com "Computer Use" (Claude Sonnet):
    • Desenvolver um Agente de Onboarding Autônomo utilizando a capacidade de "computer use" do Claude Sonnet. Este agente seria configurado para auxiliar (ou até mesmo realizar, com supervisão) o processo de onboarding de ponta a ponta.
• Como Funcionaria:
  • Interface com o Cliente (Opcional/Híbrida): O cliente iniciaria o processo em uma interface simplificada (chatbot, formulário web básico). O agente Claude Sonnet receberia os dados iniciais e as instruções do cliente.
  • Navegação e Preenchimento Inteligente:
    • O Claude Sonnet, usando sua visão de interface, acessaria os portais e sistemas necessários (ex: site de banco, plataforma de cadastro). Ele "veria" o formulário, identificaria os campos (nome, CPF, endereço, etc.) e preencheria as informações fornecidas pelo cliente. Em caso de erros ou informações faltando, o agente poderia interagir com o cliente (via chatbot ou outra interface) para solicitar os dados corretos.
  • Validação e Upload de Documentos:
    • O agente guiaria o processo de upload de documentos, interagindo com as janelas de seleção de arquivos. Poderia usar sua capacidade de análise visual para verificar se o documento carregado corresponde ao tipo solicitado (ex: é realmente um RG?). Embora a validação completa de documentos (OCR, biometria) ainda exija APIs específicas, o agente poderia orquestrar o processo de envio para sistemas de validação existentes.
  • Configurações e Integrações Multiplataforma:
    • O Claude Sonnet poderia navegar por diferentes aplicações (web, desktop virtual) para realizar as configurações iniciais do cliente no sistema, ativar serviços e garantir que todas as permissões sejam configuradas corretamente.
    • Se um passo exigir interação com um sistema ERP ou CRM que só possui GUI, o "computer use" do Claude seria fundamental para preencher os dados diretamente, sem a necessidade de APIs customizadas.
  • Monitoramento e Relatório:
    • O agente acompanharia o progresso do onboarding, detectaria gargalos (ex: um campo que ele não consegue preencher, um erro no sistema) e notificaria uma equipe humana para intervenção.
    • Ao final, geraria um relatório do processo, indicando o sucesso ou os pontos de atenção.
• Benefícios Propostos:
  • Redução da Taxa de Abandono: Processo mais fluido e menos frustrante para o cliente.
  • Otimização de Tempo e Custo: Redução da necessidade de intervenção humana e do tempo gasto por cada onboarding.
  • Minimização de Erros: Menos erros de digitação ou preenchimento incorreto.
  • Escalabilidade: Capacidade de processar um volume muito maior de onboards simultaneamente.
  • Flexibilidade: Adaptação a mudanças em interfaces legadas sem a necessidade de reprogramar APIs.
  • novação na Experiência do Cliente: Oferece uma experiência de onboarding mais autônoma e eficiente.

Possíveis modelos de negócios

    Descrever em tópicos os possíveis modelos de negócios

Business Case

    Descrever um exemplo de negócio que permita avaliar a solução comercialmente
    Template Business Case

Alinhamento com Lei do Bem

• Projeto possui algum elemento tecnologicamente novo ou inovador?

Elemento tecnologicamente novo ou inovador pode ser entendimento como o avanço tecnológico pretendido pelo projeto, ou a hipótese que está sendo testada

• Projeto possui barreira ou desafio tecnológico superável?

Barreira ou desafio tecnológico superável pode ser entendido como aquilo que dificulta o atingimento do avanço tecnológico pretendido, ou dificulta a comprovação da hipótese

• Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?

Metodologia/método para superação da barreira ou desafio tecnológico pode ser entendido como aqueles atividades que foram realizadas para superação da barreira ou do desafio tecnológico existente no projeto

• Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?

Se sim, o desenvolvimento tecnológico é executado por associado ou por alguma empresa terceira? qual o nome da empresa? 
Anexar cópia do contrato

Fase IV - Protótipo orientado ao Negócio

Escopo

Explique o escopo deste protótipo

Limitações

Informe sobre as limitações técnicas, comerciais, operacionais, recursos, etc.

PoC

Desenvolva um PoC (Proof of Concept)

Privacidade (LGPD)

• Avaliar condições referentes à Lei Geral de Proteção de Dados

Detalhamento Técnico

Descreva especificamente os aspectos técnicos desta pesquisa

Histórico

• Data a ser definida:
• Reunir com Especialista e discutir:
  • Conteúdos a serem estudados e pesquisados
  • Entrega final a ser feita (pesquisa, desenvolvimento, parceiro, ..)

Pesquisadores

• Diogo Garcia (Dida)
• Davi Tobias Lacerda