| (19 revisões intermediárias por 4 usuários não estão sendo mostradas) | |||
| Linha 4: | Linha 4: | ||
== Título da Ideia == | == Título da Ideia == | ||
Segurança em IA | |||
<br> | |||
<br> | |||
== Objetivos == | == Objetivos == | ||
Explorar riscos, técnicas de ataque, estratégias de mitigação e boas práticas para implementação segura de IA generativa. | |||
<br> | <br> | ||
| Linha 18: | Linha 15: | ||
<br> | <br> | ||
Esta pesquisa insere-se na convergência entre transformação digital no setor de telecomunicações e os desafios emergentes de segurança cibernética. Com a adoção massiva de chatbots baseados em LLMs (ex: GPT, Claude), empresas enfrentam novos vetores de ataque (vazamento de dados, prompt injection). | |||
<br> | Internacionalmente, o tema tem ganhado relevância: organizações como OWASP e ENISA vêm publicando guias específicos sobre os riscos e boas práticas no uso de LLMs, enquanto empresas como a OpenAI, Anthropic e Meta têm investido em mecanismos de controle como guardrails, red teaming, e validação por múltiplos modelos (LLM-as-a-Judge). Internamente, essa pesquisa dialoga com outras iniciativas voltadas para a automação, como desenvolvimento de bots. | ||
Possíveis evoluções dessa ideia incluem: | |||
* Integração de blockchain para auditoria imutável (ex: rastreamento de decisões do chatbot). | |||
* Desenvolvimento de guardrails adaptativos usando modelos especializados (ex: Claude 3 para auditoria em tempo real). | |||
* Padronização de frameworks de observabilidade (ex: Datadog/Splunk) para detecção precoce de anomalias. | |||
<br> | |||
== Características == | == Características == | ||
<br> | <br> | ||
A pesquisa possui as seguintes particularidades: | |||
* Foco em sistemas expostos a usuários externos, como chatbots de autoatendimento. | |||
* Ênfase em riscos como prompt injection, training poisoning, data leakage, e spoofing. | |||
* Abordagem multidisciplinar, integrando aspectos técnicos (segurança da informação), regulatórios (LGPD/ANATEL), e operacionais (experiência do cliente). | |||
* Apresenta estratégias de mitigação em três níveis: arquitetural (secure by design), lógica de aplicação (guardrails, LLMs auditores) e governança (observabilidade e blockchain). | |||
<br> | <br> | ||
<br> | <br> | ||
== Estudo Dirigido == | == Estudo Dirigido == | ||
<br> | <br> | ||
Tecnologia: IA Generativa baseada em LLMs | |||
* Capazes de interpretar linguagem natural, gerar respostas personalizadas e integrar-se a CRMs, APIs e bases internas. | |||
<br> | |||
Objetivos Definidos com o Time | |||
* Mapear os riscos de segurança associados à adoção de LLMs internamente. | |||
* Avaliar estratégias de defesa viáveis em contexto corporativo. | |||
* Propor diretrizes internas para adoção segura de IA generativa em telecom. | |||
<br> | |||
Aplicação Proposta: Revisão das LLMs em funcionamento e desenvolvimento de uma camada de segurança intermediária para chatbots, utilizando: | |||
* Sanitização de entrada com análise semântica. | |||
<br> | * LLM-a-Judge como auditor de saídas. | ||
* Blockchain como trilha de auditoria imutável. | |||
* Integração com dashboards de observabilidade | |||
<br> | |||
Soluções do Mercado | |||
* Datadog (observabilidade para LLMs) | |||
<br> | |||
= Fase II - Ensino = | = Fase II - Ensino = | ||
| Linha 57: | Linha 88: | ||
== Conteúdo == | == Conteúdo == | ||
[https://www.canva.com/design/DAGkuUsqKLw/WBQdQ_8u7PHqmqH3llVL8g/view?utm_content=DAGkuUsqKLw&utm_campaign=designshare&utm_medium=link2&utm_source=uniquelinks&utlId=hf57f599ea5 Link para o design no Canva] | |||
Foi desenvolvido um material estruturado em formato de PDF, contendo as seguintes seções principais: | |||
<br> | |||
* Conceito de LLMs | |||
* Aplicações em telecomunicações | |||
* Superfícies de ataque expostas | |||
* Tipos de ataque documentados | |||
** Prompt injection (direto, indireto e jailbreak) | |||
** Training poisoning | |||
** Manipulação de saída e engenharia social | |||
** Spoofing, phishing e negação de serviço | |||
* Técnicas de defesa e mitigação | |||
** Sanitização de entradas | |||
** Guardrails e LLM-as-a-Judge | |||
** Blockchain como mecanismo de rastreabilidade | |||
** Secure by Design | |||
* Casos reais analisados | |||
** Unimed (exposição de mensagens sensíveis) | |||
** T-Mobile (extração de dados via APIs mal protegidas) | |||
** GitLab Duo (prompt injection remoto) | |||
** Air Canada (alucinação e responsabilidade legal do chatbot) | |||
* Boas práticas para empresas | |||
**Arquitetura segura com RBAC e criptografia | |||
** Segmentação de ambientes de treino e produção | |||
** Monitoramento contínuo com alertas em tempo real | |||
<br> | <br> | ||
== Apresentação == | == Apresentação == | ||
Reunião técnica interna | |||
* Público-alvo: CoE de Automações. | |||
* Formato: apresentação em Canva+ debate técnico. | |||
* Objetivo: validar os riscos identificados e discutir ações de mitigação. | |||
<br> | |||
Link da ata da reunião | |||
<br> | <br> | ||
| Linha 71: | Linha 136: | ||
== Metodologia == | == Metodologia == | ||
<br> | <br> | ||
*Estudos Básicos para Compreensão do Problema | |||
**Revisão bibliográfica de relatórios da Gartner e estudo de artigos sobre ataques e técnicas de defesa. | |||
*Estudos Técnicos de Potencial da Tecnologia | |||
**Estudo de casos com modelos de linguagem, análise de vulnerabilidades reais etc. | |||
*Casos Reais | |||
**Análise de falhas ocorridas em empresas como Unimed, GitLab e T-Mobile. | |||
*Priorização do Desenvolvimento Interno | |||
**Sugestão de implementação de camadas de segurança intermediárias de forma customizada. | |||
<br> | <br> | ||
| Linha 90: | Linha 152: | ||
<br> | <br> | ||
Questões Envolvidas | |||
* Quais riscos de segurança emergem quando LLMs são expostos a usuários externos? | |||
* Quais são os vetores de ataque mais críticos em chatbots com IA generativa? | |||
* Como garantir rastreabilidade e mitigação eficaz nesses cenários? | |||
<br> | <br> | ||
O que se espera provar | |||
* Que a adoção de uma arquitetura segura com múltiplas camadas de defesa (sanitização, guardrails, auditoria por LLM, blockchain e observabilidade) é capaz de mitigar os principais ataques conhecidos. | |||
<br> | <br> | ||
Resultados esperados | |||
* Redução na superfície de ataque. | |||
* Detecção antecipada de incidentes e respostas mais rápidas. | |||
* Confiabilidade na utilização de IA em canais críticos de atendimento. | |||
<br> | |||
Argumentos e Evidências | |||
* 78% das empresas com LLMs em produção já relataram incidentes. | |||
* Casos reais demonstram que a ausência de segurança desde a concepção compromete milhões de dados. | |||
* A implementação de guardrails, LLMs auditores e monitoramento contínuo são medidas reconhecidas pelo mercado como eficazes. | |||
<br> | <br> | ||
= | = Fase III - Exemplo de Caso de Negócio<br> = | ||
== Pesquisa de Mercado e Análise de Tendências == | |||
Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto. | |||
<br> | |||
== Análise de Concorrentes e Soluções Existentes == | |||
Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação. | |||
<br> | |||
== Público - Alvo == | |||
Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e | |||
necessidades do público-alvo. | |||
<br> | |||
== Cenários e Oportunidades == | |||
Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores. | |||
<br> | |||
== Premissas Financeiras == | |||
Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos. | |||
<br> | |||
== Riscos do Projeto == | |||
Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados. | |||
<br> | <br> | ||
<br> | |||
== Product Backlog == | |||
Descreva os riscos deste projeto | Descreva os riscos deste projeto | ||
<br> | <br> | ||
| Linha 158: | Linha 258: | ||
Descrever em tópicos os possíveis modelos de negócios | Descrever em tópicos os possíveis modelos de negócios | ||
== Pesquisa de Mercado e Análise de Tendências == | |||
Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto. | |||
<br> | |||
== Análise de Concorrentes e Soluções Existentes == | |||
Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação. | |||
<br> | |||
== Público - Alvo == | |||
Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e necessidades do público-alvo. | |||
<br> | |||
== Cenários e Oportunidades == | |||
Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores. | |||
<br> | |||
== Premissas Financeiras == | |||
Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos. | |||
<br> | |||
== Riscos do Projeto == | |||
Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados. | |||
<br> | |||
== Business Case == | == Business Case == | ||
Anexar material de apresentação do Business Case (caso exista) | |||
<br> | <br> | ||
| Linha 239: | Linha 374: | ||
= Histórico = | = Histórico = | ||
<br> | |||
* 01/07/2025: | |||
** LC: Avaliar última versão da apresentação | |||
** Concluir última versão da apresentação e elaborar ata | |||
** Subir evidências para Feedz | |||
** Criar Matriz de Defesas | |||
*** Deadline: 04/07/2025 | |||
<br> | |||
<br> | |||
= Pesquisadores = | = Pesquisadores = | ||
<br> | |||
* | * Carlos Ernani Jr | ||
* Manoel Botelho | |||
* Davi Tobias Lacerda | |||
Edição atual tal como às 15h51min de 3 de julho de 2025
Fase I - Estudo
Título da Ideia
Segurança em IA
Objetivos
Explorar riscos, técnicas de ataque, estratégias de mitigação e boas práticas para implementação segura de IA generativa.
Conceito
Esta pesquisa insere-se na convergência entre transformação digital no setor de telecomunicações e os desafios emergentes de segurança cibernética. Com a adoção massiva de chatbots baseados em LLMs (ex: GPT, Claude), empresas enfrentam novos vetores de ataque (vazamento de dados, prompt injection).
Internacionalmente, o tema tem ganhado relevância: organizações como OWASP e ENISA vêm publicando guias específicos sobre os riscos e boas práticas no uso de LLMs, enquanto empresas como a OpenAI, Anthropic e Meta têm investido em mecanismos de controle como guardrails, red teaming, e validação por múltiplos modelos (LLM-as-a-Judge). Internamente, essa pesquisa dialoga com outras iniciativas voltadas para a automação, como desenvolvimento de bots.
Possíveis evoluções dessa ideia incluem:
- Integração de blockchain para auditoria imutável (ex: rastreamento de decisões do chatbot).
- Desenvolvimento de guardrails adaptativos usando modelos especializados (ex: Claude 3 para auditoria em tempo real).
- Padronização de frameworks de observabilidade (ex: Datadog/Splunk) para detecção precoce de anomalias.
Características
A pesquisa possui as seguintes particularidades:
- Foco em sistemas expostos a usuários externos, como chatbots de autoatendimento.
- Ênfase em riscos como prompt injection, training poisoning, data leakage, e spoofing.
- Abordagem multidisciplinar, integrando aspectos técnicos (segurança da informação), regulatórios (LGPD/ANATEL), e operacionais (experiência do cliente).
- Apresenta estratégias de mitigação em três níveis: arquitetural (secure by design), lógica de aplicação (guardrails, LLMs auditores) e governança (observabilidade e blockchain).
Estudo Dirigido
Tecnologia: IA Generativa baseada em LLMs
- Capazes de interpretar linguagem natural, gerar respostas personalizadas e integrar-se a CRMs, APIs e bases internas.
Objetivos Definidos com o Time
- Mapear os riscos de segurança associados à adoção de LLMs internamente.
- Avaliar estratégias de defesa viáveis em contexto corporativo.
- Propor diretrizes internas para adoção segura de IA generativa em telecom.
Aplicação Proposta: Revisão das LLMs em funcionamento e desenvolvimento de uma camada de segurança intermediária para chatbots, utilizando:
- Sanitização de entrada com análise semântica.
- LLM-a-Judge como auditor de saídas.
- Blockchain como trilha de auditoria imutável.
- Integração com dashboards de observabilidade
Soluções do Mercado
- Datadog (observabilidade para LLMs)
Fase II - Ensino
Conteúdo
Foi desenvolvido um material estruturado em formato de PDF, contendo as seguintes seções principais:
- Conceito de LLMs
- Aplicações em telecomunicações
- Superfícies de ataque expostas
- Tipos de ataque documentados
- Prompt injection (direto, indireto e jailbreak)
- Training poisoning
- Manipulação de saída e engenharia social
- Spoofing, phishing e negação de serviço
- Técnicas de defesa e mitigação
- Sanitização de entradas
- Guardrails e LLM-as-a-Judge
- Blockchain como mecanismo de rastreabilidade
- Secure by Design
- Casos reais analisados
- Unimed (exposição de mensagens sensíveis)
- T-Mobile (extração de dados via APIs mal protegidas)
- GitLab Duo (prompt injection remoto)
- Air Canada (alucinação e responsabilidade legal do chatbot)
- Boas práticas para empresas
- Arquitetura segura com RBAC e criptografia
- Segmentação de ambientes de treino e produção
- Monitoramento contínuo com alertas em tempo real
Apresentação
Reunião técnica interna
- Público-alvo: CoE de Automações.
- Formato: apresentação em Canva+ debate técnico.
- Objetivo: validar os riscos identificados e discutir ações de mitigação.
Link da ata da reunião
Metodologia
- Estudos Básicos para Compreensão do Problema
- Revisão bibliográfica de relatórios da Gartner e estudo de artigos sobre ataques e técnicas de defesa.
- Estudos Técnicos de Potencial da Tecnologia
- Estudo de casos com modelos de linguagem, análise de vulnerabilidades reais etc.
- Casos Reais
- Análise de falhas ocorridas em empresas como Unimed, GitLab e T-Mobile.
- Priorização do Desenvolvimento Interno
- Sugestão de implementação de camadas de segurança intermediárias de forma customizada.
Hipóteses
Questões Envolvidas
- Quais riscos de segurança emergem quando LLMs são expostos a usuários externos?
- Quais são os vetores de ataque mais críticos em chatbots com IA generativa?
- Como garantir rastreabilidade e mitigação eficaz nesses cenários?
O que se espera provar
- Que a adoção de uma arquitetura segura com múltiplas camadas de defesa (sanitização, guardrails, auditoria por LLM, blockchain e observabilidade) é capaz de mitigar os principais ataques conhecidos.
Resultados esperados
- Redução na superfície de ataque.
- Detecção antecipada de incidentes e respostas mais rápidas.
- Confiabilidade na utilização de IA em canais críticos de atendimento.
Argumentos e Evidências
- 78% das empresas com LLMs em produção já relataram incidentes.
- Casos reais demonstram que a ausência de segurança desde a concepção compromete milhões de dados.
- A implementação de guardrails, LLMs auditores e monitoramento contínuo são medidas reconhecidas pelo mercado como eficazes.
Fase III - Exemplo de Caso de Negócio
Pesquisa de Mercado e Análise de Tendências
Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto.
Análise de Concorrentes e Soluções Existentes
Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação.
Público - Alvo
Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e
necessidades do público-alvo.
Cenários e Oportunidades
Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores.
Premissas Financeiras
Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos.
Riscos do Projeto
Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados.
Product Backlog
Descreva os riscos deste projeto
Benefícios para quem for oferecer esta solução
Descrever em tópicos os benefícios que uma pessoa ou uma empresa podem obter: ganhos, receitas, novos negócios, novos produtos, novas parcerias
Benefícios para o usuário
Descrever em tópicos os benefícios para os usuários desta solução.
Pode se inspirar no Canvas.
Direcionadores chave para esta iniciativa
Descrever em tópicos o que esta iniciativa pode proporcionar
Possíveis modelos de negócios
Descrever em tópicos os possíveis modelos de negócios
Pesquisa de Mercado e Análise de Tendências
Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto.
Análise de Concorrentes e Soluções Existentes
Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação.
Público - Alvo
Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e necessidades do público-alvo.
Cenários e Oportunidades
Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores.
Premissas Financeiras
Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos.
Riscos do Projeto
Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados.
Business Case
Anexar material de apresentação do Business Case (caso exista)
Alinhamento com Lei do Bem
- Projeto possui algum elemento tecnologicamente novo ou inovador?
Elemento tecnologicamente novo ou inovador pode ser entendimento como o avanço tecnológico pretendido pelo projeto, ou a hipótese que está sendo testada
- Projeto possui barreira ou desafio tecnológico superável?
Barreira ou desafio tecnológico superável pode ser entendido como aquilo que dificulta o atingimento do avanço tecnológico pretendido, ou dificulta a comprovação da hipótese
- Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?
Metodologia/método para superação da barreira ou desafio tecnológico pode ser entendido como aqueles atividades que foram realizadas para superação da barreira ou do desafio tecnológico existente no projeto
- Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?
Se sim, o desenvolvimento tecnológico é executado por associado ou por alguma empresa terceira? qual o nome da empresa? Anexar cópia do contrato
Fase IV - Protótipo orientado ao Negócio
Escopo
Explique o escopo deste protótipo
Limitações
Informe sobre as limitações técnicas, comerciais, operacionais, recursos, etc.
PoC
Desenvolva um PoC (Proof of Concept)
Privacidade (LGPD)
- Avaliar condições referentes à Lei Geral de Proteção de Dados
Detalhamento Técnico
Descreva especificamente os aspectos técnicos desta pesquisa
Cronograma Macro
Histórico
- 01/07/2025:
- LC: Avaliar última versão da apresentação
- Concluir última versão da apresentação e elaborar ata
- Subir evidências para Feedz
- Criar Matriz de Defesas
- Deadline: 04/07/2025
Pesquisadores
- Carlos Ernani Jr
- Manoel Botelho
- Davi Tobias Lacerda