Chatbots e agentes de IA
Pentest do seu chatbot ou agente de IA
Se o seu chatbot ou agente de IA conversa com clientes ou mexe nos seus sistemas, alguém vai tentar enganá-lo. Nós tentamos primeiro: que revele dados, faça o que não deve ou gaste sem limite.
Pentest de aplicações com LLM segundo o OWASP Top 10 para LLM e o MITRE ATLAS: injeção de prompt direta e indireta, abuso de ferramentas e permissões, vazamento de dados e do prompt de sistema, e consumo sem limite.
- Duração
- 2 semanas
- Início
- Em até 1 semana
a partir de US$2.900
Contrate sozinho ou somado a uma auditoria. Retestes: somado a uma auditoria, os mesmos dela; sozinho, 3 meses sem custo.
Testar meu chatbotSeu chatbot já disse algo que não devia? Desligue ou limite e escreva para nós hoje.
É para você se
- Você tem um chatbot que atende clientes no seu site, no WhatsApp ou no seu app.
- Seu agente de IA pode ler pedidos, mandar e-mails, consultar seu banco de dados ou movimentar dinheiro.
- Você carregou documentos internos para ele responder e não sabe o que ele pode contar.
O que revisamos
Se ele conta dados de outros clientes, documentos internos ou as próprias instruções.Divulgação de informação sensível (LLM02) e vazamento do prompt de sistema (LLM07), incluída a base de conhecimento (RAG).
Se dá para convencê-lo a fazer algo nos seus sistemas que não deveria: apagar, enviar, pagar.Agência excessiva (LLM06): abuso de ferramentas, permissões a mais e ações sem confirmação humana.
Se o que ele responde pode quebrar o seu site ou sistema quando é exibido ou usado.Tratamento inseguro da saída (LLM05): XSS, injeção em consultas e comandos.
Se alguém consegue te fazer gastar uma fortuna em IA fazendo perguntas sem parar.Consumo sem limite (LLM10): tetos de uso, limites por usuário e custo por conversa.
Como trabalhamos
Semana 0
Escopo
Você nos conta o que o chatbot pode fazer, com quais dados e a quais sistemas ele chega.
Mapa de ferramentas, permissões e fontes de dados; ambiente de teste com teto de gasto e autorização assinada.
Semana 1
Ataque
Tentamos enganá-lo de todas as formas que conhecemos, à mão e com baterias de teste.
Testes manuais e automáticos por categoria do OWASP Top 10 para LLM, mapeados a técnicas do MITRE ATLAS.
Semana 2
Relatório
Um segundo Lop revisa cada achado e entregamos o que mudar para fechá-lo.
Revisão por um segundo Lop, relatórios técnico e executivo, com as conversas que provam.
O que você recebe
- Cada engano que funcionou, com a conversa exata e quanto podia custar.
- Achados com severidade, categoria OWASP LLM, técnica ATLAS, transcrição reproduzível e impacto em dinheiro.
- O que mudar: instruções, permissões, tetos e confirmações.
- Remediação por achado: privilégio mínimo nas ferramentas, filtros de entrada e saída, confirmação humana e limites de uso.
- Cada correção testada de novo com os mesmos enganos.
- Reteste com a mesma bateria; prazo conforme a contratação.
Limites do escopo
Inclui
- 1 chatbot ou 1 agente.1 aplicação com LLM, com suas ferramentas e sua base de conhecimento.
- Até 2 tipos de usuário (por exemplo, visitante e cliente com conta).Até 2 papéis.
Não inclui
- Não testamos o modelo de IA do fornecedor (OpenAI, Google, Anthropic), e sim como você o usa.Fora do escopo: o modelo base e a infraestrutura do fornecedor.
- Não auditamos o resto do seu site: isso é o Dig.Sem pentest da aplicação web que o hospeda.
- Não reescrevemos o seu chatbot: isso o Lop Fix pode fazer.Sem remediação; disponível com Lop Fix.
Vários agentes ou um que usa muitas ferramentas? Passamos o preço fechado antes de assinar.
Perguntas antes de contratar
Qual a diferença para o teste do chatbot do Cheshire?
O Cheshire traz um teste curto do chatbot do seu site, como parte de um pacote para a sua equipe. Isto é o teste completo de um chatbot ou agente, com suas ferramentas, seus dados e suas permissões.
Vocês vão gastar muito da minha conta de IA?
Não. Antes de começar combinamos um teto de gasto e, se possível, trabalhamos em uma cópia de teste.
Seu chatbot já conversa com clientes?
Em 2 semanas tentamos enganá-lo como faria um atacante e dizemos o que mudar.