Chatbots y agentes de IA
Pentest de tu chatbot o agente de IA
Si tu chatbot o tu agente de IA habla con clientes o toca tus sistemas, alguien va a intentar engañarlo. Lo intentamos nosotros primero: que revele datos, que haga cosas que no debe o que gaste sin tope.
Pentest de aplicaciones con LLM según OWASP Top 10 para LLM y MITRE ATLAS: inyección de prompts directa e indirecta, abuso de herramientas y permisos, fuga de datos y del prompt de sistema, y consumo sin límite.
- Duración
- 2 semanas
- Inicio
- Dentro de 1 semana
desde US$2.900
Se contrata solo o sumado a una auditoría. Re-tests: sumado a una auditoría, los mismos que ella; solo, 3 meses sin cargo.
Probar mi chatbot¿Tu chatbot ya dijo algo que no debía? Apágalo o limítalo y escríbenos hoy.
Es para ti si
- Tienes un chatbot que atiende clientes en tu sitio, en WhatsApp o en tu app.
- Tu agente de IA puede leer pedidos, mandar correos, consultar tu base de datos o mover plata.
- Le cargaste documentos internos para que responda y no sabes qué puede contar.
Qué revisamos
Si cuenta datos de otros clientes, documentos internos o sus propias instrucciones.Divulgación de información sensible (LLM02) y fuga del prompt de sistema (LLM07), incluida la base de conocimiento (RAG).
Si lo pueden convencer de hacer algo con tus sistemas que no debería: borrar, mandar, pagar.Agencia excesiva (LLM06): abuso de herramientas, permisos de más y acciones sin confirmación humana.
Si lo que responde puede romper tu sitio o tu sistema cuando se muestra o se usa.Manejo inseguro de la salida (LLM05): XSS, inyección en consultas y comandos.
Si alguien te puede hacer gastar una fortuna en IA haciéndole preguntas sin parar.Consumo sin límite (LLM10): topes de uso, límites por usuario y costo por conversación.
Cómo trabajamos
Semana 0
Alcance
Nos cuentas qué puede hacer el chatbot, con qué datos y a qué sistemas llega.
Mapa de herramientas, permisos y fuentes de datos; entorno de prueba con tope de gasto y autorización firmada.
Semana 1
Ataque
Intentamos engañarlo de todas las formas que conocemos, a mano y con baterías de prueba.
Pruebas manuales y automáticas por categoría de OWASP Top 10 para LLM, mapeadas a técnicas de MITRE ATLAS.
Semana 2
Informe
Un segundo Lop revisa cada hallazgo y te entregamos qué cambiar para cerrarlo.
Revisión por un segundo Lop, informes técnico y ejecutivo, con las conversaciones que lo prueban.
Qué recibes
- Cada engaño que funcionó, con la conversación exacta y lo que te podía costar.
- Hallazgos con severidad, categoría OWASP LLM, técnica ATLAS, transcripción reproducible e impacto en dinero.
- Qué cambiar: instrucciones, permisos, topes y confirmaciones.
- Remediación por hallazgo: mínimo privilegio en herramientas, filtros de entrada y salida, confirmación humana y límites de uso.
- Cada arreglo probado de nuevo con los mismos engaños.
- Re-test con la misma batería; plazo según cómo se contrata.
Límites del alcance
Incluye
- 1 chatbot o 1 agente.1 aplicación con LLM, con sus herramientas y su base de conocimiento.
- Hasta 2 tipos de usuario (por ejemplo, visitante y cliente con cuenta).Hasta 2 roles.
No incluye
- No probamos el modelo de IA del proveedor (OpenAI, Google, Anthropic), sino cómo lo usas tú.Fuera de alcance: el modelo base y la infraestructura del proveedor.
- No auditamos el resto de tu sitio: eso es Dig.Sin pentest de la aplicación web que lo aloja.
- No reescribimos tu chatbot: eso lo puede hacer Lop Fix.Sin remediación; disponible con Lop Fix.
¿Varios agentes o uno que maneja muchas herramientas? Te pasamos el precio cerrado antes de firmar.
Preguntas antes de contratar
¿En qué se diferencia de la prueba del chatbot de Cheshire?
Cheshire trae una prueba corta del chatbot de tu sitio, como parte de un paquete para tu equipo. Esto es la prueba completa de un chatbot o agente, con sus herramientas, sus datos y sus permisos.
¿Van a gastar mucho de mi cuenta de IA?
No. Antes de empezar acordamos un tope de gasto y, si se puede, trabajamos sobre una copia de prueba.
¿Tu chatbot ya habla con clientes?
En 2 semanas intentamos engañarlo como lo haría un atacante y te decimos qué cambiar.