¿Es la pentesting con IA tan buena como un pentester humano?

Con el aumento de la pentesting con IA, muchas personas se preguntan si es tan buena como la realizada por un humano. Daniel Thatcher, quien comenzó como pentester hace doce años y ha pasado por roles similares hasta trabajar en el pentester de IA de Intruder, ha llegado a comprender las ventajas y desventajas de ambos enfoques. A continuación, presenta una comparación.

La metodología estricta nunca fue lo bueno

Se podría esperar que los pentesters de IA sigan metodologías estrictas como lo hacen muchos pentesters humanos. En Intruder, experimentaron con este enfoque desde el principio, con sistemas estructurados donde cada agente tenía un tipo específico de vulnerabilidad que buscar. Descubrieron que los agentes pasaban por alto cosas fuera de su ámbito o clasificaban erróneamente lo que encontraban como el tipo de vulnerabilidad que se les había indicado, lo que generaba informes confusos. La falta total de estructura tampoco produjo buenos resultados, ya que agentes completamente libres sin orientación no podían descomponer y gestionar aplicaciones grandes adecuadamente. Podían encontrar cosas interesantes, pero a costa de pasar por alto muchas otras vulnerabilidades en los objetivos. Tras muchas pruebas, encontraron un equilibrio: dar a los agentes libertad con roles ampliamente definidos para que puedan abordar y gestionar aplicaciones grandes, y barreras estrictas para evitar que causen daños.

Esto significa que su pentester de IA no marca las partes de un documento de metodología que normalmente se verían en una pentesting humana. Eso puede incomodar a algunas personas, ya que una metodología estricta da la seguridad de que alguien ha revisado la aplicación y probado todo lo de la lista. Una inyección SQL no autenticada debe encontrarse, y una lista de verificación está ahí para asegurarlo. La metodología da a muchos la idea de que una pentesting humana es un producto perfectamente repetible, ya que cualquier tester podrá seguir la metodología y se encontrarán todas las cosas importantes. Sin embargo, la realidad es mucho más matizada, ya que la pentesting es un trabajo especializado y muchos de los hallazgos más impactantes provienen de que el tester tenga experiencia para notar comportamientos extraños y seguirlos.

Para su pentester de IA, obtuvieron resultados mucho más interesantes e impactantes al no intentar guiar a los agentes a través de tipos específicos de vulnerabilidades. Un buen ejemplo es un complejo bypass de autenticación que los agentes encontraron y que había estado en un código base durante cinco años de pentestings sin que ningún tester humano lo detectara. La mecánica de ese problema hace que nunca se te ocurriría escribir una guía de pruebas que se pudiera seguir estrictamente para identificarlo, y si hubieran limitado demasiado a su pentester de IA, tampoco lo habría encontrado. Se podría decir que encontrar solo las cosas comunes seguiría siendo bastante bueno, pero hay tal variedad de vulnerabilidades que no son comunes que se encuentran durante una pentesting. Y el hecho de que no sean comunes no significa que un atacante no pueda encontrarlas también, especialmente ahora que la IA se utiliza para habilitar ataques. Una metodología estricta llevada a cabo por un tester competente solo proporcionaba una base de fiabilidad baja, y ni siquiera eso perfectamente. Lo que hace buena a una pentesting es la parte que un tester experto hace fuera de la lista de verificación, y ahí es donde la IA prospera: siguiendo su instinto a través de la aplicación y encontrando cosas que nunca iban a estar en una lista.

Pentesting con cada versión importante. Seguridad que sigue el ritmo de la ingeniería.

Los agentes de pentesting con IA de Intruder ofrecen la profundidad de un compromiso manual bajo demanda: sin tiempo de espera, sin llamadas de alcance, a una fracción del costo. Prueba con cada versión, cierra tu ventana de exposición y obtén un informe listo para auditoría en horas.

Lo que saben y lo que no pueden preguntar

Sus pentestings con IA adoptan un enfoque de caja blanca, lo que significa que los agentes reciben el código fuente. Trabajan en todo el código base y construyen una imagen no solo de lo que es cada página, sino de cómo se supone que funciona la aplicación y qué solicitudes se pueden hacer. Hacer esto con el nivel de detalle que la IA puede alcanzar no es factible para un pentester humano durante una ventana de tiempo típica. El pentester de IA también desarrolla un sentido de para qué sirve la aplicación, y un buen ejemplo es el control de acceso: no necesita que se le diga que los usuarios con pocos privilegios no deberían poder acceder a funcionalidades de administrador, o que un dato en particular es sensible. También se les puede dar información adicional, al igual que a un tester humano. Por ejemplo, a menudo las personas especifican que les preocupa que sus clientes puedan acceder a los datos de otros, y el pentester ha hecho un gran trabajo enfocándose en estos problemas e identificando muchos.

Lo que los agentes no pueden hacer es pedirte algo que no les hayas dado o dicho. Si no entiendo qué hace una parte de una aplicación mientras hago una pentesting, puedo preguntar a mi contacto, y esas conversaciones pueden ser muy útiles para probar la aplicación adecuadamente y evaluar el riesgo en el informe final. También puedo aclarar el alcance con mi contacto si es necesario, o pedir permiso para verificar algo cuando no estoy seguro de si hay riesgo de interrupción. Han tenido que hacer deliberadamente que sus agentes de pentesting con IA sean cautelosos en este frente para evitar salirse del alcance.

Ninguno encuentra todo

La libertad que permite a los agentes de pentesting con IA encontrar algo como un complejo bypass de autenticación es lo mismo que los hace menos predecibles. Deciden dónde profundizar, y eso no será idéntico cada vez. Pero los resultados de una pentesting siempre han variado según quién la realice. Es por eso que muchas consultoras rotan a tu tester cada año: diferentes personas encuentran cosas diferentes en la misma aplicación. Esto se debe a la experiencia, especialidades y conocimiento incidental de las personas. He encontrado problemas debido a una publicación de blog o una especificación que leí años antes y que se quedó en el fondo de mi mente. E incluso las cosas de una lista de verificación se pasan por alto a veces. Las personas son falibles, y cubrir toda una aplicación metódicamente durante varios días puede ser difícil. La cobertura consistente es algo que están trabajando activamente para mejorar, pero no es algo que alguien haya ofrecido perfectamente. Es por eso que cada informe de pentesting humana viene con un descargo de responsabilidad que lo dice, aunque la mayoría de la gente lo lee como una formalidad.

La remediación que no podría haber escrito

Cada pentester tiene opiniones firmes sobre qué hace un buen informe. He acumulado muchas a lo largo de los años, al igual que el resto de los pentesters actuales y anteriores de Intruder. Estas opiniones son la base de su informe. El resumen ejecutivo es la página más difícil de acertar. Para muchas personas es toda su experiencia de tu trabajo, y en una buena consultora se dedica mucho esfuerzo. Han trabajado para llegar al punto en que los agentes ahora escriben resúmenes genuinamente buenos, y a menudo los leo primero en sus propios informes para obtener una buena visión general antes de profundizar en los detalles. Donde todavía fallan es en la puntuación del riesgo. Califican las cosas más alto de lo que yo lo haría, en parte porque no pueden tener las conversaciones contigo que reducirían una calificación, y en parte porque los LLM tienden a ser cautelosos cuando se habla de ciberseguridad. Es la dirección correcta para equivocarse, pero significa que verás cosas marcadas como más graves de lo que son, y es algo en lo que están trabajando.

La guía de remediación es donde los agentes sobresalen. Después de una larga semana en una pentesting, es tentador para un humano escribir consejos genéricos, y te das cuenta e intentas hacerlo mejor. Desafortunadamente, generalmente estás limitado por el tiempo y por no tener el código fuente. Los agentes no tienen ninguno de esos problemas, así que te dirán la línea de código a cambiar y a qué cambiarla en cada problema. También escriben sobre controles de mitigación que pueden ayudar a reducir el impacto del problema, o proporcionan una solución temporal. Están viendo que eso acelera la rapidez con que las personas realmente arreglan las cosas. Tuvieron un cliente con 78 problemas que los arregló todos en unos pocos días, algo que como pentester humano nunca he visto suceder. No podría haber escrito el nivel de detalle que hizo posibles esas correcciones en el tiempo que habría tenido.

Entonces, ¿es la pentesting con IA tan buena como la humana?

La pentesting con IA y la humana son diferentes, y una vez que dejas de intentar clasificarlas, la comparación se vuelve mucho más útil. Los agentes están encontrando problemas graves en aplicaciones por las que los testers humanos ya han pasado varias veces. Leen todo un código base, recorren cada ruta y escriben cada instancia de lo que encuentran con la solución hasta la línea de código. Y puedes ejecutar uno cuando quieras. Por lo que cuesta un solo compromiso humano, puedes ejecutar cuatro pentestings con IA, lo que significa que puedes hacer pruebas profundas de forma regular en lugar de una vez al año. Eso es algo clave que se pierde en la pentesting humana, y a menudo las aplicaciones han sufrido muchos cambios no probados entre pentestings.

Ve lo que encuentra el pentester de IA de Intruder en tu aplicación. Más información.

Autor

Escrito por Daniel Thatcher, ingeniero de investigación de seguridad, Intruder. Daniel es investigador de seguridad en Intruder con experiencia en pruebas de penetración y un enfoque en la explotación de aplicaciones web en escenarios de caja negra. Patrocinado y escrito por Intruder.