El cuello de botella humano en la era de la detección de vulnerabilidades por IA

Un análisis del Proyecto Glasswing de Anthropic revela que, aunque la IA puede generar miles de hallazgos de seguridad, la validación y remediación siguen dependiendo de procesos humanos limitados. El estudio subraya que la verdadera barrera actual no es la detección, sino la gestión de la información.

Un nuevo análisis de datos públicos del Proyecto Glasswing de Anthropic ha puesto de relieve una brecha significativa entre el número de hallazgos de vulnerabilidades generados por su modelo de frontera Claude y aquellos que finalmente resultan ser reales, graves y dignos de ser corregidos.

El desfase entre detección y validación

La distinción es importante porque sugiere que el cuello de botella en la investigación de vulnerabilidades podría residir cada vez más en la validación de nuevos fallos y la coordinación de su remediación, en lugar de en su descubrimiento.

Patrick Garrity, un investigador de seguridad en VulnCheck, analizó recientemente el Registro de Divulgación de Vulnerabilidades de Anthropic, que es un registro público que rastrea los hallazgos relacionados con el Proyecto Glasswing a medida que avanzan a través del proceso de divulgación y remediación. El análisis mostró que el modelo Claude Mythos de Anthropic generó un total de 26,153 hallazgos de vulnerabilidades en numerosos proyectos de software desde el lanzamiento del Proyecto Glasswing en abril de 2026.

Sin embargo, solo 2,736 de esos hallazgos, es decir, poco más del 10%, llegaron al registro de divulgación, lo que significa que ya han sido comunicados al mantenedor de software correspondiente o están en proceso de serlo. Menos del 0,8% de los fallos, apenas 202, están actualmente parcheados, y 245 fueron retirados. Otras 191 vulnerabilidades estaban en la etapa de pre-divulgación y aún no habían sido reportadas a sus mantenedores.

Los restantes, casi el 90% de los hallazgos generados por Claude Mythos, aún no habían llegado al registro, lo que sugiere que la validación y coordinación humana se ha convertido en un cuello de botella para determinar qué hallazgos generados por IA justifican la divulgación y la remediación, afirma Garrity.\n **Desafíos en la precisión y severidad**

Los resultados «no son una sorpresa para quienes estamos más cerca de entender cómo funciona la divulgación coordinada de vulnerabilidades», comenta Garrity a Dark Reading. Pero «es muy diferente a la narrativa que los proveedores de modelos de frontera han posicionado», la cual se ha centrado principalmente en la capacidad de la IA para acelerar drásticamente el descubrimiento de vulnerabilidades.

«Parece que están aprendiendo esto a base de ensayo y error», añade.

El análisis de Garrity también planteó dudas sobre las afirmaciones de Anthropic respecto a la precisión de los hallazgos de Mythos y la capacidad del modelo para evaluar su gravedad. Señaló que los 202 hallazgos marcados como corregidos en el registro de vulnerabilidades son notablemente menos que las 245 vulnerabilidades marcadas como retiradas. Estas cifras justifican un escrutinio más cercano sobre cómo Anthropic define y mide su tasa de verdaderos positivos del 91,4% que alega.

Del mismo modo, Garrity descubrió que la IA de Anthropic era sustancialmente más agresiva al evaluar la gravedad de las vulnerabilidades en comparación con los mantenedores reales del software afectado. Claude, por ejemplo, calificó el 91,5% de los hallazgos que llegaron al registro como de severidad crítica o alta. Sin embargo, los propios mantenedores del proyecto determinaron que solo el 61,3% pertenecían a esta categoría de severidad.

«Mi instinto me dice que el equipo no dio a Claude instrucciones detalladas sobre cómo determinar la severidad, o si lo hicieron, no estuvieron bien pensadas, lo que resultó en determinaciones de severidad más altas», afirma Garrity. «Me gustaría ver las métricas CVSS utilizadas para generar la severidad y los CWE utilizados para ayudar a comprender mejor las debilidades reales, ambos de los cuales son estándares de la industria esperados al divulgar vulnerabilidades».

La realidad de la infraestructura de seguridad

Las dudas sobre la capacidad de la IA para evaluar con precisión los hallazgos de vulnerabilidades no son exclusivas de Glasswing. Una investigación de Contrast Security, por ejemplo, mostró una variabilidad significativa en los resultados producidos por escáneres de seguridad impulsados por IA. Diferentes ejecuciones de la misma herramienta contra la misma base de código produjeron hallazgos sustancialmente diferentes y múltiples escáneres coincidieron en solo un pequeño porcentaje de vulnerabilidades.\n Jeff Williams, fundador de Contrast Security y creador de OWASP Top 10, explica que cuando su empresa ejecutó tres escáneres de IA diferentes tres veces contra la misma base de código de 50,000 líneas, los escáneres generaron resultados diferentes cada vez. Un escaneo simple basado en Sonnet, por ejemplo, reprodujo solo el 17% de sus propios hallazgos en las tres ejecuciones, mientras que Opus reprodujo el 25% pero tuvo una variación de casi el 30% en el recuento de hallazgos entre las mejores y peores ejecuciones.\n Esta disparidad resalta un cambio potencial en la economía de la investigación de vulnerabilidades, dice Williams. La IA puede hacer que encontrar fallos potenciales sea relativamente económico, pero determinar qué hallazgos son reales, accionables y valen la pena corregir puede requerir sustancialmente más tiempo y recursos. «Tres escáneres de IA contra la misma base de código coincidieron en el 5% de los hallazgos», afirma. «Escanear una base de código de 2 millones de líneas costó alrededor de 315 dólares en cargos de API y triar los resultados costó alrededor de 128,000 dólares».

El análisis de VulnCheck llega en un momento en que el Proyecto Glasswing y esfuerzos similares para aplicar IA en el descubrimiento de vulnerabilidades en toda la industria han comenzado a producir un volumen masivo de fallos recién identificados. Esta tendencia está creando nuevos desafíos para los equipos de seguridad y remediación de vulnerabilidades que deben validar, priorizar y parchear esos fallos. El récord de Microsoft en el Patch Tuesday de septiembre de esta semana, que abordó 974 vulnerabilidades, ofrece un ejemplo de la escala del desafío que enfrentan las organizaciones a medida que la IA acelera el descubrimiento de vulnerabilidades.\n «El mundo todavía realiza la seguridad a velocidad humana», concluye Williams.

Pero encontrar más problemas más rápido no ayuda, añade, señalando el bajo número de hallazgos del Proyecto Glasswing que realmente han llegado a un mantenedor y el número aún menor que están confirmados como corregidos. «Y eso es con Anthropic con capacidad de cómputo ilimitada, y con Apple, Google y Microsoft como socios. Eso es lo que sucede cuando apuntas una manguera de alta presión a un embudo».

La brecha entre la capacidad de generación de la IA y la capacidad de procesamiento humano sigue siendo el principal obstáculo para la seguridad en la era de la inteligencia artificial.

Fuente:
https://www.darkreading.com/application-security/mythos-vulnerability-firehose-hits-human-bottleneck

Contenido traducido al español con fines informativos, cualquier cambio en la publicación original no será reflejada en esta entrada, favor referirse a la fuente para obtener el acceso a cualquier actualización del contenido. Para la traducción se utilizó un LLM, al ser una traducción automática puede contener errores gramaticales o de otro tipo, me pueden enviar un mensaje.