Investigadores del NIST Advierten sobre las Principales Amenazas de Seguridad en IA

Los gobiernos estatales y locales se encuentran entre las organizaciones amenazadas por varios exploits contra sistemas de IA, según un reciente documento.

Mientras docenas de estados se apresuran a establecer estándares para cómo sus agencias usan la IA para aumentar la eficiencia y agilizar los servicios al público, investigadores del Instituto Nacional de Estándares y Tecnología encontraron que los sistemas de inteligencia artificial, que dependen de grandes cantidades de datos para realizar tareas, pueden funcionar mal cuando se exponen a datos no confiables, según un informe publicado la semana pasada.

El informe, parte de un esfuerzo más amplio del instituto para apoyar el desarrollo de una IA confiable, encontró que los ciberdelincuentes pueden confundir o "envenenar" deliberadamente los sistemas de IA para hacerlos funcionar mal exponiéndolos a datos malos. Y lo que es más, según el estudio, no hay una defensa única que los desarrolladores o expertos en ciberseguridad puedan implementar para proteger los sistemas de IA.

"Los datos son increíblemente importantes para el aprendizaje automático", dijo Apostol Vassilev, científico informático del NIST y uno de los autores de la publicación, a StateScoop. "'Basura entra, basura sale' es una frase conocida en el comercio".

Para realizar tareas como conducir vehículos autónomamente o interactuar con clientes como chatbots en línea, la IA se entrena con vastas cantidades de datos, que ayudan a la tecnología a predecir cómo responder mejor en una variedad de situaciones. Los vehículos autónomos, por ejemplo, se entrenan con imágenes de carreteras y calles con señales de tráfico, entre otros conjuntos de datos. Un chatbot podría estar expuesto a registros de conversaciones en línea.

Los investigadores advirtieron que algunos datos de entrenamiento de IA, como sitios web con información inexacta o interacciones indeseables con el público, pueden no ser confiables y podrían hacer que los sistemas de IA funcionen de manera no intencionada. Los chatbots, por ejemplo, podrían aprender a responder con lenguaje abusivo o racista cuando sus salvaguardas son eludidas por indicaciones maliciosas cuidadosamente elaboradas.

Joseph Thacker, un ingeniero principal de IA y investigador de seguridad en AppOmni, software de gestión de seguridad utilizado por gobiernos estatales y locales, dijo que es importante considerar los protocolos de seguridad necesarios para protegerse contra cada ataque potencial, como los descritos en el informe del NIST.

"Vamos a necesitar la ayuda de todos para asegurarlo", dijo Thacker a StateScoop. "Y creo que la gente debería pensar en eso".

Fuente y créditos: NIST researchers warn of top AI security threats | StateScoop

Contenido traducido al español con fines informativos, cualquier cambio en la publicación original no será reflejada en esta entrada, favor referirse a la fuente para obtener el acceso a cualquier actualización del contenido. Para la traducción se utilizó un LLM, al ser una traducción automática puede contener errores gramaticales o de otro tipo, me pueden enviar un mensaje.