Todo lo que querías saber sobre la seguridad en IA pero tenías miedo de preguntar

Ha habido mucho revuelo en torno a la IA recientemente, pero eso no significa que los robots estén aquí para reemplazarnos. Este artículo aclara las cosas y explica cómo las empresas deberían abordar la IA.

Desde reflexionar sobre coches autónomos hasta temer a los bots de IA que podrían destruir el mundo, ha habido mucho alboroto sobre la IA en los últimos años. La IA ha capturado nuestras imaginaciones, sueños y, ocasionalmente, nuestras pesadillas. Sin embargo, la realidad es que la IA está actualmente mucho menos avanzada de lo que anticipábamos. Los coches autónomos, por ejemplo, a menudo considerados el ejemplo perfecto del futuro ilimitado de la IA, representan un caso de uso limitado y aún no son una aplicación común en todos los sectores del transporte.

En este artículo, desmitificamos la IA, proporcionamos herramientas para las empresas que se acercan a la IA y compartimos información para ayudar a los interesados a educarse.

Desmitificando la terminología de la IA

IA vs. ML

La IA (Inteligencia Artificial) y el ML (Machine Learning) son términos que a menudo se usan indistintamente, pero representan conceptos diferentes. La IA tiene como objetivo crear inteligencia, lo que significa habilidades cognitivas y la capacidad de pasar la prueba de Turing. Funciona tomando lo que ha aprendido y elevándolo al siguiente nivel. El objetivo de usar la IA es replicar acciones humanas, como crear un robot de limpieza que opere de manera similar a un limpiador humano.

El ML es un subconjunto de la IA. Comprende modelos matemáticos y sus habilidades se basan en combinar máquinas con datos. El ML funciona aprendiendo lecciones de eventos y luego priorizándolas. Como resultado, el ML puede realizar acciones que los humanos no pueden, como revisar grandes cantidades de datos, descubrir patrones, predecir probabilidades y más.

IA estrecha vs. IA general

El concepto de IA general es el que a menudo asusta a la mayoría de las personas, ya que es el epítome de nuestros "amos robots" reemplazando a los seres humanos. Sin embargo, aunque esta idea es técnicamente posible, aún no estamos en esa etapa.

A diferencia de la IA general, la IA estrecha es una forma especializada de IA que está sintonizada para tareas muy específicas. Este enfoque permite apoyar a los humanos, liberándonos del trabajo que es demasiado exigente o potencialmente dañino. No tiene la intención de reemplazarnos. La IA estrecha ya se está aplicando en industrias como la construcción de automóviles o el empaquetado de cajas. En ciberseguridad, la IA estrecha puede analizar datos de actividad y registros, buscando anomalías o signos de un ataque.

IA y ML en la práctica

Hay tres modelos comunes de IA y ML en la práctica: IA generativa, ML supervisado y ML no supervisado.

IA generativa

La IA generativa es un campo de vanguardia en la IA, caracterizado por modelos como LLM, que se entrenan en un corpus de conocimiento. La tecnología de IA generativa tiene la capacidad de generar nuevo contenido basado en la información contenida en ese corpus. La IA generativa se ha descrito como una forma de "autocorrección" o "escritura predictiva", pero en esteroides. Ejemplos de aplicaciones de IA generativa incluyen ChatGPT, Bing, Bard, Dall-E y asistentes cibernéticos especializados, como IBM Security QRadar Advisor con Watson o MSFT Security CoPilot.

La IA generativa es más adecuada para casos de uso como lluvia de ideas, edición de copias asistida y realización de investigaciones contra un corpus de confianza. Los profesionales de la ciberseguridad, como los equipos SOC y de fusión, pueden aprovechar la IA generativa para investigar, para ayudarles a comprender vulnerabilidades de día cero, topologías de red o nuevos indicadores de compromiso (IoC). Es importante reconocer que la IA generativa a veces produce "alucinaciones", es decir, respuestas incorrectas.

Según Etay Maor, director senior de estrategia de seguridad en Cato Networks, "La IA generativa también puede ayudar a los delincuentes. Por ejemplo, pueden usarla para escribir correos electrónicos de phishing. Antes de ChatGPT, una de las detecciones básicas de los correos electrónicos de phishing eran los errores ortográficos y la mala gramática. Esos eran indicadores de que algo era sospechoso. Ahora, los delincuentes pueden escribir fácilmente un correo electrónico de phishing en varios idiomas con una gramática perfecta".

Aprendizaje no supervisado

El aprendizaje no supervisado en ML significa que los datos de entrenamiento y los resultados no están etiquetados. Este enfoque permite que los algoritmos hagan inferencias a partir de datos sin intervención humana, para encontrar patrones, grupos y conexiones. El aprendizaje no supervisado se usa comúnmente para recomendaciones dinámicas, como en sitios web de venta al por menor.

En ciberseguridad, el aprendizaje no supervisado se puede utilizar para agrupar o agrupar y para encontrar patrones que no eran evidentes antes, por ejemplo, puede ayudar a identificar todo el malware con una cierta firma que proviene de un estado-nación específico. También puede encontrar asociaciones y enlaces entre conjuntos de datos. Por ejemplo, determinar si las personas que hacen clic en correos electrónicos de phishing son más propensas a reutilizar contraseñas. Otro caso de uso es la detección de anomalías, como detectar actividad que podría indicar que un atacante está utilizando credenciales robadas.

El aprendizaje no supervisado no siempre es la elección correcta. Cuando obtener una salida incorrecta tiene un impacto muy alto y consecuencias graves, cuando se necesitan tiempos de entrenamiento cortos o cuando se requiere total transparencia, se recomienda tomar un enfoque diferente.

Aprendizaje supervisado

En el aprendizaje supervisado, los datos de entrenamiento están etiquetados con pares de entrada/salida, y la precisión del modelo depende de la calidad del etiquetado y la integridad del conjunto de datos. A menudo se requiere intervención humana para revisar la salida, mejorar la precisión y corregir cualquier desviación de sesgo. El aprendizaje supervisado es más adecuado para hacer predicciones.

En ciberseguridad, el aprendizaje supervisado se utiliza para la clasificación, lo que puede ayudar a identificar phishing y malware. También se puede utilizar para la regresión, como predecir el costo de un ataque novedoso en función de los costos de incidentes anteriores.

El aprendizaje supervisado no es la mejor opción si no hay tiempo para entrenar o nadie para etiquetar o entrenar los datos. Tampoco se recomienda cuando hay una necesidad de analizar grandes cantidades de datos, cuando no hay suficientes datos o cuando la clasificación/segmentación automatizada es el objetivo final.

Aprendizaje por refuerzo (RL)

El aprendizaje por refuerzo (RL) ocupa un espacio entre el aprendizaje completamente supervisado y no supervisado y es un enfoque único para el ML. Significa volver a entrenar un modelo cuando el entrenamiento existente no logra anticipar ciertos casos de uso. Incluso el aprendizaje profundo, con su acceso a grandes conjuntos de datos, aún puede perder casos de uso atípicos que el RL puede abordar. La existencia misma del RL es una admisión implícita de que los modelos pueden ser defectuosos.

Lo que dicen los ciberdelincuentes sobre la IA generativa

La IA generativa es de interés para los ciberdelincuentes. Según Etay Maor, "los ciberdelincuentes han estado hablando de cómo usar ChatGPT, Bard y otras aplicaciones de GenAI desde el día en que se introdujeron, así como compartiendo su experiencia y pensamientos sobre sus capacidades. Según parece, creen que GenAI tiene limitaciones y probablemente será más maduro para el uso de atacantes en unos años".

Algunos ejemplos de conversación incluyen:

"-Buen día, señores. Me he interesado en escuchar acerca de Bard de alguien que ha realizado pruebas relativamente profundas en ambas de las soluciones de chatbots de IA más populares: ChatGPT y Bard. En cuanto a ChatGPT, me he encontrado con sus "errores" y deficiencias más de una vez, pero sería muy interesante escuchar cómo se comporta Bard en el ámbito de la programación, el entrenamiento conversacional, la generación de texto, si inventa respuestas, si realmente tiene una base de datos actualizada y otros aspectos positivos o negativos notados durante las pruebas del producto.-"

"-Bard realmente codifica mejor que ChatGPT, incluso cosas más complejas. Sin embargo, no entiende ruso. Bard también ocasionalmente inventa cosas. O se niega a responder, diciendo: "No puedo hacer esto, después de todo, soy un chatbot", pero luego, cuando lo reinicias, funciona bien. El bot todavía está en parte en bruto.-"

"-Todas estas inteligencias artificiales todavía están en bruto. Creo que en unos 5 años será perfecto usarlas. Como un estándar de facto. Bard también a veces genera tonterías inventadas y pierde la esencia de la conversación. No he observado tal comportamiento con ChatGPT. Pero si tuviera que elegir entre Bard y GPT, elegiría a Bard. En primer lugar, puedes hacerle preguntas sin parar, mientras que ChatGPT tiene límites. Aunque tal vez haya versiones en algún lugar sin límites. No lo sé. He interactuado con la versión 3 de ChatGPT. Aún no he probado la versión 4. Y parece que la empresa ha cancelado la quinta versión. Las ventajas de Bard son que da, por así decirlo, lo que ChatGPT se niega a dar, citando la ley. Quiero probar el equivalente chino pero aún no he tenido la oportunidad.-"

"-Bard para buscar en la web. ChatGPT para generar contenido. Ambos son muy limitados para escribir código desde cero. Pero, como dijo wXXXX, debemos esperar algunos años para usarlo en nuestra vida diaria.-"

El Marco de Gestión de Riesgos de Inteligencia Artificial (AI RMF) de NIST

Al interactuar con la IA y las soluciones basadas en IA, es importante comprender las limitaciones, riesgos y vulnerabilidades de la IA. El Marco de Gestión de Riesgos de Inteligencia Artificial (AI RMF) de NIST es un conjunto de pautas y mejores prácticas diseñadas para ayudar a las organizaciones a identificar, evaluar y gestionar los riesgos asociados con la implementación y el uso de tecnologías de inteligencia artificial.

El marco consta de seis elementos:

1. Válido y fiable: la IA puede proporcionar información incorrecta, que también se conoce en GenAI como "alucinaciones". Es importante que las empresas puedan validar que la IA que están adoptando es precisa y fiable.
2. Seguro: garantizar que la información solicitada no se comparta con otros usuarios, como en el caso infame de Samsung.
3. Seguro y resistente: los atacantes están utilizando la IA para ciberataques. Las organizaciones deben asegurarse de que el sistema de IA esté protegido y seguro contra ataques y pueda frustrar con éxito los intentos de explotarlo o utilizarlo para ayudar con los ataques.
4. Responsable y transparente: es importante poder explicar la cadena de suministro de la IA y asegurarse de que haya una conversación abierta sobre cómo funciona. La IA no es magia.
5. Mejorado con privacidad: garantizar que la información solicitada esté protegida y anonimizada en el lago de datos y cuando se utilice.
6. Justo: este es uno de los elementos más importantes. Significa gestionar el sesgo dañino. Por ejemplo, a menudo hay sesgo en el reconocimiento facial de la IA, con hombres de piel clara identificados con más precisión en comparación con las mujeres y los colores de piel más oscuros. Al utilizar la IA para la aplicación de la ley, por ejemplo, esto podría tener graves implicaciones.

Recursos adicionales para la gestión del riesgo de la IA incluyen el MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), OWASP Top 10 para ML y el Marco de IA Segura (SAIF) de Google.

Preguntas para hacerle a su proveedor

En un futuro cercano, será muy común que los proveedores ofrezcan capacidades de IA generativa. Aquí hay una lista de preguntas para hacer para respaldar su elección educada.

1- ¿Qué y por qué?

¿Cuáles son las capacidades de la IA y por qué son necesarias? Por ejemplo, GenAI es muy bueno escribiendo correos electrónicos, por lo que GenAI tiene sentido para un sistema de correo electrónico. ¿Cuál es el caso de uso para el proveedor?

2- Datos de entrenamiento

Los datos de entrenamiento deben gestionarse de forma adecuada y precisa, de lo contrario, pueden crear sesgos. Es importante preguntar sobre los tipos de datos de entrenamiento, cómo se han limpiado, cómo se gestionan, etc.

3- ¿Se incorporó la resistencia?

¿Ha tenido en cuenta el proveedor que los ciberdelincuentes están atacando el sistema en sí e implementado controles de seguridad?

4- ROI real vs. Reclamaciones

¿Cuál es el ROI y justifica el ROI la implementación de IA o ML (o se agregaron debido al alboroto y con fines de venta)?

5- ¿Realmente resuelve un problema?

La pregunta más importante: ¿está resolviendo la IA su problema y lo está haciendo bien? No tiene sentido pagar una prima e incurrir en gastos generales adicionales a menos que la IA esté resolviendo el problema y funcionando como debería.

La IA puede empoderarnos y ayudarnos a desempeñarnos mejor, pero no es una bala de plata. Es por eso que es importante que las empresas tomen decisiones educadas sobre las herramientas con IA que elijan implementar internamente.

Para obtener más información sobre los casos de uso, riesgos, aplicaciones, vulnerabilidades e implicaciones de la IA y el ML para los expertos en seguridad, vea la clase magistral completa aquí.

Fuente y créditos: Everything You Wanted to Know About AI Security but Were Afraid to Ask (thehackernews.com)

Contenido traducido al español con fines informativos, cualquier cambio en la publicación original no será reflejada en esta entrada, favor referirse a la fuente para obtener el acceso a cualquier actualización del contenido. Para la traducción se utilizó ChatGPT, al ser una traducción automática puede contener errores gramaticales o de otro tipo, favor enviar comentarios al moderador para corregir.