Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de...
Transcript of Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de...
![Page 1: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/1.jpg)
CyberSecurity & Blockchain
Seguridad e Inteligencia Artificial.Retos para la Estrategia Española en Inteligencia Artificial
Ana Ayerbe
@AnaAyerbe
![Page 2: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/2.jpg)
2 ▌
1. IA para la Ciberseguridad
2. Ciberseguridad para la IA
3. Aceptación de la IA
4. Algunas reflexiones…
![Page 3: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/3.jpg)
3 ▌
IA para la Ciberseguridad
![Page 4: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/4.jpg)
4 ▌
eHealth
![Page 5: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/5.jpg)
5
“Nuestros coches, nuestros dispositivos
médicos y nuestros electrodomésticos son
ahora ordenadores con cosas adjuntas a
ellos. Su nevera es un ordenador que
mantiene las cosas frías y el microondas es un
computador que las calienta. Su coche es un
ordenador con cuatro ruedas y un motor. Los
ordenadores ya no son solo una pantalla que
encendemos y miramos, y ese es el gran
cambio. Lo que era la seguridad informática,
en su propio ámbito por separado, ahora es
la seguridad de todo”
![Page 6: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/6.jpg)
6
![Page 7: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/7.jpg)
7
AI para mejorar la aproximación actual a la ciberseguridad:
- Detección de intrusiones
- Detección de Malware
- Descubrimiento de vulnerabilidades en el código
- Inteligencia de Amenazas
- Detección del fraude
- SOC Inteligentes
- Hacking ético
- …
![Page 8: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/8.jpg)
8
Ciberseguridad para la IA
![Page 9: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/9.jpg)
9
Utilización de la IA como arma por actores maliciosos
![Page 10: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/10.jpg)
10
Gobiernos, Espias
profesionales, Global 25
Gobiernos, Global 150 esponsorizados por
gobiernos
Grupos del crimen organizado, Cibermercenarios
Grupos criminales, Hactivistas
Criminales, Trabajadores descontentos, Programadores
Script Kiddies, Actores no maliciosos
Exploits de sistemas y cuentas
Exploits a través de Internet
Empotran exploits en el ciclo de vida
Descubren vulnerabilidades desconocidas
Explotan vulnerabilidades conocidas
Crean vulnerabilidades
![Page 11: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/11.jpg)
11
Gobiernos, Espias
profesionales, Global 25
Gobiernos, Global 150 esponsorizados por
gobiernos
Grupos del crimen organizado, Cibermercenarios
Grupos criminales, Hactivistas
Criminales, Trabajadores descontentos, Programadores
Script Kiddies, Actores no maliciosos
Exploits de sistemas y cuentas
Exploits a través de Internet
Empotran exploits en el ciclo de vida
Descubren vulnerabilidades desconocidas
Explotan vulnerabilidades conocidas
Crean vulnerabilidades
Debemos desarrollar capacidades para predecir ciberamenazas complejas
y prevenirlas antes de que se produzcan daños
![Page 12: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/12.jpg)
12
La IA aumenta la superficie de ataque
![Page 13: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/13.jpg)
13
“Robustness and Explainability of Artificial Intelligence – From technical to policy solutions, EU 303340, Publications Office of the European Union, ISBN 978-92-79-14660-5”
Fase de entrenamiento y/o en operación
![Page 14: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/14.jpg)
14
Tácticas de Ataque:
- Acceso a los datos- Poisoning Attacks:
- Indirect poisoning- Direct poisoning - Data Injection- Direct poisoning - Data Manipulation - Label
Manipulation- Direct poisoning - Data Manipulation - Input
Manipulation- Direct poisoning - Logic Corruption
- Evasion Attacks- Gradient-based - Single Step- Gradient-based – Iterative- Gradient-free
- Oracle: - Oracle – Extraction- Oracle – Inversion- Oracle - Membership Inference
![Page 15: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/15.jpg)
15
Tácticas de Ataque:
- Acceso a los datos- Poisoning Attacks:
- Indirect poisoning- Direct poisoning - Data Injection- Direct poisoning - Data Manipulation - Label
Manipulation- Direct poisoning - Data Manipulation - Input
Manipulation- Direct poisoning - Logic Corruption
- Evasion Attacks- Gradient-based - Single Step- Gradient-based – Iterative- Gradient-free
- Oracle: - Oracle – Extraction- Oracle – Inversion- Oracle - Membership Inference
“Knowledge Base of AI Threats”
Apoyar la recogida, estructuración y
re-utilización de conocimiento acerca
de las amenazas a los sistemas de
Inteligencia Artificial
![Page 16: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/16.jpg)
16
Ciclo de desarrollo de la IA:
- Investigación en amenazas a la IA
- Diseño de Sistemas de IA seguros y justos:- Seguridad desde el diseño- Privacidad desde el diseño y por defecto- Imparcialidad desde el diseño- Explicabilidad desde el diseño
- Pruebas de los sistemas de AI seguros y justos- Operación de los sistemas de AI seguros y justos
- Beneficiarse de la Base de Conocimiento de SPATA- Enriquecer la Base de Conocimiento de SPARTA
- Forense
- Compartición de la información de los sistemas de IA
![Page 17: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/17.jpg)
17
Aceptación de la IA
![Page 18: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/18.jpg)
18
![Page 19: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/19.jpg)
19
![Page 20: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/20.jpg)
20
Como proceso que es, la Inteligencia Artificial requiere una
metodología que recoja todos los aspectos relacionados
(usabilidad, utilidad, ética, privacidad, sesgo, fiabilidad,
robustez …), no sólo el desempeño.
![Page 21: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/21.jpg)
21
Crear técnicas y métodos que faciliten el diseño, desarrollo, validación y despliegue de
sistemas prácticos basados en Inteligencia Artificial, con un enfoque multicriterio “3Q”:
calidad del dato, calidad del modelo y calidad del resultado
• Privacidad (privacy)
¿Puede el modelo IA usar cualquier fuente de datos? ¿Mantiene la privacidad diferencial del dato?
• Equidad (fairness)
¿Está siendo afectado el modelo IA por sesgos implícitos en la muestra de datos?
¿El modelo discrimina y favorece determinadas salidas sin razón aparente?
• Trazabilidad (accountability)
Si el sistema falla, ¿podemos analizar por qué, depurar responsabilidades y evitar que suceda de nuevo?
• Robustez (robustness)
Si el sistema es ciber-atacado, ¿hasta qué punto es su salida fiable?
• Confiabilidad (confidence)
¿Podemos fiarnos de la salida del modelo? ¿Qué pasa si su entrada cambia mínimamente?
• Causalidad (causality)
¿Podemos influir en la salida del modelo actuando sobre los datos de entrada?
• Explicabilidad y transparencia (explainability)
¿El usuario entiende cómo funciona el modelo? ¿Puede comprender qué ha visto el modelo en los datos?
• Desplegabilidad (deployability) y gobernanza del dato (data governance)
¿El modelo cumple los requisitos del sistema? ¿Garantizan el uso eficaz, eficiente y lícito de la información?
![Page 22: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/22.jpg)
22
Algunas reflexiones …
![Page 23: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/23.jpg)
23
GPT-3
![Page 24: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/24.jpg)
24https://www.techbizdesign.com/inno/ia-futuro-sociedad-5/
![Page 25: Seguridad e Inteligencia Artificial. Retos para la ... · Inteligencia Artificial. 16 Ciclo de desarrollo de la IA: - Investigación en amenazas a la IA - Diseño de Sistemas de IA](https://reader034.fdocumento.com/reader034/viewer/2022051815/604036a282ac2c5121314ee8/html5/thumbnails/25.jpg)
GRACIAS
THANK YOU
ESKERRIK ASKO
MERCI
www.tecnalia.com
Ana Ayerbe
@AnaAyerbe