Diseño y evaluación de modelos de aprendizaje automático no supervisado para la detección de anomalías en un sistema Spark

F. Bagheri-Gisour Marandyn, X. Larriva-Novo, V.A. Villagra

VI Jornadas Nacionales de Investigación en Ciberseguridad - JNIC 2021, Cuenca (Spain) Online. 09-10 June 2021

Summary:

En el presente artículo se muestran los resultados obtenidos al diseñar y evaluar un modelo de aprendizaje
automático no supervisado como es el K-Means para la detección de anomalías en tiempo real sobre múltiples sensores dentro de un sistema Spark utilizando un threshold para delimitar esas posibles anomalías. Los resultados obtenidos del modelo (aún en fase de desarrollo y mejora) demuestran la capacidad de poder detectar tres tipos de eventos: eventos no anómalos, eventos anómalos por características y eventos anómalos por aspectos temporales. Este comportamiento presenta características estimulantes para poder aplicar este tipo de algoritmos en un entorno real donde los datos no tienen ningún tipo de etiquetado. Todo ello, sumado a la capacidad que ofrece Spark para realizar el procesado de grandes volúmenes de datos en tiempo real, da como resultado un sistema prometedor capaz de clasificar eventos procedentes de diversos sensores de manera inmediata.

Keywords: machine learning, K-Means, threshold, Spark, detección anomalías, ciberseguridad

DOI: http://doi.org/10.18239/jornadas_2021.34.10

Published in Investigación en Ciberseguridad, pp: 65-68, ISBN: 978-84-9044-463-4

Publication date: 2021-06-01.

Citation:
F. Bagheri-Gisour Marandyn, X. Larriva-Novo, V.A. Villagra, Diseño y evaluación de modelos de aprendizaje automático no supervisado para la detección de anomalías en un sistema Spark, VI Jornadas Nacionales de Investigación en Ciberseguridad - JNIC 2021, Cuenca (Spain) Online. 09-10 June 2021. In: Investigación en Ciberseguridad: Actas de las VI Jornadas Nacionales ( JNIC2021 LIVE) Online 9-10 de junio de 2021 Universidad de Castilla-La Mancha, ISBN: 978-84-9044-463-4