Дослідження методів виявлення аномалій на етапі попередньої обробки даних

Abstract

Предметом дослідження є методи та засоби виявлення аномалій в даних. Метою статті є підвищення якості класифікації даних за рахунок виявлення аномалій на етапі їх попередньої обробки. Завдання: дослідити методи виявлення аномалій на етапі попередньої обробки даних, визначити поріг прийняття рішень anomaly_score для кожного із методів та оцінити якість класифікації до та після preprocessing. Використовуваними методами є: методи штучного інтелекту, машинного навчання, ансамблеві методи. Отримано такі результати: досліджено методи виявлення аномалій: метод стандартного відхилення (Standard Deviation Method), метод локального рівня викидів (Local Outlier Factor), метод Ізолюючого лісу (Isolation Forest). Отримано залежність кількості аномалій від порогу прийняття рішень для кожного із методів. Оцінку якості попередньої обробки даних виконано з використанням класифікаторів на основі методів KNN та беггінгу (Bagging). Досліджені методи реалізовані програмно з використанням хмарного сервісу GOOGLE COLAB на основі Jupyter Notebook. Висновки. Наукова новизна отриманих результатів полягає у дослідженні методів виявлення аномалій на етапі попередньої обробки даних, вибору мета-алгоритму preprocessing та визначення оптимальних параметрів його налаштування.The subject of the research is the methods and means of detecting anomalies in data. The purpose of the article is to improve the quality of data classification by detecting anomalies at the pre-processing stage. Task: to investigate methods for detecting anomalies at the stage of data preprocessing, to determine the decision threshold for each of the methods and to evaluate the quality of classification before and after preprocessing. Methods used are: artificial intelligence methods, machine learning, ensemble methods. The following results were obtained: anomaly detection methods were studied: Standard Deviation Method, Local Outlier Factor method, Isolation Forest method. The dependence of the number of anomalies on the decision threshold for each of the methods is obtained. The evaluation of the quality of data preprocessing was performed using classifiers based on the KNN and Bagging methods. The studied methods are implemented programmatically using the GOOGLE COLAB cloud service based on Jupyter Notebook. Conclusions. The scientific novelty of the results obtained lies in the study of anomaly detection methods at the stage of data preprocessing, the choice of a preprocessing meta-algorithm and the determination of its optimal settings.