Класифікація мережевих атак методами машинного навчання в умовах дисбалансу тренувальних даних

Abstract

Об'єктом дослідження є процес виявлення мережевих вторгнень. Предметом дослідження є методи класифікації мережевих вторгнень. Метою дослідження є підвищення якості та швидкості ансамблевих класифікаторів в задачах класифікації мережевих вторгнень в умовах дисбалансу тренувальних даних. Методи, що використовуються: методи машинного навчання, методи попередньої обробки даних, ансамблеві класифікатори, метод перебалансування шляхом синтетичного збільшення меншості (SMOTE). Отримані результати: досліджено ефективність використання різних підходів для класифікації мережевих вторгнень в умовах дисбалансу класів у тренувальній вибірці. Запропоновано комплексний підхід, що передбачає попередню обробку даних за допомогою методу SMOTE для синтетичного балансування навчальної вибірки, а також його подальший аналіз з використанням ансамблевих моделей машинного навчання, що дало змогу покращити показники класифікації міноритарних класів. Най кращі результати отримано при поєднанні SMOTE з ансамблевими моделями, зокрема Bagging, Gradient Boosting та AdaBoost. Висновки. За результатами дослідження запропоновано удосконалений підхід до класифікації мережевого трафіку, який поєднує попереднє балансування вибірки методом SMOTE з ансамблевими алгоритмами беггінг та бустинг. Комплексне використання цих методів дозволило покращити значення метрики Recall для міноритарних класів. Загалом запропонований підхід забезпечив покращення якості класифікації: 18% для атак типу Infiltration, 33% для атак з використанням SQL-ін’єкцій та до 53% для атак XSS у порівнянні з базовими моделями машинного навчання без додаткового перебалансування вхідних даних. The object of the research is the process of detecting network intrusions. The subject of the research is methods for classifying network intrusions. The aim of the research is to improve the quality and speed of ensemble classifiers in network intrusion classification problems under conditions of imbalance in training data. Methods used: machine learning methods, data preprocessing methods, ensemble classifiers, rebalancing method by synthetic minority augmentation. Results obtained: the effectiveness of using various approaches for classifying network intrusions under conditions of class imbalance in the training sample was investigated. A comprehensive approach was proposed, which involves preprocessing data using the SMOTE method for synthetic balancing of the training sample, as well as its subsequent analysis using ensemble machine learning models, which made it possible to improve the classification performance of minority classes. The best results were obtained when combining SMOTE with ensemble models, in particular Bagging, Gradient Boosting and AdaBoost. Conclusions. Based on the results of the study, an improved approach to network traffic classification was proposed, which combines pre-sampling by the SMOTE method with ensemble algorithms bagging and boosting. The combined use of these methods allowed to improve the value of the Recall metric for minority classes. Overall, the proposed approach provided an improvement in the classification quality: 18% for the Infiltration attack, 33% for the SQL Injection attack and up to 53% for the XSS attack compared to basic machine learning models without additional rebalancing of input data.