Математичні моделі та обчислювальні методи виявлення аномалій в системах безпеки

Abstract

Дисертація присвячена вирішенню завдання забезпечення належного рівня безпеки захищаємих об’єктів шляхом розробки та впроваждення математичних моделей та обчислювальних методів виявлення аномалій в системах безпеки. Завдяки використанню розроблених моделей та методів інтелектуального аналізу даних та нейроних мереж для виявлення аномалій стає можливим виявляти та попереждувати невідомі системі безпеки атаки, що є необхідною умовою для підвищення рівня кібербезпеки будь якої системи. Метою дисертаційної роботи є розробка математичних моделей та обчислювальних методів виявлення аномалій в системах безпеки, які забезпечують підвищення рівня безпеки систем захисту інформації. Сама система повинна бути проста у використанні та налаштуванні, а також легко переноситися між різними програмними системами. Об’єкт дослідження – процеси виявлення аномалій в системах безпеки захисту інформації. Предмет дослідження – математичні моделі та обчислювальні методи виявлення аномалій в системах безпеки на основі методів нейроних мереж та інтелектуального аналізу даних (дерев класифікації). У вступі обґрунтовано актуальність теми дисертаційного дослідження, сформульовано мету дослідження та науково-прикладні завдання, необхідні для її досягнення, показано зв’язок дослідження з науковими програмами та темами, наведено наукову новизну отриманих результатів, їх практичну цінність та особистий внесок здобувача. Подано відомості про апробацію результатів роботи, особистий внесок здобувача та його публікації. У першому розділі виконано аналіз сучасного стану виявлення аномалій в системах безпеки, розглянуті мережеві аномалії, їх походження та таксономія. Виявлені джерела похождення аномалій в системах безпеки. Наведено зіставлення аномалій з кібератаками, які здійснюються на компьютерні системи та мережі та представлено причинно-наслідковий зв’язок між атаками зловмисників, мережевими аномаліями та їх наслідками для безпеки мережі організації. Побудовано відображення впливу аномалій мережевих послуг на цілі безпеки та якості обслуговування. Наведена таксономія методів виявлення вторгнень на основі аномалій, яка ґрунтується на статистиці, когнітивній основі або знаннях, машинному навчанні або м’яких обчисленнях, інтелектуальному аналізі даних, ідентифікації намірів користувача та комп’ютерної імунології. Зформульовані актуальні проблеми в системах виявлення вторгнень на основі аномалій, що визначають актуальність теми дисертаційної роботи. У другому розділі проаналізовано існуючі теоретичні моделі виявлення аномалій: операційна модель, модель середнього значення та середньоквадратичного відхилення, багатоваріаційна модель, модель марковського процесу, модель часових серій. Запропоновано алгоритм виявлення вторгнень. Проаналізовані атрибути заходів та методів виявлення аномалій, що дозволило визначити відповідні методи виявлення аномалії. Проаналізовані традиційні метрики оцінки аномалій для даних числового, категоріального та змішаного типу у системах безпеки. Проведений аналіз метрик аномалій на основі мір близькості дозволив обґрунтовати вибір міри близькості Махалонобіса як основи метрики аномалій. Обґрунтування базується на тому факті, що міра близькості Махалонобіса враховує корельованість спостережень і геометрію розкиду спостережень нормального режиму роботи та дає більш обґрунтовані оцінки для віднесення спостереження до аномального. У третьому розділі проаналізовані різні методи виявлення аномалій на основі машинного навчання. Визначені ключові моменти штучних нейронних мереж та глибокого навчання при використанні у системах безпеки. Сформульовані відповідності використовуваних методів машинного навчання штучних нейроних мереж та задач квбербезпеки. Наведені таксономії виявлення вторгнень з урахуванням контрольованого та неконтрольованого виявлення вторгнень на основі машинного навчання. Розроблена математична модель виявлення аномалій та вторгнень на основі генетичних алгоритмів. Визначено, яким чином може бути наведена характеристика мережевого трафіку з використанням генетичного алгоритму. Визначені етапи побудови моделі випадкового лісу з урахуванням генетичного алгоритму для системи виявлення вторгнень. У четвертому розділі запропоновано підхід, який послідовно класифікує відомий трафік атак на різні типи атак та паралельно відокремлює аномалії від звичайного трафіку. Продемонстровано застосування моделі виявлення зловживань до набору даних KDD CUP 99. Побудовано набір правил, який містить правила для визначення як звичайного функціонування системи, так і реалізації атак. Запропоновано використання генетичного алгоритму для вибору відповідних значень параметрів, оптимізації RF-класифікатора та підвищення точності класифікації нормального та аномального мережевого трафіку. Автономну систему виявлення вторгнень реалізовано з використанням побудованої штучної нейронної мережі багаторівневого персептрона (MLP) та методів побудови дерев класифікації у пакеті Statistica. У висновках дисертаційної роботи викладено основні результати які випливають з проведених досліджень, представлено та охарактеризовано показники ефективності при використанні запропонованих рішень. За результатами дослідження отримано такі наукові результати: 1. Вперше обгрунтовано вибір метрики Махаланобіса як основи для визначення аномалій, що базується на тому факты, що тільки міра близькості за Махаланобісом бере до уваги корельованість спостережень і, отже, враховує геометрію розкиду спостережень нормального режиму роботи, що дозволяє надати більш повні оцінки для визначення спостереження як аномального. 2. Удосконалено систему причинно-наслідкових зв’язків між атаками зловмисників, мережевими аномаліями та їх наслідками для безпеки мережі організації та структура, що дозволяє визначити вплив аномалій мережевих послуг на цілі безпеки та якості обслуговування. 3. Удосконалено математичну модель виявлення аномалій та вторгнень на основі генетичних алгоритмів, що дозволяє визначити характеристика мережевого трафіку з використанням генетичного алгоритму. 4. Удосконалено підхід, який послідовно класифікує відомий трафік атак на різні типи атак та паралельно відокремлює аномалії від звичайного трафіку, в основі якого лежить розроблена ієрархічна послідовна модель із класифікаторами двійкового дерева рішень на кожному рівні. Практичне значення отриманих результатів полягає в наступному: – розробленні моделі побудови випадкового лісу з використанням генетичних алгоритмів, методи нейрокомп’ютінгу дозволили побудувати структурні схеми модулів виявлення аномалій у системах кібербезпеки; – реалізовані структурні схеми модулів у відповідному програмному забезпеченні моделювання нейроної мережи, що дозволило виявити переваги запропонованих методів над існуючими. За результатами дослідження підтверджено практичну та теоретичну цінність розроблених моделей та модулей, надано практичні рекомендації щодо застосування розроблених моделей та модулів та розглянуто перспективи їх подальшого розвитку. The dissertation is devoted to solving the problem of ensuring the appropriate level of security by security systems by developing and implementing mathematical models and computational methods for detecting anomalies in security systems. Thanks to the use of developed models and methods of intelligent analysis of data and neural networks to detect anomalies, it becomes possible to detect and warn of attacks unknown to the security system, which is a necessary condition for increasing the level of cyber security of any system. The purpose of the dissertation is the development of mathematical models and computational methods for detecting anomalies in security systems, which ensure an increase in the level of security of information protection systems. The system itself should be easy to use and configure, as well as easy to transfer between different software systems. Object of research is the process of detecting anomalies in information protection security systems. The subject of research is mathematical models and computational methods for detecting anomalies in security systems based on neural network methods and intelligent data analysis (classification trees). The introduction substantiates the relevance of the topic of the dissertation research, formulates the purpose of the research and the scientific and applied tasks necessary for its achievement, shows the connection of the research with scientific programs and topics, indicates the scientific novelty of the obtained results, their practical value and the personal contribution of the recipient. Information about the approval of the results of the work, the personal contribution of the author and his publication is provided. In the first chapter, an analysis of the current state of anomaly detection in security systems is performed, network anomalies, their origin and taxonomy are considered. Identified sources of anomalies in security systems. Anomalies are mapped to cyberattacks that are carried out on computer systems and networks, and the cause-and-effect relationship between malicious attacks, network anomalies, and their consequences for the organization's network security is presented. A mapping of the impact of network service anomalies on security and quality of service goals has been built. A taxonomy of anomaly-based intrusion detection techniques based on statistics, cognitive or knowledge, machine learning or soft computing, data mining, user intent identification, and computational immunology is provided. Current problems in intrusion detection systems based on anomalies are formulated, which determine the relevance of the topic of the dissertation. The second chapter examines the existing theoretical models of anomaly detection: the operational model, the model of the mean value and the root mean square deviation, the multivariate model, the Markov process model, and the time series model. An intrusion detection algorithm is proposed. Attributes of anomaly detection measures and methods were analyzed, which made it possible to determine appropriate anomaly detection methods. Traditional anomaly assessment metrics for numeric, categorical, and mixed type data in security systems are reviewed. The analysis of anomaly metrics based on closeness measures made it possible to substantiate the choice of the Mahalonobis closeness measure as the basis of the anomaly metric. The rationale is based on the fact that the Mahalonobis closeness measure takes into account the correlation of the observations and the scatter geometry of the normal operating mode observations and provides more reasonable estimates for classifying an observation as anomalous. The third chapter analyzes various methods of detecting anomalies based on machine learning. The key points of artificial neural networks and deep learning when used in security systems are defined. Formulated correspondence of the used methods of machine learning of artificial neural networks and cyber security problems. Taxonomies of intrusion detection are presented, taking into account supervised and unsupervised intrusion detection based on machine learning. A mathematical model for detecting anomalies and intrusions based on genetic algorithms has been developed. It has been determined how network traffic can be characterized using a genetic algorithm. The stages of building a random forest model with a genetic algorithm for an intrusion detection system are defined. In the fourth chapter, an approach is proposed that sequentially classifies known attack traffic into different types of attacks and simultaneously separates anomalies from normal traffic. The application of the abuse detection model to the KDD CUP 99 dataset is demonstrated. A set of rules has been built, which contains rules for determining both the normal functioning of the system and the implementation of attacks. It is proposed to use a genetic algorithm to select appropriate parameter values, optimize the RF classifier, and increase the accuracy of classification of normal and abnormal network traffic. The autonomous intrusion detection system is implemented using the constructed multilevel perceptron (MLP) artificial neural network and classification tree construction methods in the Statistica package. The conclusions of the dissertation work present the main results arising from the conducted research. The effectiveness indicators when using the proposed solutions are presented and characterized. Scientific novelty of the results. 1. For the first time, the choice of the Mahalanobis metric as a basis for anomaly detection is justified, based on the fact that only the Mahalanobis proximity measure takes into account the correlation of observations and, therefore, takes into account the geometry of the dispersion of observations of the normal operating mode, which allows to provide more complete estimates for the determination observation as abnormal. 2. The system of cause-and-effect relationships between intruder attacks, network anomalies and their consequences for the security of the organization's network and the structure that allows determining the impact of network service anomalies on security and quality of service goals has been improved. 3. The mathematical model for detecting anomalies and intrusions based on genetic algorithms has been improved, which allows determining the characteristics of network traffic using a genetic algorithm. 4. An improved approach that consistently classifies known attack traffic into different types of attacks and simultaneously separates anomalies from normal traffic is based on a developed hierarchical sequential model with binary decision tree classifiers at each level. The practical significance of the obtained results is as follows: – mathematical models and computational methods for detecting anomalies in security systems developed in the work, namely: random forest construction models using genetic algorithms, neurocomputing methods made it possible to build structural diagrams of anomaly detection modules in cyber security systems; – implemented structural diagrams of modules in the appropriate neural network simulation software, which allowed to reveal the advantages of the proposed methods over the existing ones. The research results confirmed the practical and theoretical value of the developed models and modules, provide practical recommendations on the application of the developed models and modules, and consider the prospects for their further development.