Моделі та методи оптимізації розподілу завдань у туманному середовищі інтернету речей

Abstract

Дисертація на здобуття наукового ступеня доктора філософії (PhD) за спеціальністю 123 – Комп’ютерна інженерія. – Національний технічний університет “Харківський політехнічний інститут”, Харків, 2023. Дисертаційна робота присвячена вирішенню актуальної науково-технічної задачі, пов'язаної з розробкою нових та удосконалення існуючих методів розподілу завдань, що потребують виконання у режимі, наближеному до реального часу, в туманних середовищах Інтернету речей. Об’єкт дослідження – процес розподілу завдань у туманному середовищі Інтернету речей. Предмет дослідження – моделі та методи розподілу завдань у туманному середовищі Інтернету речей. Метою дисертаційної роботи є підвищення ефективності використання обчислювальних ресурсів туманних середовищ Інтернету речей шляхом розробки нових та удосконалення існуючих методів розподілу завдань, що потребують виконання у режимі, наближеному до реального часу. У вступі обґрунтовано актуальність проблеми розподілу завдань у туманних середовищах Інтернету речей (IoT) та висвітлено її важливість у контексті швидкого розвитку цієї технологічної галузі та появи нових вимог до продуктивності та надійності базових комп’ютерних систем. Аналізуючи сучасний стан розподілу завдань у таких середовищах, визначено, що існуючі методи не завжди здатні забезпечити оптимальний рівень продуктивності та надійності, особливо в умовах зростаючої навантаженості та вимог до низької затримки. У першому розділі досліджено актуальні науково-технічні завдання, пов'язані з розподілом завдань в туманних середовищах IoT. Здійснено аналіз сучасних підходів та розглянуто їх обмеження. Сформульовано основну наукову проблему, яка полягає у покращенні ефективності розподілу завдань у таких середовищах з метою задоволення вимог до продуктивності та зниження затримок. У другому розділі проведено обґрунтування вибору методів кластеризації та формування топологічної структури туманної платформи підтримки Інтернету речей, зокрема, методів формування топологічної структури туманних середовищ для підтримки Інтеренету речей та методів кластерізації. У третьому розділі запропоновані моделі та методи для підвищення ефективності розподілу завдань у туманному середовищі Інтернету речей. Зокрема, розроблені математична модель початкового розподілу інтегрованого кластера обчислювальних ресурсів та структура даного методу, кластеризації туманного середовища підтримки Інтернету речей, наведені пропозиції щодо сумісного використання методів DBSCAN та C-Means. Запропоновано модель елементарних потоків завдань Інтернету речей при використанні туманної платформи, яка враховує особливості розподілених обчислень та поєднує моделі послідовних завдань та поступову обробку даних. Удосконалено метод перерозподілу ресурсів туманного середовища підтримки Інтернету речей, який відрізняється від відомих використанням моделі елементарних потоків завдань, що дозволило прискорити процес адаптивного перерозподілу ресурсів та його проводити без призупинення процесу обробки транзакцій пристроїв Інтернету речей. Удосконалено метод розпаралелювання завдань попередньої обробки даних Інтернету речей, який відрізняється від відомих сумісним використанням на етапі розподілу завдань на вузли туманного середовища методу кластеризації та моделі елементарних потоків завдань, що дозволило за рахунок паралельної обробки значно зменшити час обробки та збалансувати використання хмарних ресурсів. У четвертому розділі проведено аналіз ефективності запропонованих у дисертаційній роботі методів розподілу завдань, методу швидкої двохфакторної аутентифікації в туманних середовищах IoT та виконано порівняльний аналіз з класичними методами, зокрема з методом "Round Robin". Для оцінки ефективності проведені чисельні експерименти та аналіз результатів. Встановлено, що запропоновані методи дозволяють покращити якість розподілу завдань, зменшити затримки та підвищити продуктивність туманних середовищ IoT. Також надані рекомендації щодо використання запропонованих методів. У висновках наведено основні результати наукової роботи щодо вирішення поставлених наукових задач дослідження. За результатами дослідження отримано такі наукові результати: отримав подальший розвиток метод кластеризації туманного середовища підтримки Інтернету речей за рахунок використання математичної моделі початкового розподілу інтегрованого кластера обчислювальних ресурсів, що дозволило покращити якість групування завдань і ресурсів та сприяло підвищенню продуктивності туманної платформи; вперше розроблено модель елементарних потоків завдань Інтернету речей при використанні туманної платформи, яка враховує особливості розподілених обчислень та дозволяє провести декомпозицію зв’язної неперервної послідовності вхідних даних; удосконалено комплекс методів розподілу ресурсів туманного середовища підтримки Інтернету речей, який відрізняється від відомих сумісним використанням розробленої моделі елементарних потоків завдань та методу кластеризації, що дозволило прискорити процес адаптивного перерозподілу ресурсів та проводити його без призупинення процесу обробки транзакцій у випадках змінного навантаження та збільшених вимог до ресурсів, а також значно зменшити час обробки та збалансувати використання хмарних ресурсів при надходженні великих потоків даних; отримав подальший розвиток метод швидкої двохфакторної аутентифікації між пристроями Інтернету речей за рахунок інтеграції другого фактору в службу аутентифікації з централізованою базою користувачів, що дозволило суттєво зменшити час на перевірку санкціонованості доступу та забезпечення конфіденційності даних. Практичне значення отриманих результатів полягає в наступному: – підвищення продуктивності туманної платформи IoT до 9%. Однією з ключових переваг є покращення виробничих результатів системи завдяки оптимізації розподілу завдань. Це дозволяє більш швидко та ефективно обробляти дані, що надходять від сенсорів IoT та виконувати завдання обробки даних; – зменшення часу відгуку до 10%: розроблені методи дозволяють більш раціонально використовувати ресурси, такі як обчислювальні потужності та пропускна здатність мережі. Це призводить до зменшення середнього часу відгуку системи; – покращення методу швидкої двохфакторної аутентифікації в туманних середовищах Інтернету речей. Внаслідок цих покращень підвищилася швидкість аутентифікаціїї у 2.65 рази при використанні цього методу для розглядаємої туманної платформи; – розвиток сучасних застосувань: отримані результати роблять доступними більшу кількість сценаріїв використання систем IoT на туманній платформі. Це розширює можливості для застосувань в таких галузях, як управління містом, промисловість, охорона здоров'я та багато інших; – забезпечення стійкості та надійності в середньому до 3%: оптимізовані методи роблять системи IoT більш стійкими до викликів та забезпечують надійність роботи в умовах навантаження та змін. За результатами дослідження підтверджено практичну та теоретичну цінність розроблених методів, надано практичні рекомендації, щодо застосування розроблених методів та розглянуто перспективи їх подальшого розвитку.The thesis is submitted to obtain a scientific degree of Doctor of Philosophy, specialty 123 – Computer Engineering. – National Technical University “Kharkiv Polytechnic Institute”, Kharkiv, 2023. The dissertation work is devoted to solving an urgent scientific and technical problem related to the development of new and improvement of existing methods for distributing tasks that need to be performed in near real time in foggy environments of the Internet of Things. Object of research is the process of task distribution in the foggy environment of the Internet of Things. The subject of research is models and methods of task distribution in the foggy environment of the Internet of Things. The purpose of the dissertation is to increase the efficiency of using the computing resources of the foggy environments of the Internet of Things by developing new and improving existing methods for distributing tasks that need to be performed in near real time. The introduction substantiates the relevance of the problem of task distribution in foggy environments of the Internet of Things (IoT) and highlights its importance in the context of the rapid development of this technological field and the emergence of new requirements for the performance and reliability of basic computer systems. By analyzing the current state of task distribution in such environments, it is determined that existing methods are not always able to provide the optimal level of performance and reliability, especially in the face of increasing workload and low latency requirements. In the first chapter explores the current scientific and technical tasks related to task distribution in foggy IoT environments. An analysis of current approaches is carried out and their limitations are considered. The main scientific problem is formulated, which is to improve the efficiency of task distribution in such environments in order to meet performance requirements and reduce delays. In the second chapter justifies the choice of clustering methods and the formation of the topological structure of the fog platform for supporting the Internet of Things, in particular, methods for forming the topological structure of fog environments for supporting the Internet of Things and clustering methods. In the third chapter, models and methods are proposed to improve the efficiency of task distribution in the fog environment of the Internet of Things. In particular, a mathematical model of the initial distribution of the integrated cluster of computing resources and the structure of this method, clustering of the fog environment supporting the Internet of Things, and proposals for the joint use of DBSCAN and C-Means methods are developed. A model of elementary task flows of the Internet of Things when using a fog platform is proposed, which takes into account the features of distributed computing and combines models of sequential tasks and gradual data processing. The method of reallocating resources of the fog environment for supporting the Internet of Things has been improved, which differs from the known ones by using the model of elementary task flows, which made it possible to speed up the process of adaptive reallocation of resources and carry it out without suspending the process of processing transactions of Internet of Things devices. An improved method of parallelizing IoT data pre-processing tasks, which differs from the known ones by the joint use of the clustering method and the model of elementary task flows at the stage of distributing tasks to fog nodes, which made it possible to significantly reduce processing time and balance the use of cloud resources due to parallel processing. In the fourth chapter, analyzes the effectiveness of the task distribution methods proposed in this thesis, the method of fast two-factor authentication in foggy IoT environments, and compares them with classical methods, in particular, the Round Robin method. Numerical experiments and analysis of the results are carried out to evaluate the effectiveness. It is established that the proposed methods can improve the quality of task distribution, reduce delays, and increase the performance of foggy IoT environments. Recommendations on the use of the proposed methods are also given. The conclusions present the main results of the scientific work on solving the research tasks. The following scientific results were obtained as a result of the study: the method of clustering the fog environment supporting the Internet of Things was further developed by using a mathematical model of the initial distribution of the integrated cluster of computing resources, which improved the quality of grouping tasks and resources and contributed to the performance of the fog platform; for the first time, a model of elementary task flows of the Internet of Things using a fog platform was developed, which takes into account the features of distributed computing and allows decomposition of a coherent continuous sequence of input data; an improved set of methods for allocating resources of the fog environment supporting the Internet of Things, which differs from the known ones by the joint use of the developed model of elementary task flows and the clustering method, which made it possible to speed up the process of adaptive redistribution of resources and carry it out without suspending the transaction processing in cases of variable load and increased resource requirements, as well as significantly reduce processing time and balance the use of cloud resources when large data flows are received; the method of fast two-factor authentication between IoT devices was further developed by integrating the second factor into the authentication service with a centralized user database, which significantly reduced the time required to verify access authorization and ensure data confidentiality. The practical significance of the results is as follows: – increase the performance of the fog IoT platform by up to 9%. One of the key benefits is improved system performance due to optimized task distribution. This allows for faster and more efficient processing of data coming from IoT sensors and performing data processing tasks;– reduction of response time by up to 10%: the developed methods allow for more rational use of resources, such as computing power and network bandwidth. This leads to a reduction in the average response time of the system; – improving the method of fast two-factor authentication in foggy IoT environments. As a result of these improvements, the authentication speed has increased by 2.65 times when using this method for the considered fog platform; – development of modern applications: the results obtained make more scenarios for using IoT systems on the fog platform available. This expands the possibilities for applications in industries such as city management, industry, healthcare, and many others; – ensuring resilience and reliability by up to 3% on average: optimized methods make IoT systems more resilient to challenges and ensure reliable operation under load and change. Based on the study results, the practical and theoretical value of the developed methods was confirmed, practical recommendations were given on applying the developed methods, and prospects for their further development were considered.