Методи обробки мультиспектральних зображень в комп'ютеризованій системі на основі нейронних мереж глибокого навчання

Abstract

Дисертація на здобуття наукового ступеня доктора філософії (PhD) за спеціальністю 123 – Комп’ютерна інженерія. – Національний технічний університет «Харківський політехнічний інститут», Харків, 2024. Дисертаційна робота присвячена вирішенню актуальної науково-технічної задачі обробки мультиспектральних супутникових зображень на основі нейронних мереж глибокого навчання у комп’ютеризованій системі з метою підвищення ефективності та якості роботи рішень, що матимуть можливість отримання оперативної інформації про об’єкти земної поверхні під час проведення дистанційного зондування земної поверхні. Метою дисертаційної роботи є підвищення якості класифікації оперативної інформації про об’єкти земної поверхні при проведенні дистанційного зондування за рахунок розробки нових та удосконалення існуючих методів класифікації мультиспектральних супутникових зображень на основі методів глибокого навчання. Об’єкт дослідження – процес класифікації мультиспектральних супутникових зображень дистанційного зондування земної поверхні в комп’ютеризованій системі. Предмет дослідження – методи та засоби багатокласової класифікації на основі методів глибокого навчання. У вступі обґрунтовано актуальність науково-технічної проблеми обробки мультиспектральних зображень земного покриву в комп’ютеризованих системах, представлено зв’язок роботи з науковими програмами, планами і темами, наведено наукову новизну, представлено практичне значення отриманих результатів, надано інформацію щодо особистого внеску здобувача, представлено перелік публікацій за темою дисертації. У першому розділі на основі аналітичного огляду виконано постановку науково-технічної задачі обробки мультиспектральних супутникових зображень у комп’ютеризованій системі. Досліджено основні причини та фактори необхідності спостереження за зміною земної поверхні та обробки даних дистанційного зондування Землі. Досліджено класичні методи на основі машинного навчання та методи на основі глибокого навчання для задач класифікації зображень. Проведено дослідження та порівняльний аналіз методів класифікації мультиспектральних супутникових зображень земного покриву. Обґрунтовано вибір методів для подальшого дослідження. Сформульовано завдання дисертаційного дослідження. У другому розділі виконана постановка задачі багатокласової класифікації мультиспектральних супутникових зображень у комп’ютеризованій системі на основі нейронних мереж глибокого навчання. Досліджено сучасні набори даних дистанційного зондування Землі. Розроблено метод багатокласової класифікації мультиспектральних зображень зі спектральними індексами на основі згорткової нейронної мережі визначеної архітектури, що дозволило підвищити точність класифікації об’єктів для набору даних EuroSAT. У третьому розділі отримав подальший розвиток метод багатокласової класифікації мультиспектральних зображень на основі згорткової нейронної мережі зі спектральними індексами шляхом оптимізації запропонованої процедури етапів структурного та параметричного налаштування, що з одного боку дозволило підвищити результуючі метрики оцінки якості класифікації супутникових зображень згортковою нейронною мережею, а з іншого – врахувати наявні ресурсні обмеження. Проведено порівняльне дослідження з відомими методами класифікації. Удосконалений метод зменшує кількість необхідних епох для навчання оптимізованої моделі згорткової нейронної мережі та значно підвищує метрики оцінки якості моделі нейронної мережі. У четвертому розділі удосконалено метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву високої розрізнювальної здатності на основі запропонованого набору даних EuroPlanet. Запропоновано та розроблено процедуру фільтрації високоякісних супутникових зображень. Проведено валідацію EuroPlanet на основі сучасних наперед навчених нейронних мереж: Res-Net50v2, EfficientNetV2, Xception, VGG-16 та DenseNet201. Отримано, що попередньо навчена нейронна мережа DenseNet201 перевершує інші розглянуті моделі за значеннями метрик оцінки якості моделей нейронних мереж. Отримано оптимальну конфігурацію (RG+GNDVI) спектральних індексів. Досліджено вплив коефіцієнту поділу набору даних на навчальну та тестову підвибірки на метрики оцінки якості моделі нейронної мережі. Показано можливість застосування запропонованого методу для моніторингу змін земної поверхні території України, який може бути впроваджений у системи підтримки прийняття рішень. Проведені експерименти та порівняльні дослідження з відомими методами підтвердили ефективність запропонованого методу класифікації мультиспектральних зображень земного покриву, що дає змогу рекомендувати його для практичного використання. У висновках наведено основні результати досліджень, виконаних у дисертаційній роботі відповідно до поставлених наукових задач. За результатами дисертаційного дослідження отримано такі наукові результати: 1. Вперше запропоновано метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву, який відрізняється від відомих процедурою пошуку оптимального набору спектральних індексів на основі вперше запропонованої архітектури згорткової нейронної мережі в комп’ютеризованій системі, що дозволило підвищити точність класифікації об’єктів земної поверхні. 2. Отримав подальший розвиток метод оптимізації згорткових нейронних мереж для задачі багатокласової класифікації супутникових зображень земного покриву за рахунок запропонованої процедури проведення оптимізації етапами структурного та параметричного налаштування при заданих бюджетних обмеженнях, що з одного боку дозволило підвищити результуючі метрики оцінки якості класифікації супутникових зображень згортковою нейронною мережею, а з іншого – врахувати наявні ресурсні обмеження. 3. Удосконалено метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву високої розрізнювальної здатності, який відрізняється від відомих трансферним навчанням згорткових нейронних мереж на основі запропонованого набору даних EuroPlanet високої роздільної здатності та пошуком оптимальної конфігурації спектральних індексів, що дозволило підвищити точність класифікації даних дистанційного зондування земної поверхні та ефективність роботи моделі нейронної мережі й на території України. Розроблені та удосконалені методи є науково-методичною основою розробки алгоритмів та програмного забезпечення, практичне значення яких полягає в таких аспектах: −розроблено метод та програмне забезпечення побудови згорткової нейронної мережі для задачі багатокласової класифікації мультиспектральних супутникових зображень із оптимальним набором спектральних індексів, що дозволяє підвищити точність класифікації до 84,19% та метрику F1 до 84,05%; −отримав подальший розвиток метод та розроблено програмне забезпечення для оптимізації згорткових нейронних мереж задачі класифікації супутникових зображень земної поверхні, що покращило точність класифікації та метрику оцінки якості нейронних моделей F1 до 97.04% та до 97.05% відповідно, а для класів Herbaceous Vegetation, Permanent Crop, та Highway метрика F1 на тестовому наборі даних зросла до 20%. До того ж, використання сучасного фреймворку Ray Tune дозволило ефективно використати наявні ресурси з огляду визначених бюджетних обмежень; −розроблено процедуру фільтрації якісних супутникових зображень високої роздільної здатності, що пришвидшило й автоматизувало формування набору даних EuroPlanet у комп’ютеризованій системі; удосконалено метод та розроблене програмне забезпечення багатокласової класифікації зображень земного покриву набору даних EuroPlanet високої роздільної здатності та з оптимальною конфігурацією спектральних індексів. Точність класифікації на тестових даних склала 93,83%, а метрика F1 зросла до 93,56%. Показано можливість практичного застосування удосконаленого метода. За результатами дослідження підтверджено теоретичну та практичну цінність розроблених методів та процедур, надано практичні рекомендації щодо їх застосування в умовах повномасштабного російського вторгнення в Україну та розглянуто перспективи подальшого розвитку запропонованих методів. The thesis is submitted to obtain a scientific degree of Doctor of Philosophy, specialty 123 – Computer Engineering. – National Technical University “Kharkiv Polytechnic Institute”, Kharkiv, 2024. The dissertation work is devoted to the solution of an actual scientific and technical problem of multispectral satellite images processing based on deep learning neural networks in a computerized system to increase the performance and solutions quality that will have the possibility of obtaining actual information about Earth's surface objects during Earth remote sensing. The purpose of the dissertation is to increase the classification quality of actual information about Earth's surface objects during remote sensing by developing new and improving existing multispectral satellite images classification methods based on deep learning methods. The object of research is the process of Earth remote sensing multispectral satellite images multiclass classification in a computer system. The subject of research is methods and means of multiclass classification in a computer system based on deep learning methods. The introduction substantiates the relevance of a scientific and technical problem of Earth's surface multispectral images processing in a computerized system, presents the connection of the work with scientific programs, plans, and topics, provides scientific novelty, presents the practical significance of the obtained results and provides the applicant personal contribution information with publications on the topic of the dissertation. In the first chapter, the scientific and technical problem of multispectral satellite images processing in a computerized system is formulated based on analytical overview. The main reasons and factors of the necessity of Earth's surface change observing and processing the Earth's remote sensing data have been studied. Classic methods based on machine learning and methods based on deep learning for image classification problems have been studied. A study and comparative analysis of Earth's surface multispectral satellite images classification methods have been carried out. The choice of methods for further research is justified. The scientific objectives of the dissertation research are formulated. In the second chapter, a statement of the multispectral satellite images multiclass classification problem in a computer system based on deep learning neural networks is formulated. Modern Earth remote sensing datasets were studied. A method of multispectral multiclass images classification with spectral indices based on a defined convolutional neural network architecture has been developed which increased the object classification accuracy for the EuroSAT dataset. In the third chapter, the method of multispectral multiclass images classification based on a convolutional neural network with spectral indices was improved by optimizing the proposed procedure of rough-tuning and fine-tuning stages, which on the one hand increased the satellite images classification quality result metrics of a convolutional neural network, and on the other hand, considered existing resource limitations. A comparative study with known classification methods was conducted. The improved method reduces the number of required epochs for training the optimized convolutional neural network model and significantly increases the model evaluation metrics. In the fourth chapter, a high-resolution multispectral multiclass satellite land cover images classification method was improved based on the proposed high-resolution EuroPlanet dataset. A procedure for filtering high-resolution high-quality satellite images is proposed and developed. Validation of the EuroPlanet dataset was carried out based on modern pre-trained neural networks such as Res-Net50v2, EfficientNetV2, Xception, VGG-16, and DenseNet201. It was found that the pre-trained DenseNet201 neural network outperforms the other considered models in terms of the neural network quality metrics. The optimal spectral indexes configuration (RG+GNDVI) for EuroPlanet was obtained. The influence of the train test dataset split rate was studied. It is shown the possibility of using the proposed method for monitoring the Earth's surface changes on the Ukrainian territory and can be implemented in decision support systems. Conducted experiments and comparative studies with known methods confirmed the performance of the proposed Earth's cover multispectral images classification method, which makes it possible to use it in practical applications. The conclusions present the main results of the scientific work on solving the scientific objectives of the study. The scientific novelty of the results. As a result of the dissertation work, the following scientific results were obtained within this area: 1. For the first time, a method of Earth's surface multispectral satellite multiclass classification images is proposed, which differs from the known procedure of finding the optimal set of spectral indexes based on the proposed architecture of a convolutional neural network in a computerized system, which increased the Earth's surface objects classification accuracy. 2. The method of multispectral multiclass images classification based on a convolutional neural network with spectral indexes has been improved by optimizing the proposed procedure of rough-tuning and fine-tuning stages under given budget restrictions, which on the one hand increased the satellite images classification quality result metrics of a convolutional neural network, and on the other hand, considered existing resource limitations. 3. The method of Earth's cover high-resolution multispectral satellite multiclass classification images was improved, which differs from the known by transfer learning of convolutional neural networks based on the proposed high-resolution EuroPlanet dataset and the optimal spectral indexes configuration and made increased the Earth remote sensing data classification accuracy and the neural network model performance on the Ukrainian territory. The developed and improved methods are the scientific and methodological basis for the designing algorithms and software. The practical results include the following: –the method and software for designing a convolutional neural network were developed for the task of multispectral multiclass satellite images classification with an optimal set of spectral indexes, which increased the classification accuracy up to 84.19% and the F1 metric up to 84.05%; –the improved convolutional neural networks optimization method and software have been developed for the task of the Earth’s surface satellite images, which increased the classification accuracy and F1 metric to 97.04% and 97.05% respectively, and for the classes Herbaceous Vegetation, Permanent Crop, and Highway the F1 metric on the test dataset increased up to 20%. In addition, the use of the modern Ray Tune framework made it possible to effectively use the available resources under the defined budget restrictions; –the high-quality high-resolution satellite images filtering procedure has been developed, which accelerated and automated the creation of the EuroPlanet dataset in a computerized system; –the multiclass land cover EuroPlanet high-resolution images with the optimal configuration of spectral indexes classification method has been improved and software has been developed. The classification accuracy on the test data increased to 93.83%, and the F1 metric increased to 93.56%. The practical possibility of using the improved method is shown. The research results confirmed the practical and theoretical significance of the developed methods and procedures, provided practical recommendations for the application of the developed methods in the conditions of a full-scale Russian invasion of Ukraine, and considered the prospects for their further development.