123 "Комп'ютерна інженерія"
Постійне посилання колекціїhttps://repository.kpi.kharkov.ua/handle/KhPI-Press/48900
Переглянути
2 результатів
Результати пошуку
Документ Методи обробки мультиспектральних зображень в комп'ютеризованій системі на основі нейронних мереж глибокого навчання(Національний технічний університет "Харківський політехнічний інститут", 2024) Яловега, Владислав АнатолійовичДисертація на здобуття наукового ступеня доктора філософії (PhD) за спеціальністю 123 – Комп’ютерна інженерія. – Національний технічний університет «Харківський політехнічний інститут», Харків, 2024. Дисертаційна робота присвячена вирішенню актуальної науково-технічної задачі обробки мультиспектральних супутникових зображень на основі нейронних мереж глибокого навчання у комп’ютеризованій системі з метою підвищення ефективності та якості роботи рішень, що матимуть можливість отримання оперативної інформації про об’єкти земної поверхні під час проведення дистанційного зондування земної поверхні. Метою дисертаційної роботи є підвищення якості класифікації оперативної інформації про об’єкти земної поверхні при проведенні дистанційного зондування за рахунок розробки нових та удосконалення існуючих методів класифікації мультиспектральних супутникових зображень на основі методів глибокого навчання. Об’єкт дослідження – процес класифікації мультиспектральних супутникових зображень дистанційного зондування земної поверхні в комп’ютеризованій системі. Предмет дослідження – методи та засоби багатокласової класифікації на основі методів глибокого навчання. У вступі обґрунтовано актуальність науково-технічної проблеми обробки мультиспектральних зображень земного покриву в комп’ютеризованих системах, представлено зв’язок роботи з науковими програмами, планами і темами, наведено наукову новизну, представлено практичне значення отриманих результатів, надано інформацію щодо особистого внеску здобувача, представлено перелік публікацій за темою дисертації. У першому розділі на основі аналітичного огляду виконано постановку науково-технічної задачі обробки мультиспектральних супутникових зображень у комп’ютеризованій системі. Досліджено основні причини та фактори необхідності спостереження за зміною земної поверхні та обробки даних дистанційного зондування Землі. Досліджено класичні методи на основі машинного навчання та методи на основі глибокого навчання для задач класифікації зображень. Проведено дослідження та порівняльний аналіз методів класифікації мультиспектральних супутникових зображень земного покриву. Обґрунтовано вибір методів для подальшого дослідження. Сформульовано завдання дисертаційного дослідження. У другому розділі виконана постановка задачі багатокласової класифікації мультиспектральних супутникових зображень у комп’ютеризованій системі на основі нейронних мереж глибокого навчання. Досліджено сучасні набори даних дистанційного зондування Землі. Розроблено метод багатокласової класифікації мультиспектральних зображень зі спектральними індексами на основі згорткової нейронної мережі визначеної архітектури, що дозволило підвищити точність класифікації об’єктів для набору даних EuroSAT. У третьому розділі отримав подальший розвиток метод багатокласової класифікації мультиспектральних зображень на основі згорткової нейронної мережі зі спектральними індексами шляхом оптимізації запропонованої процедури етапів структурного та параметричного налаштування, що з одного боку дозволило підвищити результуючі метрики оцінки якості класифікації супутникових зображень згортковою нейронною мережею, а з іншого – врахувати наявні ресурсні обмеження. Проведено порівняльне дослідження з відомими методами класифікації. Удосконалений метод зменшує кількість необхідних епох для навчання оптимізованої моделі згорткової нейронної мережі та значно підвищує метрики оцінки якості моделі нейронної мережі. У четвертому розділі удосконалено метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву високої розрізнювальної здатності на основі запропонованого набору даних EuroPlanet. Запропоновано та розроблено процедуру фільтрації високоякісних супутникових зображень. Проведено валідацію EuroPlanet на основі сучасних наперед навчених нейронних мереж: Res-Net50v2, EfficientNetV2, Xception, VGG-16 та DenseNet201. Отримано, що попередньо навчена нейронна мережа DenseNet201 перевершує інші розглянуті моделі за значеннями метрик оцінки якості моделей нейронних мереж. Отримано оптимальну конфігурацію (RG+GNDVI) спектральних індексів. Досліджено вплив коефіцієнту поділу набору даних на навчальну та тестову підвибірки на метрики оцінки якості моделі нейронної мережі. Показано можливість застосування запропонованого методу для моніторингу змін земної поверхні території України, який може бути впроваджений у системи підтримки прийняття рішень. Проведені експерименти та порівняльні дослідження з відомими методами підтвердили ефективність запропонованого методу класифікації мультиспектральних зображень земного покриву, що дає змогу рекомендувати його для практичного використання. У висновках наведено основні результати досліджень, виконаних у дисертаційній роботі відповідно до поставлених наукових задач. За результатами дисертаційного дослідження отримано такі наукові результати: 1. Вперше запропоновано метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву, який відрізняється від відомих процедурою пошуку оптимального набору спектральних індексів на основі вперше запропонованої архітектури згорткової нейронної мережі в комп’ютеризованій системі, що дозволило підвищити точність класифікації об’єктів земної поверхні. 2. Отримав подальший розвиток метод оптимізації згорткових нейронних мереж для задачі багатокласової класифікації супутникових зображень земного покриву за рахунок запропонованої процедури проведення оптимізації етапами структурного та параметричного налаштування при заданих бюджетних обмеженнях, що з одного боку дозволило підвищити результуючі метрики оцінки якості класифікації супутникових зображень згортковою нейронною мережею, а з іншого – врахувати наявні ресурсні обмеження. 3. Удосконалено метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву високої розрізнювальної здатності, який відрізняється від відомих трансферним навчанням згорткових нейронних мереж на основі запропонованого набору даних EuroPlanet високої роздільної здатності та пошуком оптимальної конфігурації спектральних індексів, що дозволило підвищити точність класифікації даних дистанційного зондування земної поверхні та ефективність роботи моделі нейронної мережі й на території України. Розроблені та удосконалені методи є науково-методичною основою розробки алгоритмів та програмного забезпечення, практичне значення яких полягає в таких аспектах: −розроблено метод та програмне забезпечення побудови згорткової нейронної мережі для задачі багатокласової класифікації мультиспектральних супутникових зображень із оптимальним набором спектральних індексів, що дозволяє підвищити точність класифікації до 84,19% та метрику F1 до 84,05%; −отримав подальший розвиток метод та розроблено програмне забезпечення для оптимізації згорткових нейронних мереж задачі класифікації супутникових зображень земної поверхні, що покращило точність класифікації та метрику оцінки якості нейронних моделей F1 до 97.04% та до 97.05% відповідно, а для класів Herbaceous Vegetation, Permanent Crop, та Highway метрика F1 на тестовому наборі даних зросла до 20%. До того ж, використання сучасного фреймворку Ray Tune дозволило ефективно використати наявні ресурси з огляду визначених бюджетних обмежень; −розроблено процедуру фільтрації якісних супутникових зображень високої роздільної здатності, що пришвидшило й автоматизувало формування набору даних EuroPlanet у комп’ютеризованій системі; удосконалено метод та розроблене програмне забезпечення багатокласової класифікації зображень земного покриву набору даних EuroPlanet високої роздільної здатності та з оптимальною конфігурацією спектральних індексів. Точність класифікації на тестових даних склала 93,83%, а метрика F1 зросла до 93,56%. Показано можливість практичного застосування удосконаленого метода. За результатами дослідження підтверджено теоретичну та практичну цінність розроблених методів та процедур, надано практичні рекомендації щодо їх застосування в умовах повномасштабного російського вторгнення в Україну та розглянуто перспективи подальшого розвитку запропонованих методів. The thesis is submitted to obtain a scientific degree of Doctor of Philosophy, specialty 123 – Computer Engineering. – National Technical University “Kharkiv Polytechnic Institute”, Kharkiv, 2024. The dissertation work is devoted to the solution of an actual scientific and technical problem of multispectral satellite images processing based on deep learning neural networks in a computerized system to increase the performance and solutions quality that will have the possibility of obtaining actual information about Earth's surface objects during Earth remote sensing. The purpose of the dissertation is to increase the classification quality of actual information about Earth's surface objects during remote sensing by developing new and improving existing multispectral satellite images classification methods based on deep learning methods. The object of research is the process of Earth remote sensing multispectral satellite images multiclass classification in a computer system. The subject of research is methods and means of multiclass classification in a computer system based on deep learning methods. The introduction substantiates the relevance of a scientific and technical problem of Earth's surface multispectral images processing in a computerized system, presents the connection of the work with scientific programs, plans, and topics, provides scientific novelty, presents the practical significance of the obtained results and provides the applicant personal contribution information with publications on the topic of the dissertation. In the first chapter, the scientific and technical problem of multispectral satellite images processing in a computerized system is formulated based on analytical overview. The main reasons and factors of the necessity of Earth's surface change observing and processing the Earth's remote sensing data have been studied. Classic methods based on machine learning and methods based on deep learning for image classification problems have been studied. A study and comparative analysis of Earth's surface multispectral satellite images classification methods have been carried out. The choice of methods for further research is justified. The scientific objectives of the dissertation research are formulated. In the second chapter, a statement of the multispectral satellite images multiclass classification problem in a computer system based on deep learning neural networks is formulated. Modern Earth remote sensing datasets were studied. A method of multispectral multiclass images classification with spectral indices based on a defined convolutional neural network architecture has been developed which increased the object classification accuracy for the EuroSAT dataset. In the third chapter, the method of multispectral multiclass images classification based on a convolutional neural network with spectral indices was improved by optimizing the proposed procedure of rough-tuning and fine-tuning stages, which on the one hand increased the satellite images classification quality result metrics of a convolutional neural network, and on the other hand, considered existing resource limitations. A comparative study with known classification methods was conducted. The improved method reduces the number of required epochs for training the optimized convolutional neural network model and significantly increases the model evaluation metrics. In the fourth chapter, a high-resolution multispectral multiclass satellite land cover images classification method was improved based on the proposed high-resolution EuroPlanet dataset. A procedure for filtering high-resolution high-quality satellite images is proposed and developed. Validation of the EuroPlanet dataset was carried out based on modern pre-trained neural networks such as Res-Net50v2, EfficientNetV2, Xception, VGG-16, and DenseNet201. It was found that the pre-trained DenseNet201 neural network outperforms the other considered models in terms of the neural network quality metrics. The optimal spectral indexes configuration (RG+GNDVI) for EuroPlanet was obtained. The influence of the train test dataset split rate was studied. It is shown the possibility of using the proposed method for monitoring the Earth's surface changes on the Ukrainian territory and can be implemented in decision support systems. Conducted experiments and comparative studies with known methods confirmed the performance of the proposed Earth's cover multispectral images classification method, which makes it possible to use it in practical applications. The conclusions present the main results of the scientific work on solving the scientific objectives of the study. The scientific novelty of the results. As a result of the dissertation work, the following scientific results were obtained within this area: 1. For the first time, a method of Earth's surface multispectral satellite multiclass classification images is proposed, which differs from the known procedure of finding the optimal set of spectral indexes based on the proposed architecture of a convolutional neural network in a computerized system, which increased the Earth's surface objects classification accuracy. 2. The method of multispectral multiclass images classification based on a convolutional neural network with spectral indexes has been improved by optimizing the proposed procedure of rough-tuning and fine-tuning stages under given budget restrictions, which on the one hand increased the satellite images classification quality result metrics of a convolutional neural network, and on the other hand, considered existing resource limitations. 3. The method of Earth's cover high-resolution multispectral satellite multiclass classification images was improved, which differs from the known by transfer learning of convolutional neural networks based on the proposed high-resolution EuroPlanet dataset and the optimal spectral indexes configuration and made increased the Earth remote sensing data classification accuracy and the neural network model performance on the Ukrainian territory. The developed and improved methods are the scientific and methodological basis for the designing algorithms and software. The practical results include the following: –the method and software for designing a convolutional neural network were developed for the task of multispectral multiclass satellite images classification with an optimal set of spectral indexes, which increased the classification accuracy up to 84.19% and the F1 metric up to 84.05%; –the improved convolutional neural networks optimization method and software have been developed for the task of the Earth’s surface satellite images, which increased the classification accuracy and F1 metric to 97.04% and 97.05% respectively, and for the classes Herbaceous Vegetation, Permanent Crop, and Highway the F1 metric on the test dataset increased up to 20%. In addition, the use of the modern Ray Tune framework made it possible to effectively use the available resources under the defined budget restrictions; –the high-quality high-resolution satellite images filtering procedure has been developed, which accelerated and automated the creation of the EuroPlanet dataset in a computerized system; –the multiclass land cover EuroPlanet high-resolution images with the optimal configuration of spectral indexes classification method has been improved and software has been developed. The classification accuracy on the test data increased to 93.83%, and the F1 metric increased to 93.56%. The practical possibility of using the improved method is shown. The research results confirmed the practical and theoretical significance of the developed methods and procedures, provided practical recommendations for the application of the developed methods in the conditions of a full-scale Russian invasion of Ukraine, and considered the prospects for their further development.Документ Система підтримки прийняття діагностичних рішень при аналізі цифрових медичних зображень(Національний технічний університет "Харківський політехнічний інститут", 2023) Шехна, ХаледДисертація на здобуття наукового ступеня доктора філософії (PhD) за спеціальністю 123 – Комп’ютерна інженерія – Національний технічний університет “Харківський політехнічний інститут ”, Харків, 2023. Дисертація присвячена вирішенню актуальної науково-практичної задачі підвищення ефективності виявлення анатомічних та патологічних структур на слабо контрастних напівтонових зображеннях молочної залози шляхом розробки формалізованої моделі процесу мамографічного обстеження, математичних методів реалізації її окремих етапів та розробка системи підтримки прийняття рішень за допомогою сучасних інформаційних технологій. Метою дисертаційної роботи є удосконалення методів аналізу напівтонових біомедичних зображень в мамографічних системах підтримки прийняття рішень. Об'єктом дослідження є процес аналізу анатомічних та патологічних структур на цифрових мамограмах. Предметом дослідження виступають методи виділення та класифікації анатомічних та патологічних структур на цифрових мамограмах. У вступі акцентовано увагу та обґрунтовано актуальність теми, що досліджується, показано зв’язок роботи з науковими програмами, планами та темами, наведено наукову новизну та практичне значення отриманих результатів.В першому розділі проаналізовано види досліджень молочних залоз та показана важливість мамографічних обстежень, які є найбільш безпечними і недорогими, та мають достатню інформативність, особливо на ранніх етапах діагностики патології молочної залози. Виконано аналіз методів цифрової обробки біомедичних зображень та розглянуті особливості побудови систем підтримки прийняття рішень в медицині біомедичних зображень. Показано, що існуючі методи цифрової обробки зображень мають обмежену сферу застосування при обробці мамограм, оскільки зазначені зображення малоконтрастні, містять значну шумову складову, а параметри діагностичних елементів – значну варіабельність. Крім того, такі елементи мамограм, як зовнішньопротокові утворення та мікрокальцинати мають регулярну (фрактальну) структуру. Обгрунтована актуальність обраної теми роботи та встановлена доцільність розробки спеціалізованих методів пошуку анатомічних і патологічних структур на цифрових мамограмах, а також класифікацію мамограм відповідно до типів виявлених патологій. Отримані висновки дали змогу сформулювати мету роботи та задачі дослідження. В другому розділі виконана формалізація етапів процесу проведення мамографічних досліджень лікарем-мамологом та виділені критичні елементи мамографічної СППР, які можуть призвести до вироблення некоректних рішень або відмови від прийняття рішення. Виконана формалізації етапів процесу проведення мамографічних досліджень та розроблена узагальнена модель процесу, яка включає функціональну, структурну, інформаційну та математичну модель, які в остаточному підсумку дозволяють підвищити достовірність та обґрунтованість лікарських рішень та мінімізувати ризики лікарських помилок. В третьому розділі розглянуто особливості процесу морфологічного аналізу цифрових мамограм. Відмічено, що мамограма відноситься до класу біомедичних зображень з локально зосередженими ознаками. Завданням морфологічного аналізу є виділення на фоні завад інформативних структурних елементів мамограм, параметри яких слугують для формування простору діагностичних ознак. Показано перспективність використання фрактального аналізу для дослідження та класифікації мамограм, зокрема, для діагностики раку молочної залози на ранніх стадіях розвитку. Розроблено метод морфологічного аналізу цифрових маммограм з урахуванням їхньої фрактальної розмірності. Наведено відповідні математичні вирази та пропонується алгоритм обчислення фрактальної розмірності напівтонових зображень мамограм, або їх виділених фрагментів – зон інтересу. В четвертому розділі виконано розробку комбінованого діагностичного вирішального правила. Відмічено два підходи при постановці діагнозу: – традиційна діагностика, де кожне захворювання характеризується деяким набором значень діагностичних ознак (симптомів), які формують симптомокомплекс захворювання, та є експертною оцінкою кожного захворювання (суб’єктивна складова); – задача класифікації, в якій моделлю об’єкта діагностики є "чорна шухляда", і шукається залежність між формалізованими станами об’єкта діагностики (множиною діагностичних станів в заданій предметній області) і вектором вхідних діагностичних ознак (об’єктивна складова). Вказана залежність визначається на етапі навчання при аналізі навчальної вибірки, елементами якої виступають пацієнти з підтвердженим діагнозом, а в подальшому на етапі класифікації вона використовується для постановки діагнозу нових пацієнтів при аналізі вектору вхідних ознак. Обґрунтовано застосування в якості об’єктивної складової метод порівняння з еталоном, та розглянуто механізми врахування експертних оцінок щодо структури симптомокомплексу при обчисленні координат еталонів класів. В п’ятому розділі розроблена структура СППР проведення мамографічних обстежень на основі розроблених раніше функціональної, інформаційної, структурної та математичної моделей. Сформовано вимоги, яким повинна задовольняти система та розглянуто функціональне призначення основних модулів системи. Тестова перевірка виконувались за допомогою інтерактивного середовища MatLab із вбудованою високорівневою мовою програмування. Виконано тестування розроблених в дисертації методів на реальних даних, яке підтвердило їх працездатність та ефективність. У висновках наведено основні результати наукової роботи щодо вирішення поставлених наукових задач дослідження. За результатами дослідження отримано такі наукові результати: – удосконалено загальну модель процесу маммографічного обстеження, яка включає функціональну, структурну, інформаційну та математичні моделі шляхом формалізації етапів: введення діагностичних даних та попередня обробка мамограм з урахуванням особливостей їхнього відображення на слабоконтрастних напівтонових зображеннях молочної залози; фрактальна обробка цифрових мамограм з метою формування системи діагностичних ознак; розробка діагностичного вирішального правила формування комп’ютерного діагнозу; вироблення рішення щодо проведення діагностико-лікувального процесу, що дозволило застосувати формальні методи реалізації відмічених етапів; – набув подальший розвиток метод виділення та класифікації анатомічних та патологічних структур на цифрових маммограмах, включаючи внутрішньопротокові утворення та мікрокальцинати шляхом розрахунку їх фрактальної розмірності, що дозволило сформувати вектор діагностичних ознак для постановки комп’ютерного діагнозу; – вперше розроблено комбіноване діагностичне вирішальне правило на основі модифікації методу порівняння з еталоном шляхом внесення експертної інформації щодо структури симптомокомплексів при обчисленні координат прототипів класів, яке дозволяє врахувати як об’єктивну ймовірністну складову, так і суб’єктивну складову процесу постановки діагнозу, яка є формалізацією експертної оцінки структури симптомокомплексу вказаного захворювання. Запропоновано варіанти спільного використання його складових (колектив вирішальних правил, зважування та підсумовування оцінок). Практичне значення отриманих результатів для галузі інформаційних технологій полягає в тому, що розроблені в дисертаційній роботі методи фрактальної обробки цифрових мамограм слугують науково-методичною основою для розробки відповідного інформаційного, алгоритмічного та програмного забезпечення. Розроблена комп’ютерна система, яка забезпечує підтримку прийняття рішення при класифікації цифрових мамограм на предмет наявності/відсутності патологічних структур з метою подальшої діагностики. Результати дисертаційної роботи впроваджені у навчальний процес НТУ “ХПІ” на кафедрі “Комп’ютерна інженерія та програмування” при вивченні дисциплін «Обробка сигналів та зображень», «Проектування комп'ютерних діагностичних систем», «Основи наукових досліджень» та в дипломному і курсовому проектуванні.