Апаратні і програмні засоби адаптивної нелінійної цифрової фільтрації на основі детекторів шуму

Abstract

Дисертація на здобуття наукового ступеня кандидата технічних наук (доктора філософії) за спеціальністю 05.13.05 – Комп'ютерні системи та компоненти (12 – Інформаційні технології). – Національний технічний університет «Харківський політехнічний інститут», Міністерство освіти і науки України, Харків, 2021. Дисертаційна робота присвячена вирішенню важливої науково-технічної задачі, яка полягає в розробці методів та засобів адаптивної нелінійної цифрової фільтрації зображень. Об'єкт дослідження – процеси та принципи цифрової фільтрації зображень. Предмет дослідження – цифрові фільтри, що поліпшують якість= зображень, уражених імпульсним шумом, апаратна та програмна реалізація адаптивних нелінійних цифрових фільтрів на основі детекторів шуму. У першому розділі "Системи комп'ютерного зору" проаналізовано загальну структуру сучасних систем комп’ютерного зору. Показано основні етапи обробки даних в системі. Визначено основні тенденції розвитку та існуючі потреби забезпечення якості та швидкості систем такого роду. Розглянуто сучасні світлочутливі датчики та основні види впливів на данні зображень в типовій системі, а також розповсюджені математичні моделі шумів, що погіршують якість вихідних показників систем управління та обробки даних. Проаналізовано наявні методи придушення шумів, зокрема лінійні та нелінійні просторові фільтри, адаптивні фільтри, фільтри з детекторами шуму. Проведено аналіз та класифікація популярних методів детектування шуму, зокрема алгоритму адаптивного нелінійного зваженого медіанного фільтру, та виявлено недоліки, що заважають реалізації фільтра на більшості апаратних платформ. У другому розділі "Оптимізація і моделювання роботи ASWM фільтра" розглянуто методи апаратної реалізації адаптивного нелінійного зваженого фільтру. Проведено аналіз алгоритму та виділені складові під-модулі фільтру. Реалізовані під-модулі фільтру із розрахунками з фіксованою точкою, зокрема: модуль поділу чисел з фіксованої точкою, модуль знаходження квадратного кореня, модуль знаходження медіани за допомогою сортуючої мережі, модуль знаходження зваженого середнього, модуль розрахунку вагів, модуль знаходження середньоквадратичного відхилення. Отримано кількісні характеристики апаратних витрат на реалізацію. Виконано дослідження програмної моделі фільтру на мові Python задля усунення одного з найбільших недоліків – циклу оцінки вагів недетермінованої довжини. Запропоновано поліпшений з точки зору співвідношення "продуктивність фільтру/апаратні витрати на реалізацію" алгоритм адаптивного нелінійного зваженого фільтра з урахуванням апаратних особливостей ПЛІС та вузьких місць фільтра що були виявлені раніше. Виконано оцінку апаратних ресурсів ПЛІС та продуктивності фільтра у різних конфігураціях, що впливають на необхідну кількість логічних вентилів ПЛІС та якість роботи системи. Наведено розрахунок кількості фреймів на секунду при обробці монохромного зображення FullHD для тактових частот системи 50, 100 та 200 МГц. У третьому розділі "Модифікований медіанний фільтр з пост фільтраційним прийняттям рішення" проведено дослідження статистичних характеристик детектору шуму ASWM фільтра. За допомогою програмної моделі ASWM фільтра виконано аналіз роботи фільтру на предмет значень порогів і зашумлених пікселів, а також дослідження залежності медіанного значення, значень вхідного пікселя та шуму одне від одного. Таким чином, були промодельовані ситуації вірного детектування пікселя як шуму, а також помилкового детектування, в разі якого, згідно з алгоритмом ASWM фільтрації виконується зайва операція знаходження медіани і як наслідок розмиття/згладжування деталей вихідного зображення. Отримано розподіл абсолютного відхилення шуму від медіанного значення вікна фільтра для різної щільності зашумлюючого впливу. Запропоновано алгоритм адаптивного нелінійного фільтра цифрових зображень з пост-фільтраційним прийняттям рішення про зашумлення, який дозволяє зменшити ефекти пов’язані з втратою частини даних внаслідок фільтрації пікселів, що не були піддані впливу шуму та має структуру придатну до паралельної реалізації на більшості сучасних архітектур процесорів з векторним розширенням та ПЛІС. У четвертому розділі «Моделювання фільтра з пост-фільтраційним прийняттям рішення» розглянуто переваги і недоліки використання мов проектування цифрових схем VHDL та Verilog у порівнянні з сучасними мовами проектування високого рівня. Сформульовано перелік переваг програмного пакету MyHDL, який використовувався у даній роботі та дозволив суттєво знизити складність тестування запропонованої архітектури системи. За допомогою пакету MyHDL реалізовано програмний продукт мовою Python, що дозволяє згенерувати VHDL чи Verilog опис фільтру з пост- фільтраційним прийняттям рішення для подальшого синтезу на ПЛІС. Виконано верифікацію та синтез фільтру на ПЛІС Intel MAX 10, Cyclone V, Cyclone IV E, Cyclone IV GX та Cyclone 10. Отримано часові діаграми роботи кожного з блоків ASWM фільтра та фільтра з пост-фільтраційним прийняттям рішення. Представлено синтезовані логічні схеми блоків та фільтрів загалом, що доводять повністю конвеєрну реалізацію фільтру, не високу довжину фільтруючої системи фільтра з пост-фільтраційним прийняттям рішення в тактах, а також суттєво нижчі апаратні витрати на реалізацію фільтра з пост-фільтраційним прийняттям рішення у порівнянні із ASWM фільтром. Проведено аналіз продуктивності у порівнянні з ASWM фільтра, що вважаться одним з лідерів з точки зору якості роботи. Представлено метод реалізації запропонованого фільтру на процесорній архітектурі з векторним розширенням ARM NEON. Зокрема розглянуто метод реалізації загрузки та збереження даних в пам’ять та реалізацію сортуючої мережі за допомогою векторних інструкцій. Проведено дослідження шумопригнічуючих можливостей запропонованого фільтра за допомогою метрик PSRN та SSIM для щільності імпульсного шуму від 5 до 90%, що доводять високу якість роботи запропонованого алгоритму. Отримані результати дають змогу побудови ефективної з точки зору співвідношення продуктивність фільтру/апаратні витрати на реалізацію системи видалення імпульсного шуму з зображення, що може працювати в реальному часі, на сучасних процесорних архітектурах з векторними інструкціями та ПЛІС. У якості напрямів подальшого розвитку потрібно зазначити дослідження методів розпаралелювання запропонованого алгоритму адаптивної нелінійної фільтрації шляхом побудови декількох обчислювальних конвеєрів, а також пошук методів розрахунку порогового значення абсолютного відхилення яркості пікселя від медіанного значення вікна, що можуть бути ефективно реалізовані на сучасних апаратних платформах.Dissertation for the degree candidate of technical sciences (philosophy doctor) in the specialty of 05.13.05 – Computer systems and components (12 – Information technologies). – National technical university "Kharkiv Polytechnic Institute", Ministry of Education and Science of Ukraine, Kharkiv, 2021. The dissertation is devoted to the solution of an important scientific and technical problem, which lies in the development of methods and tools of adaptive nonlinear digital image filtering. The research object – the processes and principles of digital image filtering. The research subject – digital filters that improve the quality of images affected by impulse noise, hardware and software implementation of adaptive nonlinear digital filters based on noise detectors. In the first chapter, "Computer Vision Systems" the general structure of modern computer vision systems was analyzed. The main stages of data processing in the system are shown. The main development trends and existing needs to ensure the quality and speed of systems of this kind are identified. Modern light-sensitive sensors and the main types of influences on image data in a typical system are considered, as well as common mathematical models of noise that degrade the quality of the output of control and data processing systems. The available methods of noise suppression are analyzed, in particular linear and nonlinear spatial filters, adaptive filters, filters with noise detectors. The analysis and classification of popular methods of noise detection, in particular the algorithm of adaptive nonlinear weighted median filter, is carried out, and the shortcomings interfering with the implementation of the filter on most hardware platforms are revealed. In the second section "Optimization and modeling of the ASWM filter" the methods of the hardware implementation of the adaptive nonlinear weighted filter are discussed. The analysis of the algorithm is performed and the components of the filter sub-modules are selected. Implemented sub-modules of the filter with calculations with a fixed point, in particular: module for dividing numbers with a fixed point, the square root computation module, the module for finding the median using a sorting network, the module for finding the weighted average, the module for calculating weights, the module for finding the standard deviation. Quantitative characteristics of hardware implementation costs are obtained. A study of the software model of the filter in Python was performed to eliminate one of the biggest bottlenecks - the cycle of estimation of scales of indeterminate length. Suggested an improvement from the point of view of the ratio "filter performance/hardware implementation costs" algorithm of adaptive nonlinear weighted filter, taking into account the hardware features of FPGA and filter bottlenecks that were previously identified. The evaluation of FPGA hardware resources and filter performance in different configurations, which affect the required number of FPGA logic cells and the quality of system operation, is performed. The estimation of the number of frames per second when processing a monochrome FullHD image for system clock speeds of 50, 100 and 200 MHz is given. In the third section "Modified median filter with post-filtration decisionmaking" a study of the statistical characteristics of the noise detector ASWM filter is given. Using the ASWM filter software model, the filter operation was analyzed for threshold values and noisy pixels, as well as the dependence of the median value, input pixel values and noise from each other. Thus, situations of correct detection of a pixel as noise, and also erroneous detection in which case, according to ASWM filtering algorithm the superfluous operation of the finding of a median and as a result of blurring/smoothing of details of the initial image were modeled. The distribution of the absolute deviation of the noise from the median value of the filter window for different noise densities is obtained. An algorithm for adaptive nonlinear digital image filter with post-filtering noise decision, which reduces the effects associated with the loss of data due to filtering of pixels that have not been exposed to noise and has a structure suitable for parallel implementation on most modern processors architectures with vector extension and FPGA's is proposed. The fourth section "Modeling a filter with post-filter decision-making" discusses the advantages and disadvantages of using digital design languages VHDL and Verilog in comparison with modern high-level design languages. The list of advantages of the MyHDL software package, which was used in this work and allowed to significantly reduce the complexity of testing the proposed system architecture, is formulated. The MyHDL package implements a software product in Python, which allows generating a VHDL or Verilog design of the filter with postfiltration decision making for further synthesis on FPGA. Verification and synthesis of the filter on FPGA Intel MAX 10, Cyclone V, Cyclone IV E, Cyclone IV GX and Cyclone 10 were performed. The synthesized logic circuits of blocks and filters in general are presented, which prove the completely pipelined implementation of the filter, short filtering length in cycles of the filter with post-filtration decisionmaking, and also significantly lower hardware costs for implementation of the filter with post-filtration decision-making in comparison with ASWM. filter. The analysis of the performance in comparison with the ASWM filter which is considered as one of the leaders from the point of view of the quality of work is carried out. The method of realization of the offered filter on processor architecture with vector extension ARM NEON is presented. In particular, the method of loading and storing data in memory and implementing a sorting network using vector instructions is considered. The study of noise-suppressing capabilities of the proposed filter using PSRN and SSIM metrics for impulse noise density from 5 to 90% was performed and proves the high quality of the proposed algorithm. The obtained results make it possible to build an efficient in terms of the ratio of filter performance/hardware costs for the implementation of a system for removing pulsed noise from the image, which can work in real-time, on modern processor architectures with vector instructions and FPGA. As possible directions for further development, it is necessary to indicate the research of methods of parallelization of the offered algorithm of adaptive nonlinear filtering by the construction of several computing pipelines, and also search of methods of calculation of threshold value of the absolute deviation of the brightness of a pixel from the median value of a window which can be effectively implemented on modern hardware platforms.