Разработка методов удаления дефектов на изображениях энергообъектов, полученных в процессе дистанционного мониторинга с помощью БПЛА

Abstract

Метою статті є розробка та експериментальне дослідження методів видалення дефектів на зображеннях, отриманих в результаті дистанційного моніторингу об'єктів енергетичної інфраструктури за допомогою БПЛА, викликаного порядковим переносом зображення з матриці камери в пристрій зберігання. За час зйомки кадру об'єкт встигає змінити місце розташування, що обумовлено характером руху БПЛА, і в результаті ділянки одного кадру відображають різні моменти часу. Таке запізнення отримання даних з матриці щодо руху в кадрі призводить до появи добре помітних геометричних спотворень об'єктів. Камери з порядковим переносом, мають невисоку вартість, таким чином, їх застосування дозволяє істотно знизити вартість системи моніторингу, але вимагає розробки методів обробки отриманих зображень, які б мінімізували геометричні спотворення. При проведенні досліджень використовувалися методи кореляційного оцінювання відносного зсуву послідовностей що представляють собою рядки зображення, методи цифрової нелінійної фільтрації. Було проведено математичне моделювання в пакеті Scilab. Запропоновані і програмно реалізовані методи придушення ефекту порядкового перенесення, які не потребують аналізу послідовності кадрів і дозволяють усувати спотворення, викликані як нахилом відеокамери, так і її вібрацією. При цьому не потрібне проведення оцінки частоти коливань камери або виділення певних областей на зображенні. Використання запропонова них методів дозволяє створити програмне забезпечення для бортового комп'ютера БПЛА, яке може усувати артефакти на зображеннях, отриманих в процесі моніторингу в реальному масштабі часу. Що дозволяє спростити автоматичне виділення контурів і об'єктів на зображенні, а також визначення кількісних і якісних характеристик об'єктів за результатами фото- і відео-зйомки. Отримано розрахункові співвідношення, що дозволяють визначити передбачувані значення зсуву рядків зображення, викликаного ефектом порядкового перенесення. Крім зображень у видимому спе ктрі, запропоновані методи можуть бути використані для обробки термограм. Проаналізовано методи видалення спотворень на зображеннях та показано, що запропоновані методи дозволяють практично повністю усунути артефакти на зображенні, викликані ефектом порядкового перенесення.The purpose of the article is to develop and experimentally study methods of artifacts removal on images obtained as a result of remote monitoring of power facilities by UAVs caused by line-by-line transfer of an image from the camera to the storage device. During the capturing of a frame, the objects change position, which is due to the nature of the UAV's move ment, and as a result, parts of a frame display different points in time. Such a delay in obtaining data from the camera relative to motion in the frame leads to the appearance of well-noticeable geometric distortions of objects. Cameras with line-by-line transfer are low cost, thus, their use significantly reduce the cost of the monitoring system, but requires methods for process ing the obtained images that would minimize geometric distortions known as rolling shutter effect. During the research, methods of correlation estimation of the relative shift of sequences representing image lines, and digital nonlinear filtering were used. Mathematical modeling was carried out in the Scilab package. Methods for suppressing the rolling shutter effect, which do not require analysis of the sequence of frames, have been proposed and implemented in software. Thus, it makes possible to eliminate distortions caused by both the inclination of the video camera and its vibration. This does not require an assessment of the camera frequency or selection of certain areas in an image. Proposed methods can be implemented in for UAV on-board computer that can eliminate artifacts on images acquired during monitoring in real time. This enables to sim plify the automatic selection of contours and objects on an image, as well as the estimation of quantitative and qualitative characteristics of objects based on the results of photo and video recording. Obtained the calculated relationships, which al low determining the expected values of the line shift of an image caused by the rolling shutter effect. In addition to images in the visible spectrum, the proposed methods can be used to process thermal images. The analyses show that the proposed methods can almost completely eliminate image artifacts caused by the rolling shutter effect.