Разработка методовудаления дефектов на изображениях энергообъектов, полученных в процессе дистанционного мониторинга с помощью БПЛА

Abstract

Целью статьи является разработка и экспериментальное исследование методов удаления дефектов на изображениях, полученных в результате дистанционного мониторинга энергообъектов с помощью БПЛА, вызванного построчным переносом изображения с матрицы камеры в устройство хранения. При проведении исследований использовались методы корреляционного оценивания относительного сдвига последовательностей, методы цифровой нелинейной фильтрации, математическое моделирование в пакете Scilab. Предложены и программно реализованы методы подавления артефактов вызванных эффектомпострочного переноса, не требующие анализа последовательности кадров и позволяющие устранять искажения, вызванные как наклоном камеры, так и ее вибрацией. Использование предложен-ных методов позволяет создать программное обеспечение для бортового компьютера БПЛА, которое может устранять артефакты на изображениях, полученных в процессе мониторинга в реальном масштабе времени. Получены расчетные соотношения, позволяющие определить предполагаемые значения сдвига строк изображения, вызванного эффектом построчного переноса, предложены и программно реализованы методы удаления искажений на изображениях энергообъектов, получаемых в процессе дистанционного мониторинга с помощью БПЛА.

The purpose of the article is to develop and experimentally study methods of artifacts removal on images obtained as a result of remote monitoring of power facilities by UAVs caused by line-by-line transfer of an image from the camera to the storage device. During the capturing of a frame, the objects change position, which is due to the nature of the UAV's movement, and as a result, parts of a frame display different points in time. Such a delay in obtaining data from the camera relative to motion in the frame leads to the appearance of well-noticeable geometric distortions of objects. Cameras with line-by-line transfer are low cost, thus, their use significantly reduce the cost of the monitoring system, but requires methods for processing the obtained images that would minimize geometric distortions known as rolling shutter effect. During the research, methods of correlation estimation of the relative shift of sequences representing image lines, and digital nonlinear filtering were used. Mathematical modeling was carried out in the Scilab package. Methods for suppressing the rolling shutter effect, which do not require analysis of the sequence of frames, have been proposed and implemented in software. Thus, it makes possible to eliminate distortions caused by both the inclination of the video camera and its vibration. This does not require an assessment of the camera frequency or selection of certain areas in an image. Proposed methods can be implemented in for UAV on-board computer that can eliminate artifacts on images acquired during monitoring in real time. This enables to simplify the automatic selection of contours and objects on an image, as well as the estimation of quantitative and qualitative characteristics of objects based on the results of photo and video recording. Obtained the calculated relationships, which allow determining the expected values of the line shift of an image caused by the rolling shutter effect. In addition to ima ges in the visible spectrum, the proposed methods can be used to process thermal images. The analyses show that the proposed methods can almost completely eliminate image artifacts caused by the rolling shutter effect.