Алгоритм поиска устойчивых соответствий пар ключевых точек на изображениях и картах глубины

Abstract

Развитие эффективных методов компьютерного зрения постоянно находится в центре исследований многих учёных, так как они дают возможность повысить скорость и эффективность решения задач в различных отраслях промышленности: картография, робототехника, системы виртуальной и дополненной реальности, системы автоматизированного проектирования. Значительную перспективу имеют современные исследования, методы и алгоритмы решения задач стереозрения, распознавания образов, в том числе те, которые работают в режиме реального времени. Одной из важных задач стереозрения является задача сопоставления карт глубины для получения трёхмерной модели сцены, но есть некоторые нерешенные вопросы процесса сопоставления карт глубин для крупномасштабных сцен окружающей среды, полученных беспилотными летательными аппаратами, а именно: низкое разрешение по глубине из-за большого расстоянию сцены от камеры, и проблема наличия шума вследствие дефектов камеры. Указанные проблемы затрудняют обнаружение ключевых точек на изображениях для их дальнейшего сопоставления. В представленной работе предлагается подход к определению ключевых точек на смежных картах глубин на основе поиска ключевых точек, находящихся в близких областях пространства параметров. Подход базируется на поиске множества ключевых точек в двух последовательных видеокадрах и нахождении среди них пар точек таких, что каждая точка пары соответствует одной и той же точке сцены на входном изображении. Соответствующие пары ключевых точек, которые локализованы детектором признаков, могут быть ложно-положительными. Предложенный алгоритм может устранить такие пары точек путём определения преобладающего направления движения ключевых точек в локальных участках изображения, а также алгоритм даёт возможность определения центра смещение точки обзора камеры, чем обеспечивает лучшую оценку положения съёмочного оборудования. Результаты работы реализованы в виде программного приложения и протестированы на видеоматериалах, полученных беспилотным летательным средством.

The development of effective computer vision methods resides at the center of many scholars, as they can increase the speed and efficiency of many tasks in various industries - cartography, robotics, in systems of virtual and additional reality, computer-aided design systems. Modern research, methods and algorithms of solving stereovision problems, image recognition, including those that work realtime, have significant perspective. One of the important tasks of the stereovision is the task of depth maps matching into a three-dimensional model of the scene, but there are some unresolved issues regarding the process of mapping depth maps of large-scale environmental scenes obtained by unmanned aerial vehicles namely: low resolution in depth due to a large distance from the scene to the camera and the noise problem because of camera defects. Depicted problems make harder the search of key points in images for their further registration. The approach for the determination of key points on adjacent depth maps based on the search for key points, which locate in close-range areas of the parameter space. The approach is based on a search of key points set from two sequential video frames and a search from that set of pairs of points, that every point from each pair match to the same point in the scene. The corresponding pairs of key points that are localized by the feature detector may be false-positive. The above algorithm can eliminate these pairs of points by determining the preferred direction of movement of key points in the local areas of the image, and also the algorithm makes it possible to determine the displacement center of the camera's point of view, which provides a better estimate of the camera pose estimation. The method is implemented as a program application and tested on video materials, obtained by an unmanned aerial vehicle.