Інтелектуальний аналіз оптичних зображень на основі гібридного підходу

Abstract

У статті розглянуто інтелектуальний підхід до аналізу оптичних зображень у реальному часі, який базується на поєднанні методів розпізнавання обличчя із використанням глибокого навчання та класичних алгоритмів комп’ютерного зору для їх відстеження. Запропоновано систему аналізу відеопотоку з гібридним підходом, яка інтегрує попереднє розпізнавання обличчя на основі векторних ознак (вбудовувань), згенерованих за допомогою нейронної мережі Facenet, та трекінг обличь за допомогою алгоритму CSRT (Channel and Spatial Reliability Tracker), що входить до складу бібліотеки OpenCV. Реалізована система дозволяє розпізнавати та автоматично ідентифікувати користувачів на відеопотоці з камери, зберігати нові обличчя у базі даних, а також ефективно відстежувати ідентифіковані обличчя протягом наступних кадрів. Алгоритм обробки кадрів реалізовано у багатопоточному режимі з використанням черг (queue) та механізмів синхронізації потоків, що дозволяє забезпечити стабільну роботу в реальному часі. Для розпізнавання невідомих осіб передбачено автоматичне створення унікального ID та додавання їхніх ознак до загальної бази вбудовувань. The article considers an intelligent approach to real-time analysis of optical images based on a combination of face recognition methods using deep learning and classical computer vision algorithms for tracking them. A system with hybrid approach is proposed that integrates preliminary face recognition based on vector features (embeddings) generated by the FaceNet neural network and face tracking using the CSRT (Channel and Spatial Reliability Tracker) algorithm, which is part of the OpenCV library. The implemented system allows to recognise and automatically identify users in a video stream from a webcam, store new faces in the database, and effectively track identified faces over subsequent frames. The frame processing algorithm is implemented in a multi-threaded mode using queues and thread synchronisation mechanisms to ensure stable operation in real time. To recognise unknown persons, a unique ID is automatically created and their features are added to the common database of emblems. Particular attention is paid to assessing the spatial overlap of detection zones to avoid duplication of trackers when several people are present in the frame at the same time. In addition, the system is implemented as a web service based on Flask, which provides convenient integration with other software modules and the possibility of remote monitoring via a web interface.