Context-adaptive method for object detection in video streams

Abstract

The work is devoted to the development of a context-adaptive method for object detection in video streams that dynamically responds to environmental conditions. The relevance of the topic is explained by the need to increase the reliability of assistive systems for visually impaired people and other real-world applications, where variable weather and lighting conditions significantly reduce detection accuracy. The subject of the article is the study of multimodal fusion of acoustic, video, and LiDAR data for object recognition tasks. The goal of this paper is to propose and experimentally validate a method of adaptive preprocessing activation triggered by acoustic artifact classification. The task of this work is to analyze state-of-the-art preprocessing approaches (derain, defog, low-light enhancement), select appropriate acoustic classification models (e.g., PANNs, YAMNet), integrate LiDAR for spatial complementarity, and evaluate the impact of different preprocessing chains on detection metrics. Methods such as comparative analysis, experimental benchmarking of YOLO and DETR models, acoustic signal classification, and multimodal data fusion were applied. The results of the work include a confirmed increase in accuracy (mAP, Precision, Recall, IoU) and stability of detection under adverse conditions when using adaptive preprocessing pipelines, with YOLOv9m and YOLOv10m models showing the most balanced performance. Further research will focus on extending the model with full LiDAR integration, optimizing computational efficiency for mobile/embedded platforms, and scaling the approach for broader classes of environmental challenges such as fog, snow, and urban noise.Робота присвячена розробці контекстно-адаптивного методу детекції об’єктів у відеопотоках, який динамічно реагує на умови навколишнього середовища. Актуальність теми пояснюється необхідністю підвищення надійності асистивних систем для людей із порушеннями зору та інших прикладних сфер, де змінні погодні та світлові умови суттєво знижують точність розпізнавання. Предметом є дослідження мультимодальної ф’южн-інтеграції акустичних, відео- та LiDAR-даних для задач розпізнавання об’єктів. Метою роботи є пропозиція та експериментальна валідація методу адаптивної активації попередньої обробки, що ініціюється класифікацією акустичних артефактів. Завданнями дослідження є аналіз сучасних підходів до попередньої обробки (дерейн, дефог, покращення зображень при низькому освітленні), вибір моделей акустичної класифікації (наприклад, PANNs, YAMNet), інтеграція LiDAR для просторової комплементарності та оцінка впливу різних ланцюжків препроцесінгу на метрики детекції. Використано методи порівняльного аналізу, експериментального тестування моделей YOLO та DETR, класифікації акустичних сигналів і мультимодальної ф’южнінтеграції даних. Результати роботи включають підтверджене підвищення точності (mAP, Precision, Recall, IoU) та стабільності детекції в несприятливих умовах при використанні адаптивних пайплайнів попередньої обробки, причому моделі YOLOv9m і YOLOv10m продемонстрували найбільш збалансовані показники. Подальші дослідження будуть спрямовані на повну інтеграцію LiDAR, оптимізацію обчислювальної ефективності для мобільних та вбудованих платформ і масштабування підходу для ширшого класу середовищних викликів, таких як туман, сніг та міський шум.