Tools and methods for explosive objects detection using artificial intelligence and computer vision

Abstract

Relevance. The problem of detecting explosive ordnance remains one of the most acute in the modern world and in Ukraine, in particular due to the growing number of armed conflicts and contamination of territories with landmines and unexploded ordnance. Traditional methods of demining are time-consuming, dangerous, time-consuming and not always effective, necessitating the introduction of innovative technologies based on artificial intelligence and computer vision. Object of research. The object of research is intelligent tools and methods for detecting explosive objects, in particular the proposed prototype combining deep learning (YOLOv8) and robotic platforms for real time. Purpose of the article. The article is aimed at analyzing existing solutions, developing and experimentally testing an efficient, portable system for automated mine detection using lightweight deep learning models capable of operating on mobile devices in a variety of environmental conditions. Research results. Two specialized datasets covering different types of mines (POM-2, POM-3, PMA-2 "starfish") and various environmental conditions, soil types, weather factors and the presence of obstacles were used, modernized and annotated in the work. To speed up the training of the AI models, distributed and parallel computing are applied. The YOLOv8-nano and YOLOv8-small models demonstrated high precision (up to 98.8%) and recall for major landmine classes, which was confirmed by the analysis of confusion matrices and key metrics. The focus is on the development and research of a prototype system for automated landmine detection based on deep learning and computer vision, integrated with robotic platforms and unmanned aerial vehicles. The system provides real-time operation (2-2.6 frames per second) on mobile devices, has a simple architecture and the ability to integrate with robotic and unmanned platforms. Conclusions. The proposed system is promising for humanitarian demining due to its high accuracy, mobility and ease of deployment. At the same time, the results of the experiments indicate the need for further improvement of models to increase resistance to changes in environmental conditions and reduce the number of false positives. The implementation of such solutions will contribute to increasing the efficiency and safety of demining in post-conflict regions. У цьому дослідженні представлено детальний аналіз інструментів і методів, що використовуються, включно зі стратегіями збору даних, вибором моделі та архітектурою системи. Завдяки використанню технологій штучного інтелекту в режимі реального часу на роботизованих і повітряних платформах можливе досягнення прогресу в автоматизованому виявленні вибухонебезпечних предметів, що знижує ризики ручного розмінування та підвищує безпеку в уражених регіонах у всьому світі. Актуальність. Проблема виявлення вибухонебезпечних предметів залишається однією з найгостріших у сучасному світі та в Україні зокрема через зростання кількості збройних конфліктів і забруднення територій мінами та нерозірваними боєприпасами. Традиційні методи розмінування є трудомісткими, небезпечними, вимагають багато часу та не завжди є ефективними, що зумовлює необхідність впровадження інноваційних технологій на основі штучного інтелекту та комп’ютерного бачення. Об’єкт дослідження. Об’єктом дослідження є інтелектуальні інструменти та методи виявлення вибухонебезпечних предметів, зокрема пропонований прототип, що поєднує глибоке навчання (YOLOv8) та роботизовані платформи для реального часу. Мета статті. Метою статті є аналіз існуючих рішень, розробка та експериментальна перевірка ефективної, портативної системи для автоматизованого виявлення мін із використанням легких моделей глибокого навчання, здатної працювати на мобільних пристроях у різноманітних умовах середовища. Результати дослідження. У роботі використано, модернізовано та анотовано два спеціалізовані датасети, що охоплюють різні типи мін (POM-2, POM-3, PMA-2 “starfish”) та різноманітні умови навколишнього середовища, типи ґрунтів, погодні фактори та наявність перешкод. Для пришвидшення тренування моделі штучного інтелекту застосовано розподілені та паралельні обчислення. Моделі YOLOv8-nano та YOLOv8-small продемонстрували високу точність (precision до 98,8%) і recall для основних класів мін, що підтверджено аналізом матриць плутанини та ключових метрик. Основна увага приділяється розробці та дослідженню прототипу системи для автоматизованого виявлення мін на основі глибокого навчання та комп’ютерного бачення, інтегрованої з роботизованими платформами та безпілотними літальними апаратами. Система забезпечує роботу у реальному часі (2–2,6 кадрів/с) на мобільних пристроях, має просту архітектуру та можливість інтеграції з роботизованими і безпілотними платформами. Висновки. Запропонована система є перспективною для гуманітарного розмінування завдяки високій точності, мобільності та простоті розгортання. Водночас результати експериментів вказують на необхідність подальшого вдосконалення моделей для підвищення стійкості до зміни умов середовища та зменшення кількості хибнопозитивних спрацювань. Впровадження таких рішень сприятиме підвищенню ефективності та безпеки розмінування у постконфліктних регіонах.