Usage of Mask R-CNN for automatic license plate recognition

Abstract

The subject of study is the creation process of an artificial intelligence system for automatic license plate detection. The goal is to achieve high license plate recognition accuracy on large camera angles with character extraction. The tasks are to study existing license plate recognition technics and to create an artificial intelligence system that works on big shooting camera angles with the help of modern machine learning solution – deep learning. As part of the research, both hardware and software-based solutions were studied and developed. For testing purposes, different datasets and competing systems were used. Main research methods are experiment, literature analysis and case study for hardware systems. As a result of analysis of modern methods, Mask R-CNN algorithm was chosen due to high accuracy. Conclusions. Problem statement was declared; solution methods were listed and characterized; main algorithm was chosen and mathematical background was presented. As part of the development procedure, accurate automatic license plate system was presented and implemented in different hardware environments. Comparison of the network with existing competitive systems was made. Different object detection characteristics, such as Recall, Precision and F1-Score, were calculated. The acquired results show that developed system on Mask R-CNN algorithm process images with high accuracy on large camera shooting angles.

Предметом дослідження є процес створення системи штучного інтелекту для автоматичного визначення номерних знаків. Мета полягає в тому, щоб досягти високої точності розпізнавання номерних знаків під великими кутами камери з виділенням символів. Завдання полягають у дослідженні існуючих технологій розпізнавання номерних знаків і створенні системи штучного інтелекту, яка працює на великих ракурсах зйомки за допомогою сучасного рішення машинного навчання – глибокого навчання. У рамках дослідження були вивчені та розроблені як апаратні, так і програмні рішення. Для цілей тестування використовувалися різні набори даних і конкуруючі системи. Основними методами дослідження є експеримент, аналіз літератури та тематичні дослідження апаратних систем. В результаті аналізу сучасних методів було обрано алгоритм Mask R-CNN завдяки високій точності. В роботі проведено постановку проблеми; перераховано та охарактеризовано методи її вирішення; було обрано основний алгоритм і представлено математичне підґрунтя. У рамках процедури розробки була представлена точна автоматична система визначення номерних знаків, яка реалізована в різних апаратних середовищах. Проведено порівняння запропонованої мережі з існуючими конкурентними системами. Були розраховані різні характеристики виявлення об’єктів, такі як Recall, Precision і F1-Score. Отримані результати показують, що розроблена система на алгоритмі Mask R-CNN з високою точністю обробляє зображення під великими кутами зйомки камерою.