Дослідження сумісного використання математичної морфології та згорткових нейронних мереж для вирішення задачі розпізнавання цінників

Abstract

Робота присвячена вирішенню задачі розпізнавання зображень, що містять інформацію символьного типу, штрих коди, логотипи, або інші знаки. Прикладом таких зображень є цінники в торговельних центрах, флаєра, запрошення, білети на різні заходи. Інформація на таких зображеннях має різний тип і її розпізнавання потребує відмінних підходів. В роботі розглядалось питання розпізнавання цінників в торговельних мережах. Для розпізнавання елементів зображення суттєву роль відіграє точність їх детектування. Було досліджено поєднання класичних методів аналізу зображень та нейромережевого підходу. Особливу увагу було приділено дослідженню у порівняльному аспекті детектування об’єктів методами морфології та шляхом обробки згортковою нейронною мережею. Дослідження показали, що морфологія дає значно нижчу якість детектування ніж нейронна мережа, але у декілька разів перевищує її у швидкодії. Оскільки швидкодія має велике значення для реалізації алгоритмів на мобільних пристроях, до морфології була додана обробка додатковими фільтрами та нормалізація геометричних спотворень, що суттєво поліпшило точність детектування та подальшого розпізнавання. За результатами досліджень питань детектування та розпізнавання штрих коду і символьної інформації, що присутня на цінниках, зроблено висновки щодо обрання підходів та технологій для вирішення цих задач, розроблено алгоритм та на його основі застосунок для розпізнавання цінників різних торговельних мереж. Також була розроблена мобільна версія застосунку. Алгоритм побудовано таким чином, що першим кроком є детектування опорного елементу, наприклад, штрих коду, далі відносно опорного елементу відбувається детектування інших елементів цінника. Штрих код детектується за допомогою математичної морфології та методів математичної статистики, яка використовується для підвищення точності алгоритму, або за допомогою згорткових нейронних мереж. Для детектування ціни та назви товару використовується згорткова нейронна мережа CRAFT, що вміє обробляти зображеннями низької якості. Знайдені назва та ціна нормалізуються для усунення геометричних спотворень та передаються для розпізнавання бібліотеці Tesseract. Ця бібліотека працює з багатьма мовами та знаходиться у відкритому доступі. Застосунок для розпізнавання цінників був створений мовою С++ з використанням бібліотек OpenCV, ZXing, Libtorch, Tesseract.

The work is devoted to solving the problem of recognizing images containing symbolic type information, barcodes, logos and other signs. Example of such images are price tags in shopping centers, flyers, invitations, tickets to various events. The information on such images is of a different type and its recognition requires various approaches. The work addressed the recognition of price tags in retail chains. The accuracy of object detection has a significant role for their recognition. A significant role for recognition of image elements has the accuracy of their detection. The combination of classical methods of image analysis and the neural network approach were investigated. Particular attention was paid to the study in the comparative aspect of the object detection by morphological method and by processing a convolutional neural network. Studies have shown that morphology yields a significantly lower detection quality than a neural network, but is several times faster than it. Since speed has a great importance for the implementation of algorithms on mobile devices, post-processing with additional filters and normalization of geometric distortions were added to the morphology, that significantly improved the accuracy of detection and subsequent recognition. Based on the research results of detection and recognition of barcodes and symbolic information presented on price tags, conclusions are drawn about choosing approaches and technologies for solving these problems, an algorithm has been developed and, on its basis, an application for recognizing price tags of various retail chains. A mobile version of the application has been developed also. The algorithm is constructed in such a way that the first step is the detection of the supporting element, for example, a barcode, then other price tag elements are detected relative to this supporting element. The barcode is detected with the methods based on mathematical morphology and mathematical statistics which were used to improve the accuracy of the algorithm, or convolutional neural networks. To detect prices and product names, the convolutional neural network CRAFT is exploited, which can process low-quality images. The found name and price are normalized to eliminate geometric distortions and transferred to the Tesseract library for recognition. This library works with many languages and is in the public access. The price tag recognition application was created in C ++ using the OpenCV, ZXing, Libtorch, Tesseract libraries.