Дослідження сумісного використання математичної морфології та згорткових нейронних мереж для вирішення задачі розпізнавання цінників

Abstract

Робота присвячена вирішенню задачі розпізнавання зображень, що містять інформацію символьного типу, штрих коди, логотипи, або інші знаки. Прикладом таких зображень є цінники в торговельних центрах, флаєра, запрошення, білети на різні заходи. Інформація на таких зображеннях має різний тип і її розпізнавання потребує відмінних підходів. В роботі розглядалось питання розпізнавання цінників в торговельних мережах. Для розпізнавання елементів зображення суттєву роль відіграє точність їх детектування. Було досліджено поєднання класичних методів аналізу зображень та нейромережевого підходу. Особливу увагу було приділено дослідженню у порівняльному аспекті детектування об’єктів методами морфології та шляхом обробки згортковою нейронною мережею. Дослідження показали, що морфологія дає значно нижчу якість детектування ніж нейронна мережа, але у декілька разів перевищує її у швидкодії. Оскільки швидкодія має велике значення для реалізації алгоритмів на мобільних пристроях, до морфології була додана обробка додатковими фільтрами та нормалізація геометричних спотворень, що суттєво поліпшило точність детектування та подальшого розпізнавання. За результатами досліджень питань детектування та розпізнавання штрих коду і символьної інформації, що присутня на цінниках, зроблено висновки щодо обрання підходів та технологій для вирішення цих задач, розроблено алгоритм та на його основі застосунок для розпізнавання цінників різних торговельних мереж. Також була розроблена мобільна версія застосунку. Алгоритм побудовано таким чином, що першим кроком є детектування опорного елементу, наприклад, штрих коду, далі відносно опорного елементу відбувається детектування інших елементів цінника. Штрих код детектується за допомогою математичної морфології та методів математичної статистики, яка використовується для підвищення точності алгоритму, або за допомогою згорткових нейронних мереж. Для детектування ціни та назви товару використовується згорткова нейронна мережа CRAFT, що вміє обробляти зображеннями низької якості. Знайдені назва та ціна нормалізуються для усунення геометричних спотворень та передаються для розпізнавання бібліотеці Tesseract. Ця бібліотека працює з багатьма мовами та знаходиться у відкритому доступі. Застосунок для розпізнавання цінників був створений мовою С++ з використанням бібліотек OpenCV, ZXing, Libtorch, Tesseract.