Medoids as a packing of ORB image descriptors

Abstract

The aim of the research. The paper presents the research about the feasibility to use matching medoids obtained from the set of ORB descriptors instead matching the full set of binary descriptors for image classification problem. Research results. Different methods that include direct brute force medoids matching, grouping of medoids for separate classes, and grouping of descriptors followed by calculation of medoids amongst them were proposed. Numerical experiments were performed for all these methods in order to compare the classification accuracy and inference time. It has been shown that using of medoids allowed us to redistribute processing time in order to perform more calculations during preprocessing rather than during classification. According to modelling performed on the Leeds Butterly dataset matching images based on medoidscould have the same accuracy as matching of descriptors (0.69–0.88 for different number of features). Medoids requireadditional time for the calculation during preprocessing stage but classification time becomes faster: in our experiments we have obtained about 9–10 times faster classification and same 9–10 times increasing preprocessing timefor the models that have comparable accuracies. Finally, the efficiency of the proposed ideas was compared to the CNN trained and evaluated on the same data. As expected, CNN required much more preprocessing (training) time but the result is worth it: this approach provides the bestclassification accuracy and inference time.Conclusion.Medoids matching could have the same accuracy as direct descriptors matching,but the usage of medoids allows us to redistribute the overall modelingtime with the increasing preprocessing time and making inference faster. Мета дослідження. У статті представлено дослідження можливості використання співставлення медоїдів, отриманих із набору дескрипторів ORB, замість порівняння повного набору бінарних дескрипторів для задачі класифікації зображень. Результати дослідження. Було запропоновано різні методи, які включають пряме зіставлення медоїдів повним перебором,групування медоїдів для окремих класів і групування дескрипторівз наступним обчисленням медоїдів серед них. Чисельні експерименти були проведені для всіх цих методів, щоб порівняти точність та час класифікації. Було показано, що використання медоїдів дозволило перерозподілити час обробкитаким чином, щоб виконати більше обчислень під час попередньої обробки, а не під час класифікації. Відповідно до моделювання, виконаного на наборі даних Leeds Butterly, порівняння зображеньна основі медоїдів можемати таку ж точність, як і порівняння дескрипторів (0.69–0.88 для різноїкількості дескрипторів). Обчислення медоїдіввимагаєдодаткового часу на етапі попередньої обробки, але час класифікації стає швидшим: у наших експериментах ми отримали приблизно в 9-10 разів швидшу класифікацію та в 9-10 разів збільшили час попередньої обробки для моделей, які мають порівнянну точність. Нарешті, ефективність запропонованих ідей було порівняно з навченими CNN та оціненона тих самих даних. Як і очікувалося, CNN вимагало набагато більше часу на попередню обробку (навчання), але результат був того вартий: цей підхід забезпечує найкращіточністьта часкласифікації.Висновки. Зіставлення медоїдів може досягти таку саму точність, як і пряме зіставлення дескрипторів, але використання медоїдів дозволяє перерозподіляти загальнийчас моделювання збільшившичас попередньої обробки та прискоривши класифікацію.