Efficiency of supplementary outputs in siamese neural networks

Abstract

In the world of image analysis, effectively handling large image datasets is a complex challenge that requires using deep neural networks. Siamese neural networks, known for their twin-like structure, offer an effective solution to image comparison tasks, especially when data volume is limited. This research explores the possibility of enhancing these models by adding supplementary outputs that improve classification and help find specific data features. The article shows the results of two experiments using the Fashion MNIST and PlantVillage datasets, incorporating additional classification, regression, and combined output strategies with various weight loss configurations. The results from the experiments show that for simpler datasets, the introduction of supplementary outputs leads to a decrease in model accuracy. Conversely, for more complex datasets, optimal accuracy was achieved through the simultaneous integration of regression and classification supplementary outputs. It should be noted that the observed increase in accuracy is relatively marginal and does not guarantee a substantial impact on the overall accuracy of the model.

У галузі комп'ютерного зору ефективна обробка великої кількості зображень є комплексною задачею, яка вимагає використання глибоких нейронних мереж. Сіамські нейронні мережі, відомі своєю дзеркальною структурою, пропонують ефективне вирішення задач порівняння зображень, особливо обмеженого об'єму даних. У цьому дослідженні розглядається можливість покращення цих моделей шляхом додавання допоміжних виходів, які поліпшують точність класифікації і виявлення конкретних особливостей даних. В статті розглядається результати двох експериментів з використанням датасетів Fashion MNIST і PlantVillage, з включенням додаткової класифікації, регресії та комбінованих стратегій виходу з різними конфігураціями втрати ваги. Результати експериментів продемонстрували, що для простіших датасетів введення додаткових вихідних даних призводить до зниження точності моделі. І навпаки, для складніших датасетів оптимальна точність була досягнута за рахунок одночасної інтеграції додаткових виходів з регресією та класифікацією. Слід зазначити, що отримане підвищення точності є відносно незначним і не гарантує суттєвий вплив на загальну точність моделі.