Hybrid recommender for virtual art compositions with video sentiments analysis

Abstract

Topicality. Recent studies confirm the growing trend to implement emotional feedback and sentiment analysis to improve the performance of recommender systems. In this way, a deeper personalization and current emotional relevance of the user experience is ensured. The subject of study in the article is a hybrid recommender system with a component of video sentiment analysis. The purpose of the article is to investigate the possibilities of improving the effectiveness of the results of the hybrid recommender system of virtual art compositions by implementing a component of video sentiment analysis. Used methods: matrix factorization methods, collaborative filtering method, content-based method, knowledgebased method, video sentiment analysis method. The following results were obtained. A new model has been created that combines a hybrid recommender system and a video sentiment analysis component. The average absolute error of the system has been significantly reduced. Added system reaction to emotional feedback in the context of user interaction with virtual art compositions. Conclusion. Thus, the system can not only select the most suitable virtual art compositions, but also create adaptive and dynamic content, which will increase user satisfaction and improve the immersive aspects of the system. A promising direction of further research may be the addition of a subsystem with a generative neural network, which will create new virtual art compositions based on the conclusions of the developed recommendation system.

Актуальність. Останні дослідження підтверджують зростаючу тенденцію до впровадження емоційного фідбеку та аналізу настроїв для покращення результатів рекомендаційних систем. Таким чином забезпечується більш глибока індивідуалізація та поточна емоційна відповідність користувацького досвіду. Предметом вивчення в статті є гібридна рекомендаційна система з компонентом аналізу сентиментів на відео. Метою статті є дослідження можливостей покращення ефективності результатів гібридної рекомендаційної системи віртуальних арт-композицій шляхом впровадження компонента аналізу сентиментів на відео. Використані методи: метод матричної факторизації, метод колаборативної фільтрації, метод на основі контенту, метод на основі знань, метод аналізу сентиментів на відео. Отримано наступні результати. Створено нову модель, що поєднує гібридну рекомендаційну систему та компонент аналізу сентиментів на відео. Суттєво знижено середню абсолютну помилку системи. Додано реакцію системи на емоційний фідбек в контексті взаємодії користувача з віртуальними арт-композиціями. Висновок. Таким чином, система може не лише підбирати найбільш підходящі віртуальні арткомпозиції, але й створювати адаптивний та динамічний контент, що дозволить підвищити задоволеність користувачів та покращити аспекти імерсивності системи. Перспективним напрямком подальших досліджень може бути додавання підсистеми з генеративною нейронною мережею, яка на основі висновків розробленої рекомендаційної системи буде створювати нові віртуальні арт-композиції.