Improvement of SVD algorithm to increase the efficiency of recommendation systems

Abstract

Many existing websites use recommendation systems for their users. They generate various offers for them, for example, similar products or recommend the people registered on this site with similar interests. Such referral mechanisms process vast amounts of information to identify potential user preferences. Recommendation systems are programs that try to determine what users want to find, what might interest them, and recommend it to them. These mechanisms have improved the interaction between the user and the site. Instead of static information, they provide dynamic information that changes: recommendations are generated separately for each user, based on his previous activity on this web resource. Information from other visitors may also be taken into account. The methods of collecting information provided by the Internet have greatly simplified the use of human thought through collaborative filtering. But, on the other hand, the large amount of information complicates the implementation of this possibility. For example, the behavior of some people is quite clearly amenable to modeling, while others behave completely unpredictably. And it is the latter that affect the shift of the results of the recommendation system and reduce its effectiveness. An analysis of Internet resources has shown that most of the recommendation systems do not provide recommendations to users, and the part that does, for example, offers products to the user, selects recommendations manually. Therefore, the task of developing methods for automated generation of recommendations for a limited set of input data is quite relevant. The problems of data sparseness, new user problem, scalability of the widely used SVD algorithm for the development of such recommendation systems are proposed to be eliminated by improving this algorithm by the method of the nearest k-neighbors. This method will allow you to easily segment and cluster system data, which will save system resources.

Велика кількість на сьогодні існуючих веб-сайтів використовують рекомендаційні системи для своїх користувачів. Вони генерують їм різні пропозиції, наприклад, подібні товари або рекомендують людей, зареєстрованих на цьому сайті, зі схожими інтересами. Такі рекомендаційні механізми обробляють величезні обсяги інформації для позначення потенційних переваг користувачів. Рекомендаційні системи - це програми, які намагаються визначити, що хочуть знайти користувачі, що може їх зацікавити і рекомендують їм це. Ці механізми вдосконалили взаємодію між користувачем і сайтом. Взамін статичної інформації вони надають динамічну інформацію, яка змінюється: рекомендації генеруються окремо для кожного користувача, ґрунтуючись на його попередній активності на даному веб-ресурсі. Також може враховуватися інформація, що надходить від інших відвідувачів. Методи збору інформації, що надаються Інтернетом, значно спростили використання людської думки за допомогою коллаборативної фільтрації. Але, з іншого боку, великий обсяг інформації ускладнює втілення цієї можливості. Наприклад, поведінка одних людей досить ясно піддається моделюванню, в той час як інші поводяться абсолютно непередбачувано. І саме другі впливають на зміщення результатів рекомендаційної системи і зниження її ефективності. Аналіз інтернет-ресурсів показав, що більшість рекомендаційних систем не надає користувачам рекомендацій, а та частина, яка це робить, наприклад пропонує користувачеві продукти, здійснює підбір рекомендацій вручну. Отже задача розробки методів автоматизованого створення рекомендацій за обмеженим набором вхідних даних є досить актуальною. Проблеми роботи (розрідженість даних, проблема нового користувача, масштабованість) широко використовуваного алгоритму SVD для розробки таких рекомендаційних систем пропонується усунути шляхом удосконалення даного алгоритму методом найближчих k-сусідів. Даний метод дозволить легко сегментувати і кластеризувати дані системи, що зекономить ресурси системи.