Sentiment analysis of texts using recurrent neural networks of the transformer architecture

Abstract

This study focuses on the automated process of determining sentiment (emotional coloring) in text messages from Telegram channels to enhance Ukraine’s information security. The principal challenge addressed lies in the need for rapid and accurate detection of negative, positive, or neutral messages within large-scale data streams without additional fine-tuning on local datasets. The essence of the results obtained is the implementation of a zero-shot classification approach, based on the multilingual transformer model XLM-RoBERTa, which in the experiment yielded the following metrics: Accuracy = 0.4718, Precision = 0.7138, Recall = 0.4718, and F1 Score = 0.5044. Owing to the model’s strong ability to generalize lexico-semantic patterns, a stable compromise between Precision and Recall was achieved, thereby increasing the efficiency of message analysis in large data volumes. These results are explained by the architectural features of XLM-RoBERTa, primarily its multilingual nature and deep layer structure, which enable proper handling of multilingual texts without dedicated local training.

Об’єктом дослідження є процес автоматизованого визначення тональності (емоційного забарвлення) текстових повідомлень із Telegram-каналів у контексті підвищення рівня інформаційної безпеки України. Проблема, що вирішувалася, полягає в необхідності швидкого та точного виявлення негативних, позитивних чи нейтральних повідомлень у масштабних потоках даних без додаткового донавчання на локальних вибірках. Суть отриманих результатів полягає у впровадженні підходу zero-shot класифікації (класифікація без попереднього донавчання моделі) на основі багатомовної трансформерної моделі XLM-RoBERTa, яка під час експерименту продемонструвала такі показники: точність (Accuracy) = 0.4718, прецизійність (Precision) = 0.7138, повнота (Recall) = 0.4718 та F1-міра (F1 Score) = 0.5044. Завдяки високій здатності моделі узагальнювати лексико-семантичні патерни вдалося досягти стабільного компромісу між точністю (Precision) і повнотою (Recall), що підвищує ефективність аналізу повідомлень у великому масиві даних. Такі результати пояснюються архітектурними особливостями XLM-RoBERTa, насамперед багатомовністю та глибинною структурою шарів, які забезпечують коректне опрацювання багатомовних текстів без цілеспрямованого локального тренування.