Perplexity-based ai-generated text classification in ukrainian using small language models

Abstract

The aim of the research. The rapid advancement of generative artificial intelligence language models has introduced new complexities in discerning the authorship and quality of textual content. Inthis paper, we explored the feasibilityof using perplexity–a measure of token predictability–as the onlydiscriminative feature for classifying AI-generated versus human-written texts in Ukrainian within the IT domain. Our approach employed small language models to calculate perplexity and detect content generated by state-of-the-art models, evaluating the potential for lightweight solutions.Мета дослідження. Стрімкий розвиток генеративних мовних моделей ускладнив розпізнавання авторствата оцінювання якості текстового вмісту. У статті досліджено можливість використання перплексії міри передбачуваності токенів-як дискримінативної ознаки для класифікації текстів українською мовою в ІТ-домені, створених людиною та згенерованих моделями. Запропонований підхід використовує малі мовні моделі для обчислення перплексії та виявлення вмісту, згенерованого сучасними моделями, з оцінюванням потенціалу легковагових рішень