Analysis of text augmentation algorithms in artificial language machine translation systems

Abstract

The work is devoted to the development of an organizational model of the machine translation system of artificial languages. The main goal is the analysis of text augmentation algorithms, which are significant elements of the developed machine translation system at the stage of improvement of new dictionaries created on the basis of already existing dictionaries. In the course of the work was developed a model of the machine translation system, created dictionaries based on texts and based on already existing dictionaries using augmentation methods such as back translation and crossover; improved dictionary based on algorithms of n-grams, Knuth-Morris-Pratt and word search in the text (such as binary search, tree search, sqrt decomposition). In addition, the work implements the possibility of using the prepared dictionary for translation. Obtained results can improve existing systems of machine translation of the text of artificial languages. Practical significance of this work is the analysis and improvement of text augmentation algorithms by changing the prefix tree type. Compared to the conventional algorithm, the improved algorithm reduced the memory usage by almost 13 times, which allows it to be used on much larger test data. This was achieved by changing the internal system of the node of the prefix tree from constant references to an expandable list.

Робота присвячена розробці організаційної моделі системи машинного перекладу штучних мов. Головною метою є аналіз алгоритмів аугментації тексту, які є значущими елементами розробленої системи машинного перекладу на етапі вдосконалення створених нових словників на основі вже існуючих словників. В ході виконання роботи була розроблена модель системи машинного перекладу, створені словники на основі текстів та на основі вже існуючих словників методами аугментації такими, як зворотній переклад та кросовер; вдосконалено створений словник на основі алгоритмів n-грамм, Кнута-Моріса-Пратта та пошуку слів у тексті (таких, як бінарний пошук, пошук в дереві, пошук в кореневій декомпозиції). Окрім того, в роботі реалізована можливість використання підготовленого словнику для перекладу. Отримані результати можуть покращитиіснуючі системи машинного перекладу тексту штучних мов. Практичною значущістю даної роботи є аналіз та покращення алгоритмів аугментації тексту за допомогою зміну типу префіксного дерева(бора).Порівняно зі звичайним алгоритмом, покращений алгоритм дозволив скоротити використання пам’яті майже в 13 разів, що дозволяє використовувати його на набагато більших тестових даних. Це було досягнуто завдяки зміні внутрішньої системи вершини бору із константних посилань, на розширюваний список.