Векторний метод пошуку послідовностей у великих даних

Abstract

Пропонується технологічне програмне рішення для метричного пошуку та ідентифікації логіко-часових патернів бізнес-потоку даних за рахунок створення додаткових векторних структур даних та паралельного методу їх обробки. Предметом досліджень є методи пошуку та ідентифікації логіко-часових патернів у великих даних. Метою є підвищення ефективності пошуку та розпізнавання логіко-часових патернів, що семантично утворюють бізнес-функціональності у 8-годинному часовому фреймі скріншотів зі "сміттєвими" даними. Застосовувані методи: апарат теорії множин та булевої алгебри, метричні матричні моделі визначення параметрів для множин двійкових векторів, елементи теорії ймовірностей, теорія алгоритмів, програмне моделювання, аналіз великих даних. Отримані результати: метод пошуку та розпізнавання патернів на основі векторного завдання символьних послідовностей, які ідентифікують патерни у потоках великих даних, що використовує унітарне кодування інформаційних примітивів та даних; векторні моделі – структури унітарно-кодованих даних для опису потоку великих даних, як декартові добутки множини примітивів-string-маркерів та дискретної послідовності-реалізації заданого часового фрейма. Практична значущість роботи полягає у реалізації векторного методу, що дозволило створити програму розпізнавання патернів у потоці великих даних з ймовірністю 0,77%.

A technological software solution is proposed for metric search and identification of logical-temporal patterns of a business data flow by creating additional vector data structures and a parallel method for their processing. The subject of research is the methods of searching and identifying logical-temporal patterns in big data. The purpose of the study is to increase the efficiency of searching and recognizing logical-temporal patterns that semantically form business functionality in an 8-hour frame of screenshots with "garbage" data. Applied methods: apparatus of set theory and Boolean algebra, metric models for determining parameters for sets of binary vectors, elements of probability theory, theory of algorithms, software modeling. The results obtained: a method for searching and recognizing patterns based on a vector problem of character sequences that identify patterns in big data streams using unitary coding of information primitives and data; vector models are unitary-encoded data structures for describing a big data flow as Cartesian products of a set of primitive-string-markers and a discrete sequence of implementation of a given time frame. The practical significance of the work: the implementation of the vector method, which made it possible to create a pattern recognition program in a big data stream with a probability of 0.77%.