Метод зменшення часу доступу до слабкоструктурованих даних

Abstract

На сьогодні актуальною є проблема зберігання та обробки слабкоструктурованої інформації. Суть проблеми є в тому, що слабкоструктурованість і великі обсяги даних призводять до порушення вимог QoS, зокрема, збільшується час доступу до даних і відповідно зростає час очікування реакції на запит. Крім того, істотно зростають витрати на зберігання даних. Предметом дослідження є методи опрацювання та зберігання слабкоструктурованих та неструктурованих даних. Мета дослідження – розроблення методу зменшення часу доступу до неструктурованих даних шляхом формування системи ієрархічних віджетів та планування доступу до системних ресурсів множинних запитів трансакцій окремих віджетів, що створюють черги при доступі до нереляційних сховищ даних. Результати. Проаналізовані варіанти структури сховищ даних для опрацювання та зберігання слабкоструктурованих даних. Обґрунтовано застосування системи ієрархічних віджетів при роботі із множинними запитами. Запропоновано метод перерозподілу черг до системних ресурсів. Головним критерієм при перерозподілі обрано вчасне та якнайшвидше завершення всіх транзакцій системи ієрархічних віджетів. Розроблений метод перепланування, котрий забезпечує зменшення часу обробки запитів трансакцій системи ієрархічних віджетів. Висновки. Показана необхідність динамічного перепланування процесу розподілу ресурсів, що необхідні для підтримки системи ієрархічних віджетів. Запропоновано метод розподілу ресурсів між транзакціями системи ієрархічніх віджетів при обробці неструктурованою інформації в нереляційних сховищах даних. Оптимізація проводилася за критерієм якнайшвидшого завершення всіх транзакцій за рахунок скорочення часу виконання найтриваліших запитів.Today, the problem of storage and processing of poorly structured information is relevant. The essence of the problem is that poorly structured and large amounts of data lead to violation of QoS requirements. Also, the data access time increases and, accordingly, the waiting time for a response to a request increases. In addition, data storage costs increase significantly. The subject of the research is the processing and storage of poorly structured and unstructured data. The purpose of the study is to develop a method for reducing access time to unstructured data by creating a hierarchical widget system and planning access to system resources of multiple transaction requests of individual widgets, create queues when accessing nonrelational data stores. Results. Variants of the structure of data warehouses for processing and storage of poorly structured data are analyzed. The use of a hierarchical widget system when working with multiple queries is justified. A method for redistributing queues to system resources is proposed. The main criterion for redistribution is the timely and speedy completion of all transactions of the hierarchical widget system. The developed redevelopment method, which provides a reduction in the processing time of transaction requests of the hierarchical widget system. Conclusions. The need for dynamic redevelopment of the resource allocation process necessary to support the hierarchical widget system is shown. A method for distributing resources between transactions of a hierarchical widget system while processing unstructured information in non-relational databases is proposed. Optimization was carried out according to the criterion of speedy completion of all transactions by reducing the execution time of long requests.