Multiagent methods of management of distributed computing in hybrid clusters

Abstract

Modern information technologies include the use of server systems, virtualization technologies, communication tools for distributed computing and development of software and hardware solutions of data processing and storage centers, the most effective of such complexes for managing heterogeneous computing resources are hybrid GRID-distributed computing infrastructure combines resources of different types with collective access to these resources for and sharing shared resources. The article considers a multi-agent system that provides integration of the computational management approach for a cluster Grid system of computational type, the nodes of which have a complex hybrid structure. The hybrid cluster includes computing modules that support different parallel programming technologies and differ in their computational characteristics. The novelty and practical significance of the methods and tools presented in the article are asignificant increase in the functionality of the Grid cluster computing management system for the distribution and division of Grid resources at different levels of tasks, the ability to embed intelligent computing management tools in problem-oriented applications. The use of multi-agent systems for task planning in Grid systems willsolve two main problems - scalability and adaptability. The methods and techniques used today do not sufficiently provide solutions to these complex problems. Thus, the scientific task of improving the effectiveness of methodsand tools for managing problem-oriented distributed computing in a cluster Grid system, integrated with traditional meta-planners and local resource managers of Grid nodes, corresponding to trends in the concept of scalability and adaptability.

Сучасні інформаційні технології передбачають використання технологій серверних систем, технологій віртуалізації, комунікаційних засобів для розподілених обчислень та розроблення програмно-апаратних рішень центрів обробки та збереження даних, найбільш ефективними з таких комплексів для управління неоднорідними обчислювальними ресурсами є гібридна GRID-розподілена обчислювальна інфраструктура, яка об’єднує ресурси різних типів з колективним доступом до цих ресурсів для і спільного використння загальних ресурсів. У статті розглядається мультиагентна система, що забезпечує інтеграцію підходу доуправління обчисленнями для кластерної Grid-системи обчислювального типу, вузли якої мають складну гібридну структуру. Гібридний кластер включає обчислювальні модулі, що підтримують різні технології паралельного програмування і розрізняються своїми обчислювальними характеристиками. Новизна і практична значущість представлених в статті методів і засобів полягають в істотному розширенні функціональних можливостей системи управління обчисленнями кластерної Grid за розподілом і поділу ресурсів Grid на різних рівнях виконання завдань, в наявності можливості вбудовування інтелектуальних засобів управління обчисленнями в проблемно-орієнтовані додатки. Застосування мультиагентних систем для планування задач у Grid системах дасть змогу розв'язати дві основні проблеми – масштабованості та адаптивності. Методи й прийоми, що використовуються сьогодні, не в достатній мірі забезпечують розв'язання цих складних проблем. Таким чином, актуальним є наукове завдання підвищення результативності методів та засобів управління проблемно-орієнтованими розподіленими обчисленнями в кластерної Grid-системі, інтегрованих з традиційними мета-планувальниками і локальними менеджерами ресурсів вузлів Grid-системи, що відповідають тенденціям розвитку концепції масштабованості та адаптивності.