Towards hybrid cloud infrastructure quality assessment model

Abstract

The paper presents a hybrid model for the cloud infrastructure quality assessment, which combines subjective expert assessments with objective results of statistical analysis. The proposed model, called Hybrid Expert-derived with Entropy-based Weighted Sum Model (HEE-WSM), combines the Analytic Hierarchy Process (AHP) to determine weights based on expert assessments and the entropy-based approach to calculate weights using real data. The proposed HEE-WSM model is a novel approach that takes into account both expert judgments and cloud environment monitoring data. Eight criteria (such as availability, reliability, latency, scalability, performance efficiency, cost, security compliance, and support responsiveness) based on the international standards NIST SP 800-145 and ISO/IEC 25010 are proposed for the cloud infrastructure quality assessment. These criteria are divided into “benefit” and “cost” criteria, which is necessary to ensure normalization and proper comparison of different quality metrics. A hybrid mechanism for determining weighting coefficients allows balancing the weighting coefficients determined on the basis of AHP and the entropy approach using an adjustable coefficient that provides flexibility depending on decision-making needs. Thus, the flexibility of the proposed model is ensured by the ability to adjust the influence of subjective and objective weights of criteria. The final quality assessment is performed using the Weighted Sum Model that aggregates normalized quality metric scores for each alternative. To demonstrate the robustness of the proposed approach, ten leading cloud providers were analyzed in this study, including Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP), Alibaba Cloud, and several others. The obtained results demonstrated that the proposed model allows for effective evaluation of cloud services, with GCP receiving the highest total quality score. The proposed approach can be considered an adaptive, transparent, and useful tool for implementation in decision support systems for cloud infrastructure management. The proposed model can be applied in organizations and enterprises for the informed selection of cloud service providers. Future research includes the integration of real-time data monitoring and the application of machine learning methods for automatic adjustment of quality criteria weights.

У статті представлено гібридну модель оцінювання якості хмарної інфраструктури, яка поєднує суб’єктивні експертні оцінки з об’єктивними результатами статистичного аналізу. Запропонована модель, яка отримала назву Hybrid Expert-derived with Entropy-based Weighted Sum Model (HEE-WSM), поєднує метод аналізу ієрархій (МАІ) для визначення ваг на основі оцінок експертів та ентропійний підхід для розрахунку ваг на основі реальних даних. Запропонована модель HEE-WSM є новим підходом, який враховує як судження експертів, так і дані моніторингу хмарного середовища. Для оцінювання якості хмарної інфраструктури пропонується використовувати вісім критеріїв (таких, як доступність, надійність, затримка, масштабованість, ефективність роботи, вартість, відповідність вимогам безпеки та оперативність підтримки), заснованих на міжнародних стандартах NIST SP 800-145 та ISO/IEC 25010. За типами дані критерії поділяються на "виграшні" та "витратні" критерії, що необхідно для забезпечення нормалізації та належного порівняння різних метрик якості. Гібридний механізм визначення вагових коефіцієнтів дозволяє збалансувати вагові коефіцієнти, визначені на основі МАІ та ентропійного підходу, за допомогою регульованого коефіцієнта, який забезпечує гнучкість залежно від потреб у прийнятті рішень. Таким чином, гнучкість запропонованої моделі забезпечується можливістю регулювати вплив суб'єктивних та об'єктивних ваг критеріїв. Остаточне оцінювання якості проводиться за допомогою моделі зваженої суми, яка агрегує нормалізовані показники метрик якості для кожної альтернативи. Для демонстрації працездатності запропонованого підходу, в роботі було проаналізовано десять провідних хмарних провайдерів, включаючи Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP), Alibaba Cloud та деякі інші. Отримані результати продемонстрували, що запропонована модель дозволяє ефективно оцінювати хмарні сервіси, причому GCP отримав найвищу інтегровану оцінку. Запропонований підхід можна вважати адаптивним, прозорим і корисним інструментом для впровадження в системи підтримки прийняття рішень для управління хмарною інфраструктурою. Запропонована модель може бути застосована в організаціях і підприємствах для обґрунтованого вибору постачальників хмарних послуг. Майбутні дослідження включають інтеграцію моніторингу даних у реальному часі та застосування методів машинного навчання для автоматичного коригування ваг критеріїв якості.