Evaluating the effectiveness of open-source solutions for monitoring and load balancing in microservice applications

Abstract

Subject of the article is open-source solutions and their application for monitoring and load balancing in microservice applications operating in specialized computer systems. The research covers a wide range of tools, including metric collection systems, centralized logging, and distributed request tracing. Relevance of the work is determined by the constant growth in complexity of distributed architectures and the critical need for effective performance control (observability) and stable traffic distribution. Goal. The goal of the work is comprehensive empirical evaluation and comparison of key open-source monitoring and load balancing tools, specifically Prometheus/Grafana (for metrics), ELK stack (for logs), HAProxy, Nginx, Traefik (load balancers), as well as Istio and Linkerd (service mesh), with the goal of developing practical recommendations for designing and operating microservice systems. Tasks. The tasks are conduct analysis of popular open-source tools, define criteria for their effectiveness, create a test environment based on Kubernetes and conduct a series of load tests with various configurations, as well as perform quantitative assessment of key performance indicators, including latency, throughput, and resource utilization. Methods. Applied methods of systematic analysis, empirical modeling, and benchmarking. For objective comparison, load testing methods (baseline and stress scenarios) were used in a Kubernetes cluster. Key evaluation criteria included request processing latency, throughput, and resource overhead of the tools themselves. Result. The obtained results confirm that open-source solutions are capable of providing high-level observability and effective load balancing in specialized computer systems, while remaining a cost-effective alternative to commercial products. The study identified strengths and weaknesses of each tool, allowing for informed selection based on specific project requirements. Conclusions. Confirmed the ability of opensource tools to effectively provide observability and load management in specialized computer systems, remaining a cost-effective alternative to commercial products. The conclusions made allow for the formulation of practical recommendations for designing and operating microservice applications with a focus on stability and performance. The research results can be used in making architectural decisions for distributed systems of various scales. Предметом дослідження є open-source-рішення та їх упровадження для моніторингу й балансування навантаження в мікросервісних застосунках, що функціонують у спеціалізованих комп’ютерних системах. Дослідження охоплює широкий спектр інструментів, зокрема системи збору метрик, централізованого логування й розподіленого трасування запитів. Актуальність роботи зумовлена постійним зростанням складності розподілених архітектур і критичною потребою в ефективному контролі продуктивності (спостережуваності) й стабільному розподілі трафіку. Мета роботи – комплексне емпіричне оцінювання й порівняння ключових open-source-інструментів моніторингу й балансування навантаження, зокрема Prometheus / Grafana (для метрик), ELK stack (для логів), HAProxy, Nginx, Traefik (балансувальники), а також Istio та Linkerd (service mesh), з метою розроблення практичних рекомендацій щодо проєктування й експлуатації мікросервісних систем. Завдання: проаналізувати поширені open-source-інструменти; визначити критерії їх ефективності; створити тестове середовище на базі Kubernetes; провести серію навантажувальних тестів з різними конфігураціями; кількісно оцінити ключові показники продуктивності, зокрема затримку, пропускну здатність і використання ресурсів. Методи дослідження. Застосовано системний аналіз, емпіричне моделювання та бенчмаркінг. Для об’єктивного порівняння впроваджено методи навантажувального тестування (baseline та стрес-сценарії) в кластері Kubernetes. Ключові критерії оцінювання: затримка оброблення запитів, пропускна здатність і ресурсні накладні витрати самих інструментів. Результати підтверджують, що open-source-рішення здатні забезпечити високий рівень спостережуваності та ефективне балансування навантаження в спеціалізованих комп’ютерних системах, водночас залишаючись економічно вигідною альтернативою комерційним продуктам. Дослідження виявило переваги й недоліки кожного з інструментів, що дає змогу обґрунтовано підходити до їх вибору залежно від специфічних вимог проєкту. Висновки: підтверджено здатність open-source-інструментів ефективно забезпечувати спостережуваність і управління навантаженням у спеціалізованих комп’ютерних системах і водночас залишатися економічно вигідною альтернативою комерційним продуктам. Сформульовані висновки дають змогу розробити практичні рекомендації для проєктування й експлуатації мікросервісних застосунків із зосередженням на стабільності та продуктивності. Результати дослідження можуть бути впроваджені в прийнятті архітектурних рішень для розподілених систем різного масштабу.