Performance Optimisation of real-time data ingestion: Enhancing the InfluxDB backend listener for Jmeter

Abstract

The object of the study is the process of information processing and real-time dataingestion during performance testing in load testing tools like JMeter. The subject of the study is the methods of optimizing software tools implementation for data forwarding to time-series databases, specifically for the InfluxDB Backend Listener Plugin used in JMeter. The purpose of the paper is to resolve inefficiencies in the plugin’s performance and significantly enhance throughput and resource utilization of computer systems during high-load testing scenarios. The results obtained. An optimized implementation of the InfluxDB Backend Listener Plugin was developed, addressing bottlenecks in the software code that led to underutilization of system resources during tests. The enhanced version incorporates techniques such as asynchronous data write operations and batching, enabling efficient utilization of computing resources. Performance benchmarking demonstrated a remarkable 14.5x improvement in throughput, increasing from 480 requests/sec with spiky pattern to stable 7000 requests/sec. Advanced capacity testing further validated its ability to handle up to 20000 requests/sec under optimal conditions. Conclusions. Experiments confirmed the efficiency of the proposed solution. Codelevel optimizations successfully resolved the inefficiencies in real-time metric forwarding and allowed the plugin to operate at maximum capacity. These improvements enable large-scale performance validation by generating sufficient load for backend systems while reliably forwarding real-time metrics for analysis in CI/CD workflows. The new implementation establishes the InfluxDB Backend Listener as a scalable, efficient, and reliable component of modern distributed systems and performance testing frameworks. Fig.: 12. Tabl.: 1. Refs.: 13 items.У роботі розглядається проблема неефективності обробки інформації та отримання даних у режимі реального часу під час тестування продуктивності з високим навантаженням за допомогою JMeter та InfluxDB. Об'єктом дослідження є процес пересилання даних до баз даних часових рядів. Предметом дослідження є методи оптимізації програмних засобів та реалізації плагіна InfluxDB Backend Listener. Метою роботи є усунення недоліків у продуктивності плагіна та значне підвищення пропускної здатності та використання ресурсів комп'ютерних систем. Розроблено оптимізовану реалізацію, яка включає такі методи, як асинхронні операції запису та пакетна обробка даних, що дозволило уникнути блокування потоків виконання тестів. Експериментальні дослідження показали значне покращення пропускної здатності у 14,5 разів – з 480 запитів/с (з піковими падіннями) до стабільних 7000 запитів/с. Тестування ємності підтвердило здатність обробляти до 20 000 запитів/с за оптимальних умов. Результати підтверджують ефективність запропонованого рішення для використання у масштабованих розподілених системах та CI/CD процесах. Іл.: 12. Табл.: 1. Бібліогр.: 13назв.