Using the aggregated criteria to evaluate the software tests quality

Abstract

An approach to evaluating the software tests quality using aggregated quality criteria is proposed. The article considers the finding of such characteristics of software tests that can be used to judge their quality and their need for improvement. The subject of the study is the formation of a software tests quality evaluation system, which can be used in the software development process. It is proposed to consider a software test as a multiattribute object. It is emphasized that it is necessary to take into account both quantitative and qualitative characteristics of tests and test coverage, which greatly complicates the construction of a model for evaluating the software tests quality. Various approaches to solving the problem of evaluating complex, multiattribute objects are considered. The problem of comparing and ordering complex objects taking into account different criteria is considered. The choice of the method of sequential aggregation of classified states to solve the problem of multicriteria selection and assessment is justified. The stages of the procedure for solving the estimation problem using the method of sequential aggregation of classified states are considered. An activity diagram is constructed that reflects an algorithm for constructing a hierarchical system of criteria. The criteria for evaluating software tests are given, which belong to three groups - efficiency, coverage, and software implementation. For a hierarchical system of criteria aggregation, a set of indicators, their qualitative gradations with corresponding numerical intervals, are allocated. At the highest level of the hierarchy, it is proposed to use three composite criteria that correspond to the groups of efficiency, coverage and implementation, which will allow to obtain an integral indicator of the software tests quality. The resulting integral indicator includes five quality classes, each of which corresponds to a multitude of low-level indicator estimates. Тests quality evaluation will improve the testing process, which purpose is to ensure the specified quality of the software being developed.Пропонується підхід до оцінки якості тестів програмного забезпечення з використанням агрегованих критеріїв якості. Розглядається знаходження таких характеристик тестів програмного забезпечення, за якими можна судити про їхню якість і необхідність доопрацювання. Предметом дослідження є формування системи оцінювання якості програмних тестів, яку можливо використовувати в процесі розробки програмного забезпечення. Запропоновано розглядати тест програмного забезпечення як багатоознаковий об'єкт. Підкреслюється, що необхідно враховувати як кількісні, так і якісні характеристики тестів і тестового покриття, що істотно ускладнює побудову моделі оцінки якості програмних тестів. Розглянуто різні підходи до вирішення задачі оцінювання складних, багатоознакових об'єктів. Розглядається проблема порівняння й упорядкування складних об'єктів з урахуванням різних критеріїв. Обґрунтовано вибір методу послідовного агрегування станів, що класифікуються для розв'язання задачі багатокритеріального вибору і проведення оцінювання. Розглянуто етапи процедури вирішення задачі оцінювання з використанням методу послідовного агрегування станів, що класифікуються. Наведена діаграма діяльності, яка відображає алгоритм побудови ієрархічної системи критеріїв. Розглянуті критерії оцінювання програмних тестів, які відносяться до трьох груп – ефективності, покриття і програмної реалізації. Для ієрархічної системи агрегування критеріїв виділено набір показників, їх якісні градації з відповідними чисельними інтервалами. На вищому рівні ієрархії запропоновано використовувати три складенихкритерія, які відповідають групам ефективності, покриття і реалізації, що, в свою чергу, дозволить отримати інтегральний показник якості програмних тестів. Отриманий інтегральний показник включає п'ять класів якості, кожному з яких відповідає множина оцінок показників нижнього рівня. Оцінка якості програмних тестів дозволить поліпшити процес тестування, метою якого є забезпечення заданого рівня якості програмного забезпечення, що розробляється.