Advanced methods for classification quality assessment leveraging ROC analysis and multidimensional confusion matrix

Abstract

The object of the study is the process of classifying objects in scientific problems. The subject of the study is methods aimed at assessing the effectiveness of multiclass classification. The goal of the study is to study the classification process and develop a classifier evaluation module to increase the speed of such evaluation and reduce the time to build complex machine learning classifiers. An analytical review of the scope of application of the classification quality assessment module in the field of humanities, technical and economic sciences was conducted. Existing classification quality assessment metrics were considered and mathematical descriptions of metrics were formed for the multi-class case. Software was developed that implements the proposed mathematical descriptions using parallel calculations and optimization of identical operations. The developed module was tested for reliability.

Об'єктом дослідження є процес класифікації об'єктів у наукових задачах. Предметом дослідження є методи, спрямовані на оцінку ефективності багатокласової класифікації. Метою є дослідження процесу класифікації та розробка модуля оцінки класифікаторів для підвищення швидкості такої оцінки та дозволить зменшити час побудови складних класифікаторів машинного навчання. Проведено аналітичний огляд області застосування модуля оцінки якості класифікації в галузях гуманітарних, технічних та економічних наук. Розглянуто існуючі метрики оцінки якості класифікації та сформовано математичні описи метрик для багатокласового випадку. Розроблено програмне забезпечення, яке реалізує запропоновані математичні описи з використанням паралельних обчислень та оптимізації однакових операцій. Виконано тестування розробленого модуля на надійність.