Information technology for the integrated assessment of expert competency

Abstract

The subjectmatter of the study is the processes of selecting and assessing the competency of experts. The goalof the study is to increase the objectivity of expert assessment by developing and applying a model and information technology for the integrated assessment of the competency of experts, which will enable selecting experts for participation in expert groups on a high qualitative level. The following taskswere solved: methods and models for assessing the quality and competency of experts were reviewed; a model for the integrated assessment of the competency of experts was developed; an applied information technology for a comprehensive assessment of the competency of experts was designed and implemented in software. The methodology of the study was based on the following methods:methods of heuristic, test and statistical evaluationwere used to develop the model for the integrated assessment of the competency of experts; principles of system analysis and methods of object-oriented design were used to develop the applied information technology for the integrated assessment of the competency of experts. The following resultswere obtained: the problem of assessing the quality of experts was considered; based on the authors’practical experience and analysis of literature sources, the structural diagram of the properties of experts and their assessment was developed; five main groups of existing methods for assessing the quality of experts were analyzed; existing models of an integrated assessment of the competency of experts were reviewed; a two-stage method for the integrated assessment of the competency of experts was developed by integrating the methods of heuristic, test and statistical assessment; the main groups of users and functional requirements to the information system for assessing the competency of experts were identified; the database and user interface of the information system were developed; the developed information technology of the integrated assessment of the competency of experts was tested on actual data for selecting an expert group to choose the methodology of project management. Conclusions.The problem of selecting and assessing the competency of experts is one of the most difficult in the theory and practice of expert surveys. It cannot be solved by applying singular methods of assessment; its solution requires that complex methods, including both quantitative and qualitative methods for assessing the competency of specialists should be applied. The applied information technology was developed for this purpose;it can be used at various enterprises, institutions and organizations that are interested in automating the process of expert survey and in building quality expert groups.Предметом дослідження є процеси відбору та оцінювання компетентності експертів. Метою дослідження є підвищення об’єктивності експертної оцінки шляхом розробки та застосування моделі та інформаційної технології комплексної оцінки компетентності експертів, яка дозволить провести якісний відбір спеціалістів для участі в роботі експертних груп. Завдання, що вирішуються у роботі: провести огляд методів та моделей оцінки якості та компетентності експертів; розробити модель комплексної оцінки компетентності експертів; спроектувати та програмно реалізувати прикладну інформаційну технологію для комплексної оцінки компетентності експертів. В основу методології дослідження покладено наступні методи: методи евристичної, тестової та статистичної оцінки – при розробці моделі комплексної оцінки компетентності експертів; принципи системного аналізу та методи об’єктно-орієнтованого проектування – при розробці прикладної інформаційної технології комплексного оцінювання компетентності експертів. У результаті дослідження отримано наступні результати: розглянуто проблему оцінки якості експертів; на основі досвіду практичної роботи авторів і аналізу літературних джерел розроблена структурна схема властивостей експертів та їх оцінок; проаналізовано п’ять основних груп існуючих методів оцінювання якості експертів; здійснено огляд існуючих моделей комбінованої оцінки компетентності експертів; розроблено двоетапний метод комплексної оцінки компетентності експертів, який базується на поєднанні в комбіновану оцінку методів евристичної, тестової та статистичної оцінки; визначені основні групи користувачів та функціональні вимоги до інформаційної системи оцінки компетентності експертів; розроблена база даних та інтерфейс користувача інформаційної системи; розроблена інформаційна технологія комплексного оцінювання компетентності експертів протестована на реальних даних для відбору експертної групи для вибору методології управління проектами. Висновки. Проблема підбору і оцінки компетентності експертів є однією з найбільш складних в теорії і практиці експертних опитувань, вона не може бути вирішена шляхом застосування одиничних методів оцінки та вимагає для свого вирішення застосування комплексних методик, які включають в себе разом із кількісними і якісні методиоцінки компетентності фахівців. Розроблена з цією метою прикладна інформаційна технологія є актуальною для використання на різноманітних підприємствах, установах та організаціях, які зацікавлені в автоматизації процесу експертного опитування та побудови якісних експертних груп.