Parsimonious machine learning models in requirements elicitation techniques selection

Abstract

The subject of research in the article is machine learning algorithms used for requirement elicitation technique selection. The goal of the work is to build effective parsimonious machine learning models to predict the using particular elicitation techniques in IT projects that allow using as few predictor variables as possible without a significant deterioration in the prediction quality. The following tasks are solved in the article: design an algorithm to build parsimonious machine learning candidate models for requirement elicitation technique selection based on gathered information on practitioners' experience, assess parsimonious machine learning model accuracy, and design an algorithm for the best candidate model selection. The following methods are used: algorithm theory, statistics theory, sampling techniques, data modeling theory, and science experiments. The following results were obtained: 1) parsimonious machine learning candidate models were built for the requirement elicitation technique selection. They included less number of features that helps in the future to avoid overfitting problems associated with the best-fit models; 2) according to the proposed algorithm for best candidate selection – a single parsimonious model with satisfied performance was chosen. Conclusion: An algorithm is proposed to build parsimonious candidate models for requirement elicitation technique selection that avoids the overfitting problem. The algorithm for the best candidate model selection identifies when a parsimonious model's performance is degraded and decides on the suitable model's selection. Both proposed algorithms were successfully tested with four datasets and can be proposed for their extensions to others.Предметом дослідження в статті є алгоритми машинного навчання, що використовуються для вибору технік виявлення вимог. Метою роботи є побудова ефективних економних моделей машинного навчання для прогнозування використання методів виявлення вимог в ІТ-проектах, які дозволяють використовувати якомога менше незалежних змінних без значного погіршення якості прогнозу. У статті вирішуються наступні завдання: розробка алгоритму побудови економних моделей-кандидатів машинного навчання для вибору техніки виявлення вимог на основі зібраної інформації про досвід практикуючих фахівців, оцінка точності моделі економного машинного навчання та розробка алгоритму вибору найкращої моделі-кандидата. Використовуються такі методи: теорія алгоритмів, теорія статистики, методи вибірки, теорія моделювання даних та наукові експерименти. Було отримано наступні результати: 1) для вибору технік виявлення вимог побудовано економні моделі-кандидати машинного навчання. Вони включали менше параметрів, що допомагає у майбутньому уникнути проблем із перенавчанням, пов’язаних із найкращими моделями; 2) відповідно до запропонованого алгоритму для відбору найкращого кандидата була обрана одна економна модель із задовільною продуктивністю. Висновок. Запропоновано алгоритм для побудови ощадливих моделей-кандидатів для вибору техніки виявлення вимог, які дозволяють уникнути проблеми перенавчання. Алгоритм вибору найкращої моделі-кандидата визначає, коли продуктивність економної моделі погіршується, і приймає рішення щодо вибору відповідної моделі. Обидва запропоновані алгоритми були успішно протестовані з чотирма наборами даних і можуть бути запропоновані для їх розширення для інших.