Decision-making approach using large language models in software development projects

Abstract

The relevance of the study is determined by the rapid development of Artificial Intelligence (AI) tools, which are increasingly used in software development projects. Choosing the best AI tools is a complex problem that requires formalized approaches to evaluating such tools. The object of the study is the process of decision-making support regarding the choice of AI tools in software development projects. The subject of the study is a method based on the use of Large Language Models (LLMs) as sources of expert judgments as part of the Saaty’s pairwise comparison procedure instead of human experts. The goal of the study is to automate decision-making in software development projects based on the use of LLMs to formulate pairwise comparisons, aggregation, and evaluation of the obtained results. The study considers the use of AI-based code generation tools such as GitHub Copilot, Amazon Q Developer, Tabnine, and Windsurf, for which pairwise comparison matrices are created using GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4, and DeepSeek-R1. The CR ≤ 0.1 coefficient confirmed the consistency of the judgments of both individual LLMs and aggregated judgments obtained based on the geometric mean method. The calculated weights demonstrate the prevalence of GitHub Copilot (0.58) over other AI-based code generation tools. Comparison of the obtained results with analytical sources Gartner Magic Quadrant for AI Coding Assistants and Gartner Peer Insights indicates the efficiency of the approach based on the use of LLMs to automate expert judgment and increase the objectivity of decision-making when choosing AI tools for automated code generation in software development projects. Актуальність дослідження визначається швидким розвитком інструментів на основі штучного інтелекту (ШІ), які все частіше застосовуються у проєктах з розробки програмного забезпечення. Вибір найкращих ШІ-засобів є складним завданням, яке вимагає формалізованих підходів до оцінювання таких інструментів. Об’єкт дослідження – процес підтримки прийняття рішень щодо вибору ШІ-інструментів в проєктах з розробки програмного забезпечення. Предмет дослідження – метод на основі застосування великих мовних моделей (ВММ) як джерел експертних суджень у процедурі попарного порівняння Сааті замість експертів-людей. Метою дослідження є автоматизація прийняття рішень у проєктах з розробки програмного забезпечення на основі застосування ВММ для формування попарних порівнянь, агрегації та оцінювання отриманих результатів. У дослідженні розглядається використання інструментів генерації коду на основі ШІ, таких як GitHub Copilot, Amazon Q Developer, Tabnine та Windsurf, для яких матриці попарних порівнянь створені за допомогою GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 та DeepSeek-R1. Коефіцієнт CR ≤ 0,1 підтвердив узгодженість суджень як окремих ВММ, так і агрегованих суджень, отриманих на основі методу геометричного середнього. Розраховані вагові коефіцієнти демонструють перевагу GitHub Copilot (0,58) над іншими інструментами генерації коду на основі ШІ. Порівняння отриманих результатів з аналітичними джерелами Gartner Magic Quadrant for AI Coding Assistants та Gartner Peer Insights свідчить про працездатність підходу на основі використання ВММ для автоматизації експертного оцінювання та підвищення об’єктивності прийняття рішень при виборі ШІ-інструментів для автоматизованої генерації коду в проєктах з розробки програмного забезпечення.