Towards the improvement of project team performance based on large language models

Abstract

The subject of the study is a method for identifying poor quality project sprint task descriptions to improve team performance and reduce project risks. The purpose ofthe study is to improve the quality of textual descriptions of sprint tasks in tracking systems by implementing models for identifying and improving potentially poor task descriptions. Research Questions: 1. Can poor quality project sprint task descriptions be identified using clustering? 2. How to utilize the power of large language models (LLMs) to identify and improve textual descriptions of tasks? Objectives: to analyze research on approaches to improving descriptions using clustering and visualization techniques for project tasks, to collect and prepare textual descriptions of sprint tasks, to identify potentially poor task descriptions based on clustering their vector representations, to study the effect of prompts on obtaining vector representations of tasks, to improve task descriptions using LLMs, and to develop a technique for improving project team effectiveness based on LLMs. Methods ofvector representation of texts, methods of dimensionality reduction of PCA and t-SNE data space, methods of agglomerative clustering, methods of prompting were used. The following results were obtained. An approach to improving the performance of the project team based on the use of LLM was proposed. Answering the first research question, it was found that there are no linguistic features affecting the perception of textual descriptions of project sprint tasks. In response to the second research question, a model for identifying potentially poor task descriptions is proposed to reduce project risks associated with misunderstanding of task context. Conclusions. The results suggest that project sprint task descriptions can be improved by using large-scale language models for project team understanding. Future research recommends using project source documentation and project context as a vector repository and source of context for LLM. The next step is to integrate the LLM into the project task tracking system. Предметом вивчення є метод визначення неякісних описів задач спринту проєкту для зменшення ризику проєкту. Метою роботи є зменшення ризиків проєкту, які повязані з якістю опису задач роботи команди проєкту в трекингових системах за допомогою впровадження моделей кластерізації текстових описів спринту проєкту. Питання дослідження: 1. Чи можно за допоомгою кластерзаці визначити неякісні описи задач спринту проєкту? 2. Як використовувати можливоості великих мовних моделей (ВММ) для визначення та покращення текстових описів задач? Завдання: аналіз досліджень підходів до опису задач за допомогою методів кластеризації та візуалізації задач проєкту, збір та підготовка текстових описів задач спринту, групування векторних репрезентацій текстових описів задач спринту, дослідження впливу промптінгу на отримання векторних репрезентацій текстових задач, покращення опису задачі за допомогою використання великих мовних моделей, розробка технології підвищення продуктивності проєктної команди на основі ВММ. Використовуваними методами є: методи векторної репрезентації текстів, методи зменшення розмірності простору даних PCA та t-SNE, методи агломеративної кластеризації, методи промт інжиніринга. Отримані такі результати. Запропоновано підхід до підвищення ефективності проєктної команди на основі використання великих мовних моделей. У відповідь на перше питання дослідження визначено, що немає лингвистичних особливостей, що впливають на сприйняття тестових описів задач спринту проєкту. У відповідь на друге питання дослідження, запропоновано модель визначення потенційно неякісних описів задач, що дозволяє зменшити ризики проєкту, які пов’язані з нерозумінням контексту задачі. Висновки. Отримані результати свідчать про те, що описи задач спринту проєкту можна покращити за допомогою великих мовних моделей для розуміння командою проєкту. У подальших дослідженнях рекомендується використовувати вихідну документацію проєкту та контекст проєкту, як векторне сховище та джерело контексту для ВММ. Наступним етапом планується інтеграція ВММ в систему трекінгу задач проєкту.