Possible evaluation of the correctness of explanations to the end user in an artificial intelligence system

Abstract

The subject of this paper is the process of evaluation of explanations in an artificial intelligence system. The aim is to develop a method for forming a possible evaluation of the correctness of explanations for the end user in an artificial intelligence system. The evaluation of the correctness of explanations makes it possible to increase the user's confidence in the solution of an artificial intelligence system and, as a result, to create conditions for the effective use of this solution. Aims: to structure explanations according to the user's needs; to develop an indicator of the correctness of explanations using the theory of possibilities; to develop a method for evaluating the correctness of explanations using the possibilities approach. The approaches used are a set-theoretic approach to describe the elements of explanations in an artificial intelligence system; a possibility approach to provide a representation of the criterion for evaluating explanations in an intelligent system; a probabilistic approach to describe the probabilistic component of the evaluation of explanations. The following results are obtained. The explanations are structured according to the needs of the user. It is shown that the explanation of the decision process is used by specialists in the development of intelligent systems. Such an explanation represents a complete or partial sequence of steps to derive a decision in an artificial intelligence system. End users mostly use explanations of the result presented by an intelligent system. Such explanations usually define the relationship between the values of input variables and the resulting prediction. The article discusses the requirements for evaluating explanations, considering the needs of internal and external users of an artificial intelligence system. It is shown that it is advisable to use explanation fidelity evaluation for specialists in the development of such systems, and explanation correctness evaluation for external users. An explanation correctness assessment is proposed that uses the necessity indicator in the theory of possibilities. A method for evaluation of explanation fidelity is developed. Conclusions. The scientific novelty of the obtained results is as follows. A possible method for assessing the correctness of an explanation in an artificial intelligence system using the indicators of possibility and necessity is proposed. The method calculates the necessity of using the target value of the input variable in the explanation, taking into account the possibility of choosing alternative values of the variables, which makes it possible to ensure that the target value of the input variable is necessary for the explanation and that the explanation is correct.

Предметом вивчення в статті є процес оцінки пояснення в системі штучного інтелекту. Метою є розробка методу формування можливісної оцінки коректності пояснень для кінцевого користувача в системі штучного інтелекту. Оцінювання коректності пояснень дає можливість підвищити довіру користувача до рішення системи штучного інтелекту і, як наслідок, створити умови для ефективного використан ня даного рішення. Завдання: структуризація пояснень за потребами користувачів; розробка показника коректності пояснення з використанням теорії можливостей; розробка методу оцінки коректності пояснень з використанням можливі сного підходу. Використовуваними підходами є: теоретико-множинний підхід, який застосовується для опису елементів пояснення в системі штучного інтелекту; можливісний підхід, який забезпечує представлення критерію оцінки пояснень в інтелектуальній системі; ймовірнісний підхід для опису ймовірнісної складової оцінки пояснення. Отримані наступні результати. Виконано структуризацію пояснень згідно потреб користувача. Показано, що для спеціалістів з розробки інтелектуальних систем використовується пояснення щодо процесу прийняття рішення. Таке пояснення представляє повну або часткову послідовність кроків з виводу рішення в системі штучного інтелекту. Кінцеві користувачі переважно використовують пояснення щодо результату, представленого інтелектуальною системою. Такі пояснення зазвичай задають зв'язок між значеннями вхідних змінних та отриманим прогнозом. Обґрунтовано вимоги до оцінки пояснень з урахуванням потреб внутрішніх та зовнішніх користувачів системи штучного інтелекту. Показано, що для спеціалістів з розробки таких систем доцільно викор истовувати оцінку вірності пояснення, а для зовнішніх користувачів – оцінку коректності пояснення. Запропоновано оцінку коректності пояснення, яка використовує показник необхідності в теорії можливостей. Розроблено метод оцінки коректності пояснення. Висновки. Наукова новизна отриманих результатів полягає в наступному. Запропоновано можливісний метод оцінки коректності пояснення в системі штучного інтелекту, який використовує показники можливості танеобхідності. Метод розраховує необхідність використання цільового значення вхідної змінної у складі пояснення з урахуванням можливості вибору альтернативних значень змінних, що дає можливість впевнитись, що саме цільове значення вхідної змінної є необхідним для пояснення, а пояснення є коректним.