Probabilistic counterfactual causal model for a single input variable in explainability task

Abstract

The subject of research in this article is the process of constructing explanations in intelligent systems represented as black boxes. The aim is to develop a counterfactual causal model between the values of an input variable and the output of an artificial intelligence system, considering possible alternatives for different input variable values, as well as the probabilities of these alternatives. The goal is to explain the actual outcome of the system's operation to the user, along with potential changes in this outcome according to the user's requirements based on changes in the input variable value. The intelligent system is considered as a "black box." Therefore, this causal relationship is formed using possibility theory, which allows accounting for the uncertainty arising due to the incompleteness of information about changes in the states of the intelligent system in the decision-making process. The tasks involve: structuring the properties of a counterfactual explanation in the form of a causal dependency; formulating the task of building a potential counterfactual causal model for explanation; developing a possible counterfactual causal model. The employed approaches include: the set-theoretic approach, used to describe the components of the explanation construction process in intelligent systems; the logical approach, providing the representation of causal dependencies between input data and the system's decision. The following results were obtained. The structuring of counterfactual causal dependency was executed. A comprehensive task of constructing a counterfactual causal dependency was formulated as a set of subtasks aimed at establishing connections between causes and consequences based on minimizing discrepancies in input data values and deviations in the decisions of the intelligent system under conditions of incomplete information regarding the functioning process of the system. A potential counterfactual causal model for a single input variable was developed. Conclusions. The scientific novelty of the obtained results lies in the proposal of a potential counterfactual causal model for a single input variable. This model defines a set of alternative connections between the values of the input variable and the obtained result based on estimates of the possibility and necessity of using these variables to obtain a decision from the intelligent system. The model enables the formation of a set of dependencies that explain to the user the importance of input data values for achieving an acceptable decision for the user.Предметом вивчення в статті є процес побудови пояснень в інтелектуальних системах, представлених як чорна скринька. Метою є розробка контрафактної моделі причинно-наслідкової залежності між значеннями вхідної змінної та виходом системи штучного інтелекту з урахуванням можливих альтернатив для різних значень вхідної змінної, а також ймовірності цих альтернатив з тим, щоб пояснити користувачеві фактичний результат роботи системи, а також можливі зміни цього результату згідно вимог користувача на основі зміни значення вхідної змінної. Інтелектуальна система розглядається як "чорний ящик". Тому дана каузальна залежність формується з використанням теорії можливості, що дозволяє врахувати невизначеність, що виникає внаслідок неповноти інформації щодо зміни станів інтелектуальної системи у процесі прийняття рішення. Завдання: структуризація властивостей контрфактичного пояснення у формі каузальної залежності; формулювання постановки задачі побудови можливісної контрфактичної моделі каузальної залежності для побудови пояснення; розробка можливісної контрфактичної моделі причинно-наслідкової залежності. Використовуваними підходами є: теоретикомножинний, який застосовується для опису складових процесу побудови пояснень в інтелектуальних системах; логічний підхід, який забезпечує представлення каузальних залежностей між вхідними даними та рішенням системи. Отримані наступні результати. Виконано структуризацію контрфактної каузальної залежності. Сформульовано комплексну задачу побудови контрфактичної каузальної залежності як сукупності підзадач побудови зв'язку між причинами та наслідками на основі мінімізації відхилень значень вхідних даних та відхилень рішення інтелектуальної системи в умовах неповноти інформації щодо процесу функціонування цієї системи. Розроблено можливісну контрфактичну модель каузальної залежності по одній вхідній змінній Висновки. Наукова новизна отриманих результатів полягає в наступному. Запропоновано можливісну контрфактичну модель каузальної залежності по одній вхідній змінній, яка задає множину альтернативних зав'язків між значеннями вхідної змінної та отриманим результатом на основі оцінок можливості та необхідності використання цих змінних для отримання рішення інтелектуальної системи. Модель дає можливість сформувати множину залежностей, що пояснюють користувачеві, які значення вхідних даних є важливими для досягнення прийнятного для користувача рішення.