Інформаційно-екстремальна інтелектуальна технологія діагностування емоційно-психічного стану людини

Abstract

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – інформаційні технології (12 – Інформаційні технології). – Національний технічний університет «Харківський політехнічний інститут», Харків, 2023. Об’єктом дослідження є слабо формалізований процес прийняття рішень при діагностуванні емоційно-психічного стану (ЕПС) людини за довільних початкових умов формування зображення її обличчя. Предмет дослідження складають моделі та методи інформаційно-екстремальної інтелектуальної технології машинного навчання системи підтримки прийняття діагностичних рішень (СППДР) при визначенні ЕПС людини. Дисертаційна робота присвячена підвищення функціональної ефективності здатної до машинного навчання системи підтримки прийняття діагностичних рішень для визначення ЕПС людини за зображенням її обличчям, що дозволить збільшити точність і оперативність оцінювання поточного рівня стійкості та впливу стресу, втоми та різних збурюючих факторів на професійну діяльність людини. У дисертаційній роботі вирішено важливе науково-прикладне завдання підвищення функціональної ефективності СППДР при визначенні ЕПС людини за зображенням її обличчя. Обрані методи дослідження базуються на фундаментальних основах і методах системного аналізу та технологіях інтелектуального аналізу даних для побудови в процесі машинного навчання контейнерів класів розпізнавання, методах функціонального аналізу для побудови категорійних моделей машинного навчання, методах теорії інформації для оцінки інформаційної міри різноманітності системи діагностування ЕПС людини, методах теорії ймовірностей та математичної статистики для оцінки випадкових величин і перевірки статистичних гіпотез та об’єктно-орієнтованій методології проектування складних систем для розробки інформаційного та програмного забезпечення здатної навчатися СППДР при визначенні ЕПС людини. Дисертаційна робота обґрунтовує актуальність теми, зазначає зв’язок роботи з науковими темами, формулює мету та задачі дослідження, визначає об’єкт, предмет та методи дослідження, демонструє наукову новизну та практичне значення отриманих результатів, наводить інформацію про практичне використання, апробацію результатів та їх висвітлення у публікаціях. Показано, що основним шляхом підвищення якості процесу діагностування ЕПС людини за зображенням її обличчя є наявність системи функціонального діагностування, що дозволяє оцінювати нестабільність поточного стану та ефективність психокорегуючих заходів. За результатами аналізу сучасного стану та тенденцій розвитку систем діагностування ЕПС людини її зовнішнього спостереження показано необхідність розробки моделей і методів інформаційних технологій функціонального діагностування на основі машинного навчання і теорії розпізнавання образів. Аналіз результатів, отриманих різними вченими показує, що основним шляхом вирішення проблеми розробки ефективної технології оцінки емоційно-психічного стану людини є поєднання класичних методів психодіагностування з сучасними інтелектуальними інформаційними технологіями аналізу даних. Водночас прослідковується тенденція до заміни класичних активних методів безпосереднього опитування на технології аналізу психофізичних реакцій людини, характеристик зовнішності та поведінки, динаміки її рухів в режимі пасивного дистанційного спостереження; перехід від індивідуального діагностування в контрольованому середовищі до масової оперативної оцінки при довільних оточуючих умовах; застосування сучасних інформаційних технології фото та відеоспостереження для накопичення даних та інтелектуальних методів ідентифікації особи та класифікаційного аналізу динаміки її стану, використання додаткової інформації щодо активності людини в соціальних мережах або інших відкритих Інтернет-джерелах, корпоративних мережах та інших спеціалізованих сховищах даних. Показано перспективність використання інформаційно-екстремальної інтелектуальної технології аналізу даних, яка ґрунтується на максимізації інформаційної спроможності системи в процесі її самонавчання. Вперше розроблено метод інформаційно-екстремального машинного навчання системи підтримки прийняття діагностичних рішень, який дозволяє визначити емоційно-психічних стан людини за зображенням її обличчя шляхом оцінки інформаційної різноманітності ліво- та правопівкульних портретів, сформованих за довільних початкових умов виконання окремих діагностичних дій. Вперше розроблено у рамках інформаційно-екстремальної інтелектуальної технології комплекс функціональних категорійних моделей, які дозволяють забезпечити перетворення інформації та інформаційних потоків, що відбуваються під час притаманних лікарю-психологу когнітивних процесів формування та прийняття класифікаційних рішень при визначенні емоційно-психічного стану людини за зображенням її обличчя, та здійснювати синтез алгоритмів функціонування інтелектуальних складових комп'ютеризованих систем діагностування. Вперше розроблено комбіновану інформаційну міру різноманітності ліво- та правопівкульного портрету людини, яка формується в процесі визначення ЕПС, що дозволяє усунути недоліки ентропійного критерію та інформаційної критерію Кульбака-Лейблера, які використовувалися як міри оцінювання функціональної ефективності машинного навчання у попередніх дослідженнях у рамках інформаційно-екстремальної інтелектуальної технології аналізу даних. Розроблено інформаційно-екстремальнийметод оптимізації значень генотипних і фенотипних параметрів машинного навчання системипідтримки прийняття діагностичних рішень при визначенні емоційно-психічного стану людини як за повним зображенням її обличчя, так і за окремими фрагментами або їх комбінаціями шляхом оцінки інформативності діагностичних ознак.Отримав подальший розвиток комплексний підхід для вирішення задачі моніторингу ЕПС людини під час виконання психотерапевтичних заходів шляхом формування індивідуальної траєкторії психокорекції на базі функціональних кате-горійних моделей інформаційно-екстремального машинного навчання. Отримали подальший розвиток методи інформаційно-екстремальної оптимізації параметрів вхідного математичного опису системи підтримки прийняття діагностичних рішень з урахуванням особливостей процесу визначення емоційно-психічного стану людини за зображення обличчя та його рецепторного поля, що дозволило без втрати якості і точності діагностування використовувати вхідні дані сформовані без залучення спеціального обладнання та довільних умов. Запропоновано методологію проєктування здатної до машинного навчання системи підтримки прийняття діагностичних рішень, що дає змогу сформувати структуру взаємопов’язаних етапів її аналізу і синтезу, реалізація яких в процесі визначення ЕПС людини здійснюється залежно від результатів попередніх задач.Усі теоретичні розробки дисертації доведено до конкретних інженерних методик та алгоритмів з застосуванням запропонованої інформаційної технології створення та використання здатної навчатися СППДР при визначенні ЕПС людини за її обличчям. Основні наукові результати впроваджено у вигляді інформаційної технології, яка включає функціональні категорійні моделі, методи, критерії оцінки інформаційної міри різноманітності, засобів алгоритмічного і програмного забезпечення системи підтримки прийняття рішень для діагностування емоційно-психічного стану людини на підприємстві КНП СОР “Обласний клінічний медичний центр соціально небезпечних захворювань” (м.Суми) (акт впровадження від 23.05.2023 р.)) і в навчальний процес Сумського державного університету (акт впровадження від 22.05.2023 р.).

Dissertation for the degree of Candidate of Technical Sciences in speciality 05.13.06 - Information Technologies (12 - Information Technologies) - National Technical University "Kharkiv Polytechnic Institute", Kharkiv, 2023. The object of the research is a poorly formalized decision-making process for diagnosing a person's emotional and mental state (EMS) under arbitrary initial conditions of forming an image of his or her face. The subject of the research is functional categorical models, information measures of diversity and methods of information-extreme machine learning for the diagnostic decision support system (DDSS) in determining the human EPS under a priori uncertainty due to arbitrary initial conditions of facial image formation. The dissertation is devoted to improving the functional efficiency of a machine learning-capable diagnostic decision support system for determining a person's EMS from an image of his or her face, which will increase the accuracy and efficiency of assessing the current level of resilience and the impact of stress, fatigue and various disturbing factors on a person's professional activity. The dissertation solves an important scientific and applied problem of increasing the functional efficiency of the DDSS in determining the EMS of a person from the image of his or her face. The selected research methods are based on the fundamental principles and methods of system analysis and data mining technologies for building recognition class containers in the process of machine learning, functional analysis methods for building categorical machine learning models, and information theory methods for assessing the information measure of the diversity of the human EMS diagnostic system, methods of probability theory and mathematical statistics for estimating random variables and testing statistical hypotheses and object-oriented methodology for designing complex systems to develop information and software capable of learning the DDSS for determining human EMS. The dissertation substantiates the relevance of the topic, indicates the connection of the work with scientific topics, formulates the purpose and objectives of the study, defines the object, subject, and methods of the study, demonstrates the scientific novelty and practical significance of the results obtained, and provides information on the practical use, testing, and coverage of the results in publications. It is shown that the main way to improve the quality of the process of diagnosing a person's EMS by the image of his or her face is the availability of a functional diagnostic system that allows assessing the instability of the current state and the effectiveness of psychocorrective measures. Based on the results of the analysis of the current state and trends in the development of systems for diagnosing the EPS of a person by his or her external observation, the article shows the need to develop models and methods of information technologies for functional diagnosis based on machine learning and pattern recognition theory. The analysis of the results obtained by various scientists shows that the main way to solve the problem of developing an effective technology for assessing the emotional and mental state of a person is to combine classical methods of psychodiagnosis with modern intelligent information technologies for data analysis. At the same time, there is a tendency to replace classical active methods of direct questioning with technologies for analysing a person's psychophysical reactions, appearance and behaviour, and the dynamics of their movements in the mode of passive remote monitoring; a transition from individual diagnosis in a controlled environment to mass rapid assessment under arbitrary environmental conditions; application of modern information technologies of photo and video surveillance for data accumulation and intelligent methods of person identification and classification analysis of the dynamics of their state, use of additional information on human activity in social networks or other open Internet sources, corporate networks and other specialised data warehouses. The article shows the prospects of using the information-extreme intellectual technology of data analysis, which is based on maximising the information capacity of the system in the process of its self-learning. For the first time, an information-extreme method of analysis and synthesis of a machine-learning-capable diagnostic decision support system has been developed, which allows to determine the emotional and mental state of a person by the image of his or her face by assessing the information diversity of left- and right-hemispheric portraits formed under arbitrary initial conditions of performing certain diagnostic actions. For the first time, a set of functional categorical models has been developed within the framework of information-extreme intellectual technology, which allow for the transformation of information and information flows that occur during the cognitive processes of formation and classification decisions in determining the emotional and mental state of a person by the image of his face and to synthesize algorithms for the functioning of intellectual components of computerized diagnostic systems. For the first time, a combined information measure of the diversity of the left- and right-hemispheric portrait of a person, which is formed in the process of determining the EMS, is developed, which eliminates the shortcomings of the entropy criterion and the Kulbak-Leibler information criterion, which were used as measures of the functional efficiency of machine learning in previous studies within the framework of information-extreme intellectual technology of data analysis. An information-extreme method for optimizing the values of genotypic and phenotypic parameters of a machine learning system for diagnostic decision support in determining the emotional and mental state of a person both by the full image of his or her face and by individual fragments or their combinations by assessing the informativeness of diagnostic features is developed. An integrated approach to solving the problem of monitoring a person's EMSduring psychotherapeutic measures by forming an individual trajectory of psychocorrection based on functional categorical models of information-extreme machine learning was further developed. optimizationThe methods of information-extreme optimisation of the parameters of the input mathematical description of the diagnostic decision support system were further developed, taking into account the peculiarities of the process of determiningthe emotional and mental state of a person by the image of the face and its receptor field, which made it possible to use input data generated without the involvement of special equipment and arbitrary conditions without losing the quality and accuracy ofdiagnosis. A methodology for designing a machine-learning-capable diagnostic decision support system is proposed, which allows for the formation of a structure of interrelated stages of its analysis and synthesis, the implementation of which in the process of determining the human EMSis carried out depending on the results of previous tasks. All the theoretical developments of the thesis have been brought to specific engineering techniques and algorithms using the proposed information technology for the creation and use of a machine-learning-capable DDSS for determining a person's EMSfrom his or her face. The main scientific results have been implemented in the form of information technology, which includes functional categorical models, methods, criteria for assessing the information measure of diversity, algorithmic and software tools of the decision support system for diagnosing the emotional and mental state of a person at the enterprise of the Regional Clinical Medical Centre for Socially Dangerous Diseases (Sumy) (act of implementation of May 23, 2023) and in the educational process of Sumy State University (act of implementation of May 22, 2023).