Using of multilayer neural networks for the solving systems of differential equations

Abstract

The article considers the study of methods for numerical solution of systems of differential equations using neural networks. To achieve this goal, the following interdependent tasks were solved: an overview of industries that need to solve systems of differential equations, a s well as implemented a method of solving systems of differential equations using neural networks. It is shown that different types of systems of differential equations can be solved by a single method, which requires only the problem of loss function for optimization, which is directly created from differential equations and does not require solving equations for the highest derivative. The solution of differential equations’ system using a multilayer neural networks is the functions given in analytical form, which can be differentiated or integrated analytically. In the course of this work, an improved form of construction of a test solution of systems of differential equations was found, which satisfies the initial conditions for construction, but has less impact on the solution error at a distance from the initial conditions compared to the form of such solution. The way has also been found to modify the calculation of the loss function for cases when the solution process stops at the local minimum, which will be caused by the high dependence of the subsequent values of the functions on the accuracy of finding the previous values. Among the results, it can be noted that the solution of differential equations’ system using artificial neural networks may be more accurate than classical numerical methods for solving differential equations, but usually takes much longer to achieve similar results on small problems. The main advantage of using neural networks to solve differential equations` system is that the solution is in analytical form and can be found not only for individual values of parameters of equations, but also for a ll values of parameters in a limited range of values.

В статті розглядається дослідження методів чисельного розв’язку систем диференціальних рівнянь з використанням нейронних мереж. Для досягнення поставленої мети були вирішені наступні взаємозалежні задачі: проведений огляд галузей, що потребують розв’язання систем диференціальних рівнянь, а також реалізований метод розв’язання систем диференціальних рівнянь за допомогою багатошарових нейронних мереж. В роботі показано, що різні типи систем диференціальних рівнянь можуть бути розв’язані єдиним методом, який потребує лише завдання функції втрат для оптимізації, що цілком створюється з диференціальних рівнянь та не потребує розв’язання рівнянь відносно найвищої похідної. Розв’язок систем диференціальних рівнянь за допомогою нейронних мереж є функції задані у аналітичній формі, що можуть бути диференційовані або інтегровані також аналітично. В ході виконання даної роботи була знайдена покращена форма побудови пробного розв’язку систем диференціальних рівнянь, що задовольняє початковим умовам за будовою, але має менший вплив на помилку розв’язку на відстані від початкових умов у порівнянні з формою побудови такого розв’язку. Також було знайдено спосіб модифікації розрахунку функції втрат для випадків, коли процес розв’язання зупиняється в локальному мінімумі, що спричиняться великою залежністю наступних значень функцій від точності знаходження попередніх значень. Серед результатів можна зазначити, що розв’язання систем диференціальних рівнянь за допомогою штучних нейронних мереж може мати точність порівняну з класичними чисельними методами розв’язання диференціальних рівнянь, але зазвичай потребує значно більшого часу для досягнення близьких результатів на задачах малих розмірностей. Основною перевагою використання нейронних мереж для розв’язання систем диференціальних рівнянь є те, що розв’язок знаходиться в аналітичній формі та може бути знайдений не тільки для окремих значень параметрів системи рівнянь, але й для всіх значень параметрів в обмеженій області значень.