A new approach to building energy models of neural networks

Abstract

The purpose of this paper is to develop and experimentally validate a theoretical framework that postulates the energetic nature of information and its role in the self-organization and evolution of complex information systems. Research Results. A fundamental theory is proposed, describing information as a structure of perceived external energy parameters that govern the processes of forming the internal energetic structure of a system—its model of the external world. This theory encompasses concepts of energy landscapes, principles of energy-based structural and parametric reduction, and a critical analysis of existing computational paradigms. Experimental studies on the construction and training of the developed energy-based model confirm its high generalization ability in one-pass training without using the backpropagation algorithm on ultra-small training datasets. Метою даної статті є розроблення та експериментальна перевірка теоретичної бази, що постулює енергетичну природу інформації та її роль у самоорганізації та еволюції складних інформаційних систем. Результати дослідження. Запропоновано фундаментальну теорію, що описує інформацію як структуру сприйманих па-раметрів зовнішньої енергії, яка керує процесами формування внутрішньої енергетичної структури системи – її моделі зовнішнього світу. Ця теорія включає концепції енергетичних ландшафтів, принципи структурної та параметричної реду-кції, заснованої на енергії, а також критичний аналіз існуючих обчислювальних парадигм. Проведені експериментальні дослідження з побудови та навчання розробленої енергетичної моделі підтверджують її високу узагальнюючу здатність в процесі однопрохідного навчання без використання алгоритму зворотного поширення помилки на надмалих навчальних наборах даних.