Learning of neural nets with bithreshold-like activation function

Abstract

The paper is devoted to the study of the properties of the simplest multithreshold generalization of McCulloch-Pitts neurons, namely bithreshold neurons. The main reason of application of multithreshold device is their more powerful capabilities in comparison with classical threshold units. But multithreshold devices are quite unused because the effective learning algorithm is unknown for such units. It is possible to mark out three main goals of the present paper. The first one is the study of the existence of effective learning technique for bithreshold neurons and networks. The second one is the analysis of the relation between Boolean function realizable on bithreshold units and decision lists. The last goal is the study of capabilities of feedforward neural networks with smoothed bithreshold activation function and closely related question of their learning by means of backpropagation.

Робота присвячена питанням, які стосуються навчання нейронних елементів і нейромереж із двопороговою функцією активації. Показано, що задача навчання двопорогового нейрона належить до класу NP-повних задач. Наведено достатні умови, які забезпечують можливість генерації двопорогових бульових функцій за допомогою списків рішень. Досліджена задача навчання нейромереж прямого поширення, функції активації яких є згладженими аналогами двопорогових функцій. Продемонстровано результати комп'ютерних експериментів навчання модельних функцій, які свідчать про переваги запропонованого у роботі підходу із використанням функцій активації двопорогового типу.