An adaptive method for building a multivariate regression

Abstract

We propose an adaptive method for building a multivariate regression given by a weighted linear convolution of known scalar functions of deterministic input variables with unknown coefficients. As, for example, when multivariate regression is given by a multivariate polynomial. In contrast to the general procedure of the least squares method that minimizes only a single scalar quantitative measure, the adaptive method uses six different quantitative measures and represents a systemically connected set of different algorithms which allow each applied problem to be solved on their basis by an individual adaptive algorithm that, in the case of an active experiment, even for a relatively small volume of experimental data, implements a strategy of a statistically justified solving. The small amount of data of the active experiment we use in the sense that, for such an amount, the variances of estimates of unknown coefficients obtained by the general procedure of the least squares method do not allow to guarantee the accuracy acceptable for practice. We also proposed to significantly increase the efficiency of the proposed by O. A. Pavlov. and M. M. Holovchenko modified group method of data handling for building a multivariate regression which is linear with respect to unknown coefficients and given by a redundant representation. We improve it by including some criteria and algorithms of the adaptive method for building a multivariate regression. For the multivariate polynomial regression problem, the inclusion of a partial case of the new version of the modified group method of data handling in the synthetic method proposed by O. A. Pavlov, M. M. Golovchenko, and V. V. Drozd, for building a multivariate polynomial regression given by a redundant representation, also significantly increases its efficiency.Запропоновано адаптивний метод побудови багатовимірної регресії, що задається зваженою лінійною згорткою відомих скалярних функцій від детермінованих вхідних змінних, коефіцієнти при яких є невідомими. Як, наприклад, коли багатовимірна регресія задається багатовимірним поліномом. На відміну від загальної процедури методу найменших квадратів, що мінімізує лише одну скалярну кількісну міру, адаптивний метод використовує шість різних кількісних мір і представляє собою системно зв’язану сукупність різних алгоритмів, що дозволяють кожну прикладну задачу розв’язувати на їх основі індивідуальним адаптивним алгоритмом, який в випадку активного експерименту навіть для порівняно невеликого об’єму експериментальних даних реалізує стратегію статистично обґрунтованого розв’язання. Невеликий об’єм даних активного експерименту використаний в тому сенсі, що для нього дисперсії оцінок невідомих коефіцієнтів, отриманих загальною процедурою метода найменших квадратів, не дозволяють гарантувати допустиму для практики точність. Пропонується також суттєво підвищити ефективність запропонованого Павловим О. А. та Головченко М. М. модифікованого методу групового урахування аргументів побудови багатовимірної регресії, лінійної відносно невідомих коефіцієнтів та заданої надлишковим описом, за рахунок включення в нього деяких критеріїв та алгоритмів адаптивного методу побудови багатовимірної регресії. Для випадку завдання регресії багатовимірним поліномом включення часткового випадку нової версії модифікованого методу групового урахування аргументів в синтетичний метод побудови багатовимірної поліноміальної регресії, заданої надлишковим описом, запропонованого Павловим О. А., Головченко М. М. та Дрозд В. В., також суттєво підвищує його ефективність.