Algorithms for constructing a regression linear with respect to unknown coefficients on a limited amount of experimental data

Abstract

This publication continues the series of scientific works of the authors on the creation of algorithms for constructing multivariate regressions which are linear with respect to unknown coefficients by using linear programming models. To simplify the simulation modeling of their efficiency, we present the algorithms for the multivariate linear regression problem. The use of linear programming models requires minimizing the sum of the absolute differences used in the general procedure of the least squares method. The estimates of the unknown coefficients obtained as a result of solving the linear programming problem are linear with respect to the vector of the values of the regression model in the statistical experiment. It is known that, by virtue of the Markov theorem, the estimates of the unknown coefficients obtained by the general procedure of the least squares method are efficient in the class of linear unbiased estimates. Thus, it would seem that the transition from the least squares method to the least absolute deviations used in the least squares method is a priori unproductive. But this is not so. From the proof of the Markov theorem, it follows that the linear estimation matrix must be constant and independent of the values of the regression model in the statistical experiment. The estimates obtained by the least absolute deviations method do not meet this condition. Indeed, the estimation matrix is the optimal basis for solving the linear programming problem by the simplex method and depends on the values of the regression model in the statistical experiment. Дана публікація продовжує цикл наукових робіт авторів по створенню алгоритмів побудови багатовимірних регресій, лінійних відносно невідомих коефіцієнтів, з використанням моделей лінійного програмування. Для спрощення імітаційного моделювання їх ефективності, алгоритми наводяться для задачі багатовимірної лінійної регресії. Використання моделей лінійного програмування вимагає мінімізувати суму модулів різниць, що використовуються в загальній процедурі метода найменших квадратів. Оцінки невідомих коефіцієнтів, отриманих внаслідок розв’язання задачі лінійного програмування, є лінійними відносно вектору значень регресійної моделі в статистичному експерименту. Відомо, що в силу теореми Маркова оцінки невідомих коефіцієнтів, отриманих загальною процедурою метода найменших квадратів, є ефективними в класі лінійних незміщених оцінок. Таким чином, здавалось би, перехід від методу найменших квадратів до методу мінімізації суми модулів різниць, що використовується в методі найменших квадратів, є заздалегідь не продуктивним. Але це не так. З доведення теореми Маркова випливає, що матриця лінійної оцінки має бути сталою і не залежати від значень регресійної моделі в статистичному експерименту. Оцінки, отримані методом мінімізації суми модулів, цій умові не відповідають. Дійсно, матриця оцінок є оптимальним базисом для розв’язання задачі лінійного програмування симплекс-методом і залежить від значень регресійної моделі в статистичному експерименту.