Модифицированные робастные гребневые оценки для определения выбросов

Abstract

Оценки наименьших квадратов (LSE), в множественной линейной регрессии, когда предсказатели сильно коррелированы, дают низкую точность предсказания. Гребневая регрессия, являясь регуляризованной версией регрессии на основе метода наименьших квадратов, основываясь на минимизации квадратичной функции потерь, чувствительна к выбросам. Рассмотрены сглажено сниженные ψ-функции, которые приводят к асимптотически эффективным оценкам. Для получения результирующих робастных гребневых оценок для выявления выбросов используется метод итеративно ревзвешенных наименьших квадратов (IRLS) на основе рассмотренной ψ-функции. Результаты моделирования подтверждают полученные теоретические выводы. Получена сходимость к итоговым оценкам коэффициентов с меньшим количеством итераций, чем без применения гребневой регрессии. Объединенные робастные и гребневые оценки позволяют получить стабильные коэффициенты и остатки, которые помогают определить истинные коэффициенты и выбросы.

Least squares estimates (LSE), in a multiple linear regression when the predictors are strongly correlated, give low prediction accuracy. Ridge regression, being regularized version of the regression based on least squares based on the minimization of a quadratic loss function, sensitive to outliers. Smoothly redescending ψ-functions, which lead to asymptotically efficient estimates are considered. The Iteratively Re-weighted Least Squares (IRLS) method based on the considered ψ-functions is used to obtain the resulting robust ridge estimates to detect outliers. Simulation results confirm the received theoretical conclusions. The convergence is obtained to the final estimates of the coefficients with smaller number of iterations than without using ridge regression. The combined robust ridge estimates allow to obtain stable coefficients and residuals which help in determining true coefficients and outliers.