Ordinary least squares estimation of non-elementary linear regressions parameters with uniformly quantized explanatory variables

Full Text

Введение. Для выявления скрытых знаний в статистических данных в настоящее время весьма эффективны методы регрессионного анализа [1]. Эта область машинного обучения активно развивается в последние годы и не ограничивается только лишь оцениванием параметров, известных широкому кругу специалистов линейных регрессионных моделей методом наименьших квадратов (МНК). Так, например, в [2] предложен подход к построению нечетких регрессионных моделей, в [3] разработан эффективный алгоритм динамического оценивания параметров регрессий с помощью метода наименьших модулей, в [4] предложен метод, устойчивый к наличию экстремальной стационарной координатной помехи, в [5] сформулирован алгоритм оценки модели полиномиальной логит-регрессии.

Реальные статистические зависимости между выходной и входными переменными редко носят линейный характер, поэтому актуальной задачей является поиск новых, вполне интерпретируемых нелинейных математических форм связи между исследуемыми факторами. Такие формы иначе называют структурными спецификациями регрессионных моделей. Среди таких новых спецификаций хотелось бы выделить неэлементарные линейные регрессии [6], содержащие в уравнении модели бинарные операции min и max. Позднее эти регрессии были обобщены [7] с использованием тернарных, кватернарных, …, l-aрных операций min и max. Частным случаем такой спецификации можно считать производственную функцию Леонтьева. В [8] введены модульные линейные регрессии, в которых объясняющие переменные преобразуются с помощью операции модуль, и предложен алгоритм точного оценивания их параметров методом наименьших модулей, а в [9] – алгоритм приближенного МНК-оценивания.

Операции min, max и модуль носят дискретный характер. К ним же относится операция «антье» $\left[x\right]$ – целая часть вещественного числа $x$. Цель данной статьи состоит в создании новой спецификации регрессионных моделей, включающей операции «антье», а также алгоритма оценивания её параметров с помощью МНК.

1. Регрессии с квантованными объясняющими переменными. Впервые операцию $\left[x\right]$ ввёл К. Ф. Гаусс более 200 лет назад. Как отмечено в [10], эта операция округляет $x$ до ближайшего целого числа в меньшую сторону. Например, $\left[6.2\right]=6$, $\left[6.5\right]=6$, $\left[6.9\right]=6$. Операции округления $x$ до ближайшего целого в большую сторону не существовало, пока в начале 60-х годов К. Э. Айверсон [11] не ввел названия «пол» (floor) и «потолок» (ceiling). Эти операции обозначаются $⌊x⌋$ и $⌈x⌉$ соответственно и строго определяются по следующим правилам:

$⌊x⌋=\max \left\{n|n\le x,n-\text{ целое}\right\}$, $⌈x⌉=\min \left\{n|n\ge x,n-\text{ целое}\right\}$.

Таким образом, операция пол $⌊x⌋$ – округление $x$ до ближайшего целого числа в меньшую сторону, т.е. $\left[x\right]=⌊x⌋$, а операция потолок $⌈x⌉$ – округление в большую сторону. Подробное описание свойств этих функций можно найти в работах [10, 12].

В этой связи функция округления $x$ до ближайшего целого числа может быть записана в виде:

$f\left(x\right)=⌊x+\mathrm{0,5}⌋$ (1)

Например, $f\left(\mathrm{6,2}\right)=⌊\mathrm{6,2}+\mathrm{0,5}⌋=⌊\mathrm{6,7}⌋=6$, $f\left(\mathrm{6,9}\right)=⌊\mathrm{6,9}+\mathrm{0,5}⌋=⌊\mathrm{7,4}⌋=7$.

Обобщением функции (1) является так называемый равномерный квантователь (quantizer):

$f\left(x\right)=k⌊\frac{x}{k}+\mathrm{0,5}⌋$ (2)

где $k>0$ – шаг квантования.

Тот же самый квантователь (2) можно записать через операцию потолок:

$f\left(x\right)=k⌈\frac{x}{k}-\mathrm{0,5}⌉$.

Квантование в математике и цифровой обработке сигналов [13, 14] – процесс преобразования входных значений в выходные в меньшем объеме. Разница между входным значением и его квантованным значением называется ошибкой квантования.

Графики квантователя (2) при $k=1$ и при $k=\mathrm{0,2}$ на промежутке $x\in [-\mathrm{2,2}]$ представлены на рис. 1 (а), (б).

Рис. 1. Графики функции (2)

Как видно по рис. 1, при $k=1$ расстояние между соседними квантованными значениями (уровнями) равно 1, а при $k=\mathrm{0,2}$ соответственно 0,2. При $k\to 0$ ступенчатые графики на рис. 1 трансформируются в обычные прямые линии.

Функции (2) в настоящее время активно применяются при квантовании нейронных сетей (см., например, [15]). Интересная идея обсуждается в работе [16], в которой авторы предлагают следующее обобщение функции (2):

$f\left(x\right)=k⌊\frac{x}{k}+b⌋$ (3)

где $b$ – граница округления.

В [17] проведены теоретические исследования методов глубокого обучения нейронных сетей с использованием квантователя (2).

Используя квантователь (3), введем в рассмотрение неэлементарные линейные регрессии (НЛР) с квантованными объясняющими переменными:

$y_i={\alpha }_0+\sum _{j=1}^l{\alpha }_j{k}_j⌊\frac{x_{ij}}{k_j}+b_j⌋+{\epsilon }_i$ (4)

где $y_i$ – наблюдаемое значение выходной переменной $y$ под номером $i$; $x_{ij}$ – наблюдаемое значение входной переменной $x_j$ под номером $i$; $n$ – общее количество наблюдаемых значений; $l$ – общее количество входных переменных; ${\alpha }_j$, $j=\overline{\mathrm{0,}l}$ – неизвестные параметры; $k_j>0$ – неизвестный шаг квантования входной переменной $x_j$; $b_j$ – неизвестная граница округления входной переменной $x_j$; ${\epsilon }_i$ – ошибка аппроксимации в i-м наблюдении.

Модель (4), как и все известные НЛР, относится к нелинейным по оцениваемым параметрам. Несколько упростим её. Будем рассматривать НЛР (4) с границами округления $b_j=\mathrm{0,5}$, $j=\overline{\mathrm{1,}l}$, т.е. НЛР, в которой квантование переменных подразумевает округление до ближайшего целого значения:

$y_i={\alpha }_0+\sum _{j=1}^l{\alpha }_j{k}_j⌊\frac{x_{ij}}{k_j}+\mathrm{0,5}⌋+{\epsilon }_i$,   $i=\overline{\mathrm{1,}n}$ (5)

Шаги квантования $k_j$, $j=\overline{\mathrm{1,}l}$ в НЛР (5) по определению положительны. Определимся с областью возможных значений шагов квантования. Сделаем это сначала для модели с одной объясняющей переменной вида:

$y_i={\alpha }_0+{\alpha }_1{k}_1⌊\frac{x_{i1}}{k_1}+\mathrm{0,5}⌋+{\epsilon }_i$, $i=\overline{\mathrm{1,}n}$. (6)

Если в НЛР (6) операция $⌊\frac{x_{i1}}{k_1}+\mathrm{0,5}⌋$ будет принимать одно и то же значение $\theta \in \mathbb{Z}$ для любого наблюдения $i$, то из-за вхождения в модель свободного члена ${\alpha }_0$ возникнет совершенная мультиколлинеарность, из-за которой становится невозможно единственным образом идентифицировать МНК-оценки. Определим возможные значения шага квантования $k_1$, при которых в регрессии (6) возникает совершенная мультиколлинеарность. Известно [10], что пол $⌊x⌋=\theta$ тогда и только тогда, когда

$\theta \le x<\theta +1$.

Тогда совершенная мультиколлинеарность в НЛР (6) возникает тогда, когда шаг квантования $k_1$ удовлетворяет системе линейных неравенст

$\theta \le \frac{x_{i1}}{k_1}+\mathrm{0,5}<\theta +1$,   $i=\overline{\mathrm{1,}n}$, $k_1>0$, $\theta \in \mathbb{Z}$. (7)

Пусть переменная $x_1$ принимает как положительные, так и отрицательные значения. Очевидно, что при бесконечно больших значениях шага квантования $k_1$, операция $⌊\frac{x_{i1}}{k_1}+\mathrm{0,5}⌋$ будет равна нулю для любого $i$. Определим, начиная с какого значения $k_1$ это будет происходить. Для этого подставим в систему (7) $\theta =0$. Получим

$-\mathrm{0,5}{k}_1\le x_{i1}<\mathrm{0,5}{k}_1$,   $i=\overline{\mathrm{1,}n}$, $k_1>0$. (8)

Очевидно, что всегда найдется число $k_1$ такое, что множество решений системы (8) не пусто. Из (8) следует, что операция $⌊\frac{x_{i1}}{k_1}+\mathrm{0,5}⌋$ в любом наблюдении обращается в нуль, если

$k_1>\max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ (9)

Заметим, что неравенство (9) справедливо тогда, когда в операции $\max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ сработала компонента с положительным наблюдением переменной $x_1$, иначе строгий знак неравенства в (9) нужно заменить на нестрогий.

Таким образом, верхнее ограничение на шаг квантования $k_1$ для НЛР (6), как следует из вышесказанного, имеет вид

$k_1\le \max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ или $k_1<\max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$.

Далее будем использовать только первое неравенство с нестрогим знаком.

К сожалению, внутри промежутка $0<k_1\le \max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ могут быть точки, удовлетворяющие системе (7), т.е. точки, в которых в модели (6) возникает совершенная мультиколлинеарность. Рассмотрим возможные случаи.

Случай № 1. Среди значений переменной $x_1$ есть как положительные, так и отрицательные. В таком случае множество решений системы (7) пусто для любого $\theta \ne 0$, поэтому внутри промежутка $0<k_1\le \max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ отсутствуют точки с совершенной мультиколлинеарностью. Сюда же можно отнести случай, когда среди значений переменной $x_1$ есть хотя бы 1 нуль.

Случай № 2. Все значения переменной $x_1$ положительны. В этом случае система (7) может иметь решения при $\theta >0$, которые можно записать в виде:

$\max \left\{\frac{x_{11}}{\theta +\mathrm{0,5}}\mathrm{,...,}\frac{x_{n1}}{\theta +\mathrm{0,5}}\right\}<k_1\le \min \left\{\frac{x_{11}}{\theta -\mathrm{0,5}}\mathrm{,...,}\frac{x_{n1}}{\theta -\mathrm{0,5}}\right\}$, $\theta >0$, $\theta \in \mathbb{Z}$. (10)

Поэтому из промежутка $0<k_1\le \max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ нужно исключить точки, удовлетворяющие ограничениям (10).

Случай № 3. Все значения переменной $x_1$ отрицательны. В этом случае система (7) при $\theta <0$ может иметь следующие решения:

$\max \left\{\frac{x_{11}}{\theta +\mathrm{0,5}}\mathrm{,...,}\frac{x_{n1}}{\theta +\mathrm{0,5}}\right\}\le k_1<\min \left\{\frac{x_{11}}{\theta -\mathrm{0,5}}\mathrm{,...,}\frac{x_{n1}}{\theta -\mathrm{0,5}}\right\}$, $\theta <0$, $\theta \in \mathbb{Z}$. (11)

Следовательно, из промежутка $0<k_1\le \max \left\{\left|2x_{11}\right|,\left|2x_{21}\right|\mathrm{,...,}\left|2x_{n1}\right|\right\}$ нужно исключить точки, удовлетворяющие ограничениям (11).

В зависимости от конкретной ситуации, исходя из вышеуказанного, можно определить область возможных значений шага квантования $k_1$ в модели (6). Тогда для любой точки из этой области легко вычисляются МНК-оценки параметров ${\alpha }_0$ и ${\alpha }_1$ регрессии. Поэтому, взяв некоторое количество точек из области возможных значений параметра $k_1$, оценив в каждой из них линейную относительно параметров ${\alpha }_0$ и ${\alpha }_1$ модель, и выбрав регрессию с минимальной величиной суммы квадратов ошибок, получим близкие к оптимальным оценки НЛР (6). Мера такой близости зависит от величины шага разбиения области значений параметра $k_1$: чем меньше шаг, тем ближе оценки к оптимальным, но тем выше вычислительная сложность задачи. Таким образом, на основании вышеизложенного можно сформулировать следующий алгоритм приближенного МНК-оценивания параметров НЛР (5).

Шаг 1. Сформировать области возможных значений шагов квантования входных переменных. При этом:

• если среди значений j-й переменной есть как положительные, так и отрицательные, либо хотя бы одно нулевое значение, то область имеет вид

$0<k_j\le \max \left\{\left|2x_{1j}\right|,\left|2x_{2j}\right|\mathrm{,...,}\left|2x_{nj}\right|\right\}$; (12)

• если все значения j-й переменной положительны, то ограничение (12) требуется дополнить условиями

$\max \left\{\frac{x_{1j}}{\theta +\mathrm{0,5}}\mathrm{,...,}\frac{x_{nj}}{\theta +\mathrm{0,5}}\right\}<k_j\le \min \left\{\frac{x_{1j}}{\theta -\mathrm{0,5}}\mathrm{,...,}\frac{x_{nj}}{\theta -\mathrm{0,5}}\right\}$, $\theta >0$, $\theta \in \mathbb{Z}$; (13)

• если все значения j-й переменной отрицательны, то ограничение (12) следует дополнить условиями

$\max \left\{\frac{x_{1j}}{\theta +\mathrm{0,5}}\mathrm{,...,}\frac{x_{nj}}{\theta +\mathrm{0,5}}\right\}\le k_j<\min \left\{\frac{x_{1j}}{\theta -\mathrm{0,5}}\mathrm{,...,}\frac{x_{nj}}{\theta -\mathrm{0,5}}\right\}$, $\theta <0$, $\theta \in \mathbb{Z}$.

Шаг 2. Выбрать в каждой области некоторое количество точек.

Шаг 3. Используя выбранные точки вместо шагов квантования переменных в (5), оценить с помощью МНК параметры всех возможных линейных регрессий (5).

Шаг 4. Выбрать лучшую модель, например, по величине коэффициента детерминации $R^2$.

2. Вычислительные эксперименты. Вычислительные эксперименты проводились с использованием искусственно сгенерированных статистических данных, представленных в первых трех столбцах таблицы 1. Для оценивания параметров НЛР по предложенному алгоритму в эконометрическом пакете Gretl был написан специальный скрипт на языке hansl. При этом для округления значений использована встроенная функция floor.

Таблица 1. Статистические данные

Эксперимент № 1. Сначала по этим данным с помощью МНК была построена парная линейная регрессия вида:

$\tilde{y}=-\mathrm{1,3139}+\mathrm{1,4491}{x}_1$, (14)

для которой $R^2=\mathrm{0,3994}$.

Затем с помощью разработанного алгоритма оценивались параметры НЛР (6) с квантованной переменной $x_1$. Поскольку все значения этой переменной положительны, то на первом шаге алгоритма область возможных значений шага квантования $k_1$ определялась из неравенств (12), (13). Перебирая различные комбинации переменной $\theta$ в (13), оказалось, что эта система неравенств решений не имеет. Тогда область возможных значений шага квантования

$0<k_1\le \mathrm{22,6}$. (15)

На втором шаге алгоритма на промежутке (15) равномерно были выбраны точки (начальное значение – 0,01, шаг – 0,01). На третьем шаге с помощью МНК оценивались параметры уже линейных регрессий (6). На рис. 2 представлен график зависимости полученных коэффициентов детерминации $R^2$ оцененных регрессий от шага квантования $k_1$. Заметим, что промежуток (15) был взят несколько шире.

Рис. 2. Зависимость R² от k₁

По рис. 2 видно, что когда шаг квантования $k_1$ мал, то коэффициент детерминации НЛР (6) близок к коэффициенту линейной регрессии (14). На промежутке $0<k_1\le \mathrm{2,4}$ частота изменения $R^2$ очень высока, а, начиная со значения 2,4, она постепенно снижается. Амплитуда же, наоборот, сначала низкая, а потом постепенно разрастается. При $k_1>\mathrm{22,6}$ коэффициент детерминации равен 0, поскольку возникает совершенная мультиколлинеарность. Ни в каких других точках он в нуль не обращается. Полученные результаты подтверждают корректность вышеописанных математических рассуждений. Своё наибольшее значение 0,49021 коэффициент $R^2$ достигает на промежутке $\mathrm{2,52}\le k_1\le \mathrm{2,63}$. При $k_1=\mathrm{2,6}$ НЛР (6) имеет вид:

$\tilde{y}=-\mathrm{2,7366}+\mathrm{1,6381}⌊\frac{x_1}{\mathrm{2,6}}+\mathrm{0,5}⌋$.

Значения квантователя $\mathrm{2,6}⌊\frac{x_1}{\mathrm{2,6}}+\mathrm{0,5}⌋$ представлены в четвертом столбце табл. 1. Тем самым, при квантовании переменной $x_1$ удалось повысить качество линейной регрессии (14) по коэффициенту детерминации с 0,3994 до 0,49021.

Эксперимент № 2. Аналогичным образом строились зависимости $y$ от $x_2$. Оцененная с помощью МНК парная линейная регрессия имеет вид

$\tilde{y}=-\mathrm{3,092}+\mathrm{1,1219}{x}_2$, (16)

а её коэффициент $R^2=\mathrm{0,5358}$.

Область возможных значений шага квантования $k_2$ также определялась из неравенств (12), (13). Но в этот раз оказалось, что система (13) имеет решения

$\theta =1$, $\mathrm{10,097}<k_2\le \mathrm{12,032}$.

Поэтому область возможных значений шага квантования

$k_2\in \left(\mathrm{0,10.097}\right]\cup \left(\mathrm{12.032,30.29}\right)$. (17)

На промежутке (17) равномерно были выбраны точки (начальное значение – 0,01, шаг – 0,01). График зависимости полученных коэффициентов детерминации $R^2$ оцененных линейных регрессий от шага квантования $k_2$ представлен на рис. 3.

Рис. 3. Зависимость R² от k₂

По рис. 3 видно, что коэффициент детерминации оказался равен 0 в точках, не принадлежащих промежутку (17). Полученные результаты вновь согласуются с описанной выше математической теорией. Своё наибольшее значение 0,66779 коэффициент $R^2$ достигает на промежутке $\mathrm{4,02}\le k_2\le \mathrm{4,07}$. При $k_2=\mathrm{4,05}$ НЛР имеет вид:

$\tilde{y}=-\mathrm{2,9445}+\mathrm{1,0714}⌊\frac{x_2}{\mathrm{4,05}}+\mathrm{0,5}⌋$.

Значения квантователя $\mathrm{4,05}⌊\frac{x_2}{\mathrm{4,05}}+\mathrm{0,5}⌋$ представлены в пятом столбце табл. 1. Тем самым, при квантовании переменной $x_2$ удалось повысить качество линейной регрессии (16) по коэффициенту детерминации с 0,5358 до 0,6678.

Эксперимент № 3. Строились зависимости $y$ от $x_1$ и $x_2$. Сначала была получена модель множественной линейной регрессии вида:

$\tilde{y}=-\mathrm{9,9341}+\mathrm{1,2194}{x}_1+\mathrm{0,9963}{x}_2$, (18)

для которой $R^2=\mathrm{0,811975}$.

Для построения НЛР (5) с квантованными переменными $x_1$ и $x_2$ были использованы те же области возможных шагов квантования (15) и (17). На этих промежутках равномерно были выбраны точки (начальное значение – 0,1, шаг – 0,1). Решив переборную задачу, была получена следующая НЛР:

$\tilde{y}=-\mathrm{11,679}+\mathrm{1,406}⌊\frac{x_1}{\mathrm{3,6}}+\mathrm{0,5}⌋+\mathrm{1,038}⌊\frac{x_2}{\mathrm{2,1}}+\mathrm{0,5}⌋$,

для которой $R^2=\mathrm{0,924549}$.

Значения квантователей $\mathrm{3,6}⌊\frac{x_1}{\mathrm{3,6}}+\mathrm{0,5}⌋$ и $\mathrm{2,1}⌊\frac{x_2}{\mathrm{2,1}}+\mathrm{0,5}⌋$ представлены в шестом и седьмом столбцах табл. 1. Как видно, при квантовании переменных $x_1$ и $x_2$ удалось повысить качество линейной регрессии (18) по коэффициенту детерминации с 0,811975 до 0,924549.

Заключение. В статье предложены и исследованы неэлементарные линейные регрессии с квантованными объясняющими переменными. Результаты исследований позволили разработать алгоритм приближенного МНК-оценивания параметров предложенных моделей. Применение разработанного алгоритма при обработке искусственно сгенерированных статистических данных показало, что при квантовании объясняющих переменных качество регрессионных моделей может ощутимо улучшаться.

К сожалению, разработанный и описанный в статье алгоритм не гарантирует нахождения оптимальных МНК-оценок и шагов квантования переменных в неэлементарной линейной регрессии. Однако области возможных значений неизвестных параметров удалось идентифицировать однозначно, поэтому при разбиении этих областей как можно большим количеством точек будет получаться решение, мало отличающееся от оптимального. Таким образом, разработанный в статье математический и алгоритмический аппарат можно успешно применять для решения реальных прикладных задач анализа данных в различных предметных областях. Для этого, в первую очередь, возникает необходимость в разработке вместо скрипта пакета Gretl специализированного программного обеспечения, имеющего интерфейс. Научный интерес вызывает проведение сравнительного анализа качества решения конкретных задач моделирования с использованием разработанных ранее неэлементарных линейных регрессий (с операциями минимум, максимум и модуль) и новых спецификаций (с операциями пол и потолок).

About the authors

Mikhail P. Bazilevskiy

Author for correspondence.
Email: mik2178@yandex.ru
ORCID iD: 0000-0002-3253-5697
SPIN-code: 4347-5028

Associate professor, candidate of technical sciences

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Graphs of function (2)

Download (29KB)

Indexing metadata

3. Fig. 2. Dependence of R2 on k1

Download (96KB)

Indexing metadata

4. Fig. 3. Dependence of R2 on k2

Download (98KB)

Indexing metadata