Logical classification based on finding regular representative elementary classifiers

Введение. Задача классификации по прецедентам является одной из основных задач интеллектуального анализа данных и формулируется следующим образом. Исследуется некоторое множество объектов М, описываемых в системе числовых признаков $x_1, \dots , x_n$. Известно, что М редставимо в виде объединения $l$ подмножеств $K_1,\dots ,K_l$, называемых классами. Дан набор объектов из М, о которых известно, каким классам они принадлежат. Это прецеденты или обучающие объекты. Требуется на базе анализа множества прецедентов построить алгоритм, определяющий класс любого объекта из М.

Дискретный или логический подход к задаче классификации предполагает, что каждый признак имеет ограниченное число допустимых значений, каждое из которых кодируется целым числом. Рассматриваемый подход имеет целью построение корректных моделей классификаторов, обеспечивающих безошибочное распознавание прецедентов.

Одними из известных направлений логической классификации являются LAD (logical analysis of data) и CVP (correct voting procedures). Каждое из направлений базируется на поиске таких фрагментов описаний прецедентов, которые позволяют отличать прецеденты из разных классов. В LAD искомые фрагменты называют логическими закономерностями, а в CVP — представительными элементарными классификаторами. Различным образом определяется понятие информативности фрагмента. В первом случае ищутся «максимальные» логические закономерности и решается сложная в вычислительном плане оптимизационная задача линейного программирования. Во втором случае ищутся «тупиковые» (в некотором смысле минимальные) представительные элементарные классификаторы, при этом возникают труднорешаемые дискретные перечислительные задачи. Направление LAD предложено в [1] и в основном развивается за рубежом. В России это направление представлено работами [2, 3]. Для направления CVP основополагающими являются публикации отечественных ученых [4-10].

Логические классификаторы наиболее эффективны в случае целочисленной информации низкой значности. Их описание может быть дано с использованием аппарата функций $k$ - значной логики ( $k\ge 2$ ). Тогда представительный элементарный классификатор (логическая закономерность) класса K является элементарной конъюнкцией над переменными $x_1, \dots , x_n$, принимающей значение 1 на описании хотя бы одного прецедента из класса K и значения 0 на описаниях всех прецедентов из других классов [6].

Поиск тупиковых представительных элементарных классификаторов класса K основан, как правило, на первоначальном анализе множества прецедентов из других классов и сводится к решению сложной перечислительной задачи, называемой монотонной дуализацией, или к обобщениям этой задачи [6, 8]. Фактически сначала строятся элементарные конъюнкции над переменными $x_1, \dots , x_n$, принимающие значение 0 на описаниях тех прецедентов, которые не принадлежат классу K, и теряющие это свой­ство при удалении хотя бы одного сомножителя. Затем из найденных конъюнкций отбираются те, которые не менее $p$ ( $p$ $k\ge 2$ 1) раз принимают значение 1 на описаниях прецедентов класса K, т. е. отбираются тупиковые $p$ -представительные элементарные классификаторы класса K (здесь $p$ -настраиваемый параметр). В данной модели классификатора, обозначаемой далее $A_0$, вычисление оценки принадлежности распознаваемого объекта классу K существляется на основе проведения классической процедуры «голосования» [2], в которой участвуют все отобранные элементарные классификаторы.

В настоящей работе предлагаются и исследуются модели $A_1$, $A_2$, $A_3$ корректных логических классификаторов, обучение которых осуществляется путем поиска для каждого класса K так называемых правильных $p$ -представительных элементарных классификаторов, т. е. таких представительных элементарных классификаторов этого класса, которые имеют ранг $p$ ( $p$ $k\ge 2$ 1) и не менее p раз принимают значение 1 на описаниях прецедентов класса K. При этом классификатор A₁ действует по схеме классификатора A₀, но в голосовании участвуют только те тупиковые p -представительные элементарные классификаторы класса K, которые имеют ранг p. Классификаторы A₂ и A₃ действуют по иной схеме. Первоначально анализируются описания прецедентов класса K и строятся элементарные конъюнкции, которые не менее p раз принимают значение 1 на описаниях прецедентов этого класса и имеют ранг p. Такие конъюнкции называются правильными элементарными классификаторами. Затем просматриваются прецеденты из других классов и в A₂ из найденных конъюнкций отбираются представительные элементарные классификаторы класса K, а в A₃ отбираются тупиковые представительные элементарные классификаторы класса K. Процедура вычисления оценки принадлежности распознаваемого объекта классу K такая же, как и в алгоритме A₀.Таким образом, на этапе обучения модель A₁ решает задачу монотонной дуализации, а модели A₂ и A₃ осуществляют поиск правильных элементарных классификаторов, базирующийся на предложенном в работе оригинальном алгоритме. Идея применения методов поиска часто встречающихся фрагментов в данных на этапе обучения логического классификатора была анонсирована авторами в [11].

Экспериментальное сравнение рассматриваемых алгоритмов на реальных и случайных модельных данных свидетельствует о целесообразности (в плане сокращения временных затрат) предлагаемого подхода к построению логических классификаторов. Получены теоретические результаты, характеризующие сложность обучения классификаторов A₂ и A₃ для случая, когда число прецедентов класса K существенно больше числа признаков n. В экспериментах значение параметра p выбиралось согласно оценке типичного ранга правильного элементарного классификатора.

1. Основные понятия. Описание классификаторов A₁, A₂ и A₃. Пусть $E_k^n, k\ge 2$ - множество наборов вида $\left({\alpha }_1,\dots , {\alpha }_n\right)$, где ${\alpha }_i\in \left\{\mathrm{0,} \mathrm{1,} \dots , k-1\right\}$.

Элементарной конъюнкцией над переменными $x_1, \mathrm{...,} x_n$ называется функция вида $x_{j_1}^{{\sigma }_1} \&\dots \& x_{j_r}^{{\sigma }_r}$, где ${\sigma }_i\in \left\{\mathrm{0,} \mathrm{1,} \dots k-1\right\}$, $x_{j_i}\in \left\{x_1,\dots , x_n\right\}$ при $i=\overline{\mathrm{1,} r}$, и при $r\ge 2$ выполнено $x_{j_q}\ne x_{j_t}$, $t=\overline{\mathrm{1,} r}$, $q=\overline{\mathrm{1,} r}$, $t\ne q$. Для краткости знак $\&$ опускается. Конъюнкция $B= x_{j_1}^{{\sigma }_1}\dots x_{j_r}^{{\sigma }_r}$ обращается в 1 на тех наборах $\left({\alpha }_1,\dots , {\alpha }_n\right)$ из $E_k^n$, в которых ${\alpha }_{j_i}= {\sigma }_i$, $i=\overline{\mathrm{1,} r}$. Множество наборов из $E_k^n$, на которых $B$ принимает значение 1, обозначается через $N_B$, а через $\mathcal{B}\left(n,k\right)$ - множество всех элементарных конъюнкций рассматриваемого вида. Не ограничивая общности, можно считать, что объекты из исследуемого множества М описаны признаками, каждый из которых принимает значения из множества $\left\{\mathrm{0,} \mathrm{1,} \dots , k-1\right\}$.

Пусть $K\in \{K_1,\dots K_l\}$. Зададим на множестве прецедентов двузначную частичную (не всюду определенную) функцию $f_K\left(x_1,\dots , x_n\right)$, которая принимает значение 1 на наборах, являющихся описаниями прецедентов класса К, и значение 0 на наборах, описывающих остальные обучающие объекты. Функция $f_K\left(x_1,\dots , x_n\right)$ называется характеристической функцией класса К. Решение задачи классификации заключается в доопределении $f_K$ на наборах, не входящих в обучающую выборку.

Далее $U_K$ и $Z_K$ обозначают соответственно множества прецедентов, на которых функция $f_K$ равна 1 и 0. Положим $\left|U_K\right|=m_1$, $\left| Z_K\right|=m_2$, $1\le p\le m_1$ (здесь и далее $\left|W\right|$ - мощность множества $W$ ).

Элементарным классификатором (ЭК) ранга r называется элементарная конъюнкция из $\mathcal{B}\left(n,k\right)$, зависящая от r переменных. ЭК $B$ называется покрытием для $Z_K$, если $N_B\cap Z_K=\varnothing$ . ЭК $B$, являющийся покрытием для $Z_K$, называется тупиковым покрытием для $Z_K$, если не существует покрытия $B^{\prime }$ для $Z_K$, такого, что $N_B \subset N_{B^{\prime }}$.

Пусть $p\in \left\{\mathrm{1,} 2. \dots ,m_1\right\}$. ЭК $B$ называется $p$ -частым в $U_K$, если $\left|N_B\cap U_K\right|\ge p$. ЭК $B$ называется $p$ -представительным для класса K, если B - p-частый в U_K и B - покрытие для Z_K. ЭК B называется тупиковым p-представительным для класса K, если B - p-частый в U_K и B - тупиковое покрытие для Z_K.

ЭК B ранга p называется правильным для U_K, если B - p-частый в U_K. ЭК B ранга p называется правильным p -представительным для класса K, если B - p-частый в U_K и B - покрытие для Z_K.

Приведем подробное описание моделей корректных классификаторов A₁, A₂ и A₃, о которых говорилось во Введении. Пусть T₁(p, K) - множество всех тупиковых правильных p-представительных ЭК для класса K; T₂(p, K) - множество всех правильных p-представительных ЭК для класса K; T₃(p, K) = T₁(p, K); $P_B^i$, $B\in {{\rm T}}_i\left(p,K\right)$, $i\in \left\{\mathrm{1,} \mathrm{2,} 3\right\}$, - число объектов S в U_K, таких, что $S\in N_B$.

На стадии обучения классификатор $A_i$, $i\in \left\{\mathrm{1,} \mathrm{2,} 3\right\}$, строит некоторое множество ЭК из ${{\rm T}}_i\left(p,K\right)$. На следующей стадии (стадии распознавания) каждый найденный ЭК $B$ участвует в процедуре голосования, заключающейся в вычислении величин $P_B^i$ и Ω $\Omega \left(B, S\right)$, где S - распознаваемый объект и Ω(В, S) = 1, если $S\in N_B$, иначе Ω(В, S) = 0. В результате получается оценка ${\Gamma }_i\left(S, K\right)$ принадлежности объекта S классу K, имеющая вид

 ${\mathrm{Г}}_{\mathit{i}}(S\mathit{,}K)=\frac{1}{\left|T_i\left(p,K\right)\right|}\sum _{B\in T_i\left(p,K\right)}{P}_B^i \Omega \left(B,S\right)$.

Объект S относится к классу с наибольшей оценкой. Если таких классов несколько, то объект относится к классу с наибольшим числом прецедентов.

В модели A₁ множество T ${{\rm T}}_1\left(p,K\right)$ строится в два этапа. Сначала анализируется множество $Z_K$ и строятся тупиковые покрытия для $Z_K$ ранга $p$. При этом решается задача монотонной дуализациии, которая относится к труднорешаемым дискретным перечислительным задачам. Затем из найденных ЭК отбираются те, которые являются p-частыми в U_K. Основная вычислительная сложность в этой модели заключается в необходимости решать задачу монотонной дуализации. Эффективность перечислительных задач принято оценивать сложностью нахождения нового решения (сложностью одного шага). В настоящее время для монотонной дуализации не построен алгоритм с полиномиальным шагом (алгоритм с полиномиальной задержкой [12]). Наиболее эффективными в практическом отношении для этой задачи являются асимптотически оптимальные алгоритмы [10].

В моделях A₂ и A₃ множества ${{\rm T}}_2\left(p,K\right)$ и ${{\rm T}}_3\left(p,K\right)$ строятся также в два этапа. Однако, в отличие от модели A₁, сначала вместо анализа множества $Z_K$ проводится анализ множества $U_K$, которое обычно меньше по мощности, чем $Z_K$, в случае, если число классов больше двух. В результате такого анализа строится множество правильных ЭК для $U_K$ ранга $p$. На втором этапе в моделях A₂ и A₃ из найденных ЭК отбираются соответственно покрытия для $Z_K$ и тупиковые покрытия для $Z_K$.

В настоящей работе при реализации классификаторов A₁, A₂ и A₃ к исходным данным применялась известная процедура one-hot кодирования [9]. В результате классификаторы работали с бинарными описаниями объектов. Для поиска правильных ЭК в бинарных данных разработан алгоритм ADR, описание которого приведено в разд. 2.

2. Алгоритм ADR поиска правильных ЭК. Типичное число правильных ЭК. Обозначим через L матрицу, строками которой являются бинарные описания объектов класса K, полученные с помощью one-hot кодирования.

Пусть Q - набор различных столбцов матрицы L, L^Q - подматрица матрицы L образованная набором Q. Набор столбцов Q называется p-частым, если L^Q содержит не менее p строк, все элементы которых равны 1. Набор столбцов Q называется p-правильным, если он p-частый и его мощность равна p. Несложно видеть, что поиск всех правильных ЭК ранга p эквивалентен поиску всех p-правильных наборов столбцов матрицы L.

Обозначим через $R\left(L, p\right)$ множество всех столбцов матрицы L, имеющих не менее p элементов, равных 1. Пронумеруем столбцы матрицы L слева направо, начиная с 1. Пусть $e_1\left(R\right)$ и $e_2\left(R\right)$ - столбцы соответственно с наименьшим номером и наибольшим номером из $R$, $R\subseteq R\left(L, p\right)$. Через $U_p\left(L\right)$ обозначим множество всех p-частых наборов столбцов матрицы L, мощность которых не превосходит p. Алгоритм ADR строит множество всех p-правильных наборов столбцов матрицы L, перечисляя с полиномиальной задержкой наборы из $U_p\left(L\right)$.

Определим порядок, в котором происходит перечисление наборов из $U_p\left(L\right)$. На первом шаге рассматривается набор $Q=\left\{e_1\left(R\left(L,p\right)\right)\right\}$.

Пусть на шаге $i \left(i\ge 1\right)$ построен набор $Q\in U_p\left(L\right)$, состоящий из столбцов с номерами $j_1,\dots , j_r$, $j_1<\dots < j_r$, $r\le p$. Если $Q=\left\{e_2\left(R\left(L,p\right) \right)\right\}$, то алгоритм заканчивает работу. Если же $Q\ne \left\{e_2\left(R\left(L,p\right) \right)\right\}$, то на шаге $i+1$ алгоритм ADR строит новый набор ΔQ из $U_p\left(L\right)$. При этом возможны два случая: $r<p$ и $r=p$. В первом случае алгоритм строит ΔQ согласно приведенным ниже правилам 1 - 4 . Во втором случае алгоритм строит ΔQ по правилам 2 - 4.

Для описания правил построения ΔQ введем обозначения: $Q_t$, $t=\overline{\mathrm{1,} r}$, - набор столбцов матрицы $L$ с номерами $j_1,\dots , j_t$; $R_t$, $t=\overline{\mathrm{1,} r}$, - множество столбцов в $R\left(L,p\right)$, номера которых больше $j_t$; $G_t$, $t=\overline{\mathrm{1,} r}$, $r<p$, - множество столбцов из $R_t$, каждый из которых в объединении со столбцами из $Q_t$ образует набор из $U_p\left(L\right)$. Положим $G_r= \varnothing$ в случае $r=p$.

Заметим, что в случае $r<p$ для построения $G_t$ в $L$ нужно оставить только те столбцы, номера которых больше $j_t$ и которые имеют не менее $p$ элементов, равных 1 в подматрице, полученной после удаления из $L$ строк, дающих 0 в пересечении со столбцами с номерами $j_1,\dots , j_t$.

Положим $Q_0=\varnothing$ и $G_0$ = $\varnothing$. Перечислим возможные случаи и в каждом из них укажем правила построения ΔQ:

Заметим, что $R_r\ne \varnothing$ при $r=1$, так как $Q\ne \left\{e_2\left(R\left(L, p\right) \right)\right\}$, и $G_{r-2}\cap R_{r-1}\ne \varnothing$ при ${{\rm T}}_2\left(p,K\right)$, так как столбец с номером $j_r$ принадлежит этому множеству.

Из описания работы алгоритма ADR видно, что в его основе лежит процесс ветвления, который удобно представить в виде обхода дерева решений в глубину. Вершинами этого дерева являются наборы из $U_p\left(L\right)$, причем $p$ -правильные наборы столбцов находятся среди висячих вершин. Через $L_K$ обозначим матрицу, строками которой являются описания прецедентов класса $K$. Правильные ЭК порождаются квадратными подматрицами матрицы $L_K$, состоящими из одинаковых строк. Такие подматрицы назовем правильными.

Ниже приведены асимптотические оценки типичных значений числа правильных подматриц целочисленной матрицы $L_K$ и порядка такой подматрицы в случае большого числа строк матрицы $L_K$. Пусть $M_{mn}^k$ - множество всех целочисленных матриц размера $m\times n$ с элементами из $\left\{\mathrm{0,} \mathrm{1,} \dots , k-1\right\}$; $S\left(L\right)$, $L\in M_{mn}^k$, - множество правильных подматриц в матрице $L$; ${\varphi }_k\left(m, n\right)$ - интервал (0 , $r\left(k, m, n\right))$, где $r\left(k, m, n\right)=$ 0.5log_kmn - 0.5log_klog_kmn + log_klog_klog_kn; $b_n~c_n$, $n \to \infty$ означает, что $li{m}_{n\to \infty }{b}_n/c_n=1$.

Теорема. Если $n^{\alpha }\le m\le k^n$, $\alpha > 1$, то при $n \to \infty$ для почти всех матриц $L$ из $M_{mn}^k$ справедливо

 $\left|S\left(L\right)\right| ~{\displaystyle \sum }_{r\in {\varphi }_k\left(m, n\right)}{C}_n^r{C}_m^r{k}^{r-r^2}$.

и порядки почти всех подматриц из $S\left(L\right)$ принадлежат интервалу ${\varphi }_k\left(m, n\right)$.

Доказательство теоремы аналогично доказательству теоремы 3 из [13], в которой при тех же ограничениях на $m$ и $n$ получена асимптотическая оценка типичного числа так называемых $\sigma$ -подматриц матрицы $L$, служащая верхней оценкой числа тупиковых покрытий для $Z_K$ при условии, что $\left| Z_K\right|=m$.

Приведенная в теореме оценка типичного порядка подматрицы из $S\left(L\right)$ косвенно свидетельствуют о том, что в случае, когда число прецедентов $m_1$ класса $K$ существенно больше числа признаков $n$, типичный ранг правильного ЭК в $U_K$ не превосходит $r\left(k, m_1, n\right)$.

Замечание 1. В работе [14] получены асимптотические оценки типичного числа правильных ЭК в $U_K$ для двух случаев: 1) $m_1{}^a\le n\le k^{m_1}{}^{\beta }$, $a > 1$, $\beta <1$; 2) $n\le m_1\le k^{n^{\beta }}$, $\beta <1/2$. Авторами показано, что типичный ранг правильного ЭК в $U_K$ в случаях 1) и 2) соответственно принадлежит интервалу ${\varphi }_k\left(m_1, n\right)$ и не превосходит ${\text{log}}_k{m}_1+{\text{log}}_k{\text{log}}_k{m}_1$.

3. Результаты экспериментов. Результаты счета на реальных целочисленных задачах приведены в таблице. Задачи взяты из репозитория UCI [archive.ics.uci.edu] и репозитория ВЦ ФИЦ ИУ РАН. Описанные выше алгоритмы А₁, А₂, А₃ оценивались по качеству классификации и по времени обучения. Алгоритмы реализованы на языке программирования C++. В тестировании на качество классификации также участвовали такие известные алгоритмы, как случайный лес (RF) и логистическая регрессия (LR). Дополнительная настройка алгоритмов RF и LR не производилась.

Таблица 1.

Результаты счета усреднялись по 10 случайным независимым разбиениям прецедентов, 80% которых использовалось для обучения моделей, а 20% — для оценки качества классификации. В каждом из разбиений распределение прецедентов по классам сохранялось неизменным.

В таблице последовательно указаны результаты счета для следующих задач: Манелис, Остеосаркома, Крестики-нолики (UCI), Инсульт, Шахматы (UCI), Молекулярная Биология 1 (UCI), Задача 5, Молекулярная Биология 2 (UCI). Для каждой задачи указаны число прецедентов m, число признаков n₁ полученное после one-hot перекодировки, число классов l и ранг $p_i$, $i\in \left\{\mathrm{1,} \mathrm{2,} \dots ,l \right\}$, голосующих ЭК класса $K_i$. Время работы алгоритмов указано в миллисекундах. Функционалом качества выбрана сбалансированная точность классификации, вычисляемая по формуле

$\psi ={\displaystyle \sum }_{i=1}^l{q}_i/l ,$

где $q_i$ — доля верно классифицированных объектов класса $K_i$. Данный функционал хорошо себя зарекомендовал при несбалансированных классах. В случае равномощных классов сбалансированная точность совпадает с долей верно классифицированных объектов.

Как видно из таблицы, модель $A_2$ превосходит по качеству и времени работы модели $A_1$ и $A_3$ на всех рассмотренных данных, кроме задачи Крестики-нолики, и в среднем не уступает по качеству ни случайному лесу, ни логистической регрессии. На трех задачах (Крестики-нолики, Инсульт, Молекулярная Биология 1) модель $A_2$ превосходит все модели.

Модель $A_1$ работает существенно медленнее модели $A_3$ при том, что оба алгоритма строят множество всех тупиковых $p$ -представительных ЭК ранга $p$. Однако модель $A_1$ на первом этапе обучения ищет тупиковые покрытия для ${\text{Z}}_K$ ранга $p$, а модель $A_3$ перечисляет правильные ЭК ранга $p$ для $U_K$. Стоит отметить, что на шести задачах (Манелис, Остеосаркома, Крестики-нолики, Инсульт, Шахматы, Задача 5) модели $A_2$ и $A_3$ обучались менее чем за 1 с, что свидетельствует об их высокой вычислительной эффективности.

Замечание 2. В экспериментах ранг $p_i$, $i\in \left\{ \mathrm{1,} \mathrm{2,} \dots ,l \right\}$, голосующих ЭК класса $K_i$ брался равным числу$0.5{\log }_2{m}_i{n}_1 - 0.5{\log }_2{\log }_2{m}_i{n}_1 - {\log }_2{\log }_2{\log }_2{n}_1$, где $m_i$ - число прецедентов класса $K_i$. Обучение с таким рангом в среднем показывало лучшее качество по сравнению с обучением с другими значениями ранга $p_i$, также принадлежащими интервалу ${\varphi }_2\left(m_i, n_1\right)$.

На рис. 1, 2 приведено время обучения моделей $A_1$ и $A_2$ на случайных модельных данных из равномерного распределения при $l=2$, $k=2$, $m_1$ - число прецедентов в каждом классе, $n_1$ - число признаков. Результаты счета усреднены по 20 независимым запускам. Время работы алгоритмов указано в секундах. Время счета модели $A_3$ не приводится на графиках, так как в рассматриваемых примерах оно практически совпадает с временем работы $A_2$.

Рис. 1. Зависимость времени обучения моделей $A_1$ и $A_2$ от числа признаков при $m_1=250$

Рис. 2. Зависимость времени обучения моделей $A_1$ и $A_2$ от числа прецедентов при $n_1=100$

На рис. 1 показан экспоненциальный рост временных затрат на этапе обучения классификаторов $A_1$ и $A_2$ при $m_1=250$ в зависимости от числа признаков $n_1$. Видно, что при относительно небольшом $n_1$ разрыв во времени счета для А₁ и А₂ незначителен. При $n_1\ge 150$ алгоритм А₁ работает значительно медленнее алгоритма А₂. Например, А₁ обучается примерно в 1.3 раза медленнее А₂ при $n_1=150$, а при $n_1=250$ - в 1.7 раз медленнее.

На рис. 2 продемонстрирован линейный рост временных затрат на этапе обучения классификаторов А₁ и А₂ при $n_1=100$ в зависимости от числа прецедентов $m_1$. Видно, что время работы А₁ растет быстрее по сравнению с временем работы А₂. Например, А₁ обучается примерно в 1.2 раза медленнее А₂ при $m_1=100$ и почти в 2 раз медленнее при $m_1=700$.

Заключение. Исследованы актуальные вопросы снижения временных затрат, возникающие при логическом анализе данных в задачах классификации на основе прецедентов. Предложены новые модели корректного голосования, базирующиеся на поиске в описаниях прецедентов каждого класса правильных ЭК ранга $p$ ( $p$ - настраиваемый параметр модели). Разработан эффективный алгоритм для перечисления искомых правильных ЭК. Получена верхняя асимптотическая оценка типичного числа правильных ЭК для случая, когда число прецедентов существенно больше числа признаков. При этом указан типичный ранг правильного ЭК, который использован в экспериментах для выбора параметра $p$. Теоретические выводы подтверждены результатами экспериментального исследования на реальных и случайных модельных данных. А именно показано, что время обучения модели $A_1$, базирующейся на решении задачи монотонной дуализации, растет быстрее времени обучения модели $A_2$, основанной поиске правильных ЭК.