Higher-Order Iterative Learning Control Algorithms for Linear Systems

Толық мәтін

1. ВВЕДЕНИЕ

Методы и алгоритмы управления с итеративным обучением появились как инструмент повышения точности выполнения повторяющихся операций роботами (см. [1]). После появления пионерской работы [1], в силу относительной простоты и естественной структуры конечных алгоритмов, управление с итеративным обучением (УИО) быстро приобрело широкую популярность, как среди теоретиков, так и среди практиков. Для первоначального знакомства с этим активно развивающимся направлением можно рекомендовать обзоры [2], [3], а также недавнюю монографию [4]. В настоящее время алгоритмы УИО находят эффективное применение в аддитивных производствах, в частности, в установках высокоточного многослойного лазерного напыления (см. [5], [6]) в медицинских роботах для реабилитации больных, перенесших инсульт (см. [7], [8]), в устройствах поддержки желудочка сердца (см. [9]) и в других многочисленных приложениях.

Одной из важнейших задач является повышение скорости сходимости алгоритмов УИО. Для решения этой задачи используются различные подходы. В настоящей работе предлагается подход, мотивированный идеей многошаговых методов в теории оптимизации (см. [10]). Хорошо известно, что такие двуxшаговые методы как метод тяжелого шарика и метод сопряженных градиентов позволяют существенно ускорить сходимость градиентного метода (см. [10]–[12]). Алгоритмы УИО, аналогично алгоритму градиентного метода, для формирования управления на текущем шаге используют информацию с текущего и предыдущего шагов и, как в многошаговых методах оптимизации, можно ожидать, что учет в этих алгоритмах более глубокой “предыстории” позволит ускорить сходимость. Далее алгоритмы УИО, использующие информацию с текущего и предыдущего шагов будем называть алгоритмами первого порядка, а при использовании информации с большего числа предыдущих шагов — алгоритмами высшего порядка.

Предлагаемый подход не является абсолютно новым и в различных версиях изучался в литературе (см. [13]–[21]). Однако во всех этих работах на текущем шаге используется лишь неполная информация об управлении на прошлых шагах, что представляется нелогичным в рамках указанных аналогий с многошаговыми методами оптимизации, где роль “управления” выполняет аргумент оптимизируемой функции. Тем не менее, в работах [14], [15] показано что даже такие “неполные” структуры УИО высшего порядка обеспечивают более высокую скорость сходимости, чем структуры УИО первого порядка. Такие же результаты были получены в [16]–[19], причем в [16]–[18] утверждаeтся, что эффект ускорения в алгоритмах высшего порядка достигается за счет эффектов обучения в течение нескольких предыдущих итераций. В [20] относительно УИО высшего и первого порядков представлены весьма неопределенные выводы. Авторы этой работы считают, что трудно обосновать достоинства той или иной стратегии УИО, хотя идея УИО высшего порядка кажется естественной. В работе [21] предложен алгоритм УИО на основе метода Нестерова (см. [22]), но скорость сходимости алгоритма по доказанному авторами составляет O (1 / k), в то время, как хорошо известно, она составляет O (1 / k²) (см. [22], [23]). Кроме того, предложенный алгоритм относится к типу причинных алгоритмов УИО и обладает известными недостатками (см. [2]), существенно ограничивающими их применение. Важно отметить, что выводы перечисленных работ сделаны на рассмотрении частных случаев и примеров, и ни в одной из них не приведен строгий сравнительный анализ в общей постановке даже для линейных систем.

В литературе изучались также другие свойства УИО высшего порядка (см. [24], [25]). В [24] утверждается, что реальной мотивацией использования УИО высшего порядка является уменьшение влияния помех и шума. В [25] рассматривается оптимальность УИО в смысле минимизации следа ковариационной матрицы ошибок управления в классе некоррелированных случайных возмущений. Показано, что УИО высшего порядка не уменьшает минимальное значение этого следа по сравнению с УИО первого порядка. Таким образом, выводы [24] и [25] противоречат друг другу. Окончательный вывод требует дополнительного исследования, поскольку в [24] не представлено достаточно полных доказательств, а в [25] в алгоритме УИО используется дискретный аналог производной необработанного случайного сигнала, и такое решение нельзя считать допустимым, поскольку уже само вычисление такой величины приводит к возрастанию дисперсии. Вопросы скорости сходимости ошибки обучения в [24] и [25] не изучались.

Наконец, отметим, что совсем недавно появился активный интерес к разработке и применению алгоритмов УИО высшего порядка в задачах аддитивных производств (см. [26]), мотивированный особенностями новых прикладных задач.

В настоящей работе, в отличие от упомянутых работ, строятся непричинные алгоритмы УИО, при этом по аналогии с многошаговыми методами на текущем повторении используется полная предыстория, т. е. полностью учитываются управляющие воздействия на определенном числе предыдущих повторений. Для построения алгоритмов используется разработанная авторами теория устойчивости повторяющихся процессов (см. [27]), в рамках которой условия сходимости ошибки обучения выражаются через свойства дивергенции векторной функции Ляпунова. В рассматриваемом линейном случае эта теория позволяет использовать эффективную технику линейных матричных неравенств. Общих результатов, доказывающих преимущество алгоритмов УИО высшего порядка в смысле увеличения скорости сходимости ошибки обучения, пока получить не удалось, но приведенный пример, использующий характеристики реального портального робота, убедительно подтверждает это преимущество и служит серьезной мотивацией для дальнейшего развития общей теории.

2. ДИСКРЕТНЫЕ СИСТЕМЫ

2.1. Постановка задачи

Рассмотрим дискретную систему в повторяющемся режиме, описываемую линейной моделью в пространстве состояний

$x_k\left(p+1\right)=A{x}_k\left(p\right)+b{u}_k\left(p\right), y_k\left(p\right)=c^T{x}_k\left(p\right), 0\le p\le N-\mathrm{1,} k\ge \mathrm{0,}$, (1)

где k — номер повторения, $x_k\left(p\right)\in {ℝ}^{n_x}$ — вектор состояния, $u_k\left(p\right)\in ℝ$ — скалярная входная переменная, имеющая смысл управления, действующего на систему, $y_k\left(p\right)\in ℝ$ — выходная переменная, которая в рассматриваемом классе задач часто называется профилем повторения, N — продолжительность повторения, A, b и c — постоянная матрица и векторы соответствующих размеров.

Закон управления формируется в соответствии с алгоритмом

$u_k\left(p\right)=\sum _{i=0}^d{\tau }_i{v}_{k-i}\left(p\right)$, (2)

$v_{k+1}\left(p\right)=v_k\left(p\right)+\Delta v_{k+1}\left(p\right), k=\mathrm{0,} \mathrm{1,} \dots$, (3)

где v_k = 0, если k ∈[–d, 0], d — число предыдущих повторений, информация с которых используется на текущем повторении, Δv_k+1 — обновляющая поправка на повторении k + 1, τ_i, i ∈[0, d] — весовые коэффициенты.

Обозначим через $y_{ref}\left(p\right)\in ℝ$, 0 ≤ p ≤ N – 1, желаемую (эталонную) траекторию, которая должна воспроизводиться на выходе системы, тогда

$e_k\left(p\right)=y_{ref}\left(p\right)-y_k\left(p\right)$ (4)

представляет собой ошибку обучения на повторении k. Поставим задачу найти такую последовательность управлений {u_k}, что выполняются условия

$\left|e_k\left(p\right)\right|\le \kappa {\varrho }^k, \kappa >0, 0<\varrho <1$, (5)

$\underset{k\to \infty }{\lim }\left|u_k\left(p\right)\left|=\right|u_{\infty }\left(p\right)\right|<\infty , p\in \left[\mathrm{0,}N-1\right]$. (6)

Эти условия обеспечивают сходимость ошибки обучения к нулю при k → ∞ при сохранении ограниченности последовательности входных переменных. Далее эти условия будем называть условиями сходимости.

Из условий (2) и (3) следует, что эта задача сводится к нахождению обновляющей поправки и весовых коэффициентов, при которых гарантируется выполнение условий (5) и (6). В соответствии с концепцией, предложенной Я. З. Цыпкиным (см. [28]), эта задача относится к задачам обучения. При d = 0 и τ_i = 1, когда на текущем повторении используется только информация с предыдущего повторения, эта задача известна как задача построения алгоритма управления с итеративным обучением первого порядка, которая наиболее полно изучена в литературе. При d > 0 имеем задачу построения алгоритма управления с итеративным обучением высшего порядка, которая изучена значительно меньше.

Заметим, что рассмотрение систем со скалярными входными и выходными переменными связано лишь с возможностью более компактного изложения результатов, и в случае систем с векторными входными и выходными переменными принципиальных затруднений не возникает.

2.2. Построение модели относительно приращений переменных в форме повторяющегося процесса

Введем скалярные переменные ${\check{x}}_{k,1}\left(p\right) = v_k\left(p\right), {\check{x}}_{k,2}\left(p\right)=v_{k-1}\left(p\right), ..., {\check{x}}_{k,d}\left(p\right)=v_{k-d+1}\left(p\right), {\check{x}}_{k-d+1}\left(p\right)=v_{k-d}\left(p\right)$ и вектор ${\check{x}}_k={[ {\check{x}}_{k,1} ... {\check{x}}_{k,d+1}]}^T$. Тогда по построению

${\check{x}}_k\left(p\right)=A_d{\check{x}}_{k-1}\left(p\right)+b_d{v}_k\left(p\right)$, (7)

где

$A_d=\left[\begin{array}{lllll}0& 0& \dots & 0& 0\\ 1& 0& \dots & 0& 0\\ 0& 1& \dots & 0& 0\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& \dots & 1& 0\end{array}\right], b_d={[1 0 \dots 0]}^T$. (8)

С использованием (7) первое уравнение в (1) можно записать как

$x_k(p + 1)=A{x}_k\left(p\right)+b{\theta }^T{\check{x}}_k\left(p\right)$, (9)

где

$\theta ={[{\tau }_0 {\tau }_1\dots {\tau }_d]}^T$.

Введем вспомогательные векторы

${\eta }_k\left(p\right)=x_k\left(p\right)-x_{k-1}\left(p\right), {\check{\eta }}_k\left(p\right)={\check{x}}_k\left(p\right)-{\check{x}}_{k-1}\left(p\right)$. (10)

Тогда из (7) и (10) следует

${\check{\eta }}_k\left(p\right)=A_d{\check{\eta }}_{k-1}\left(p\right)+b_d∆v_k\left(p\right)$, (11)

где $\Delta v_k\left(p\right)=v_k\left(p\right)-v_{k-1}\left(p\right)$. Учитывая (10), запишем уравнение в приращениях вдоль траектории повторения в виде

${\eta }_k(p+1)=A{\eta }_k\left(p\right)+b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(p\right)+b{\theta }^T{b}_d∆v_k\left(p\right)$. (12)

Учитывая, что согласно (4) $e_k\left(p\right)=y_{ref}\left(p\right)-c^T{x}_k\left(p\right)$, и, используя (12), получим следующую систему уравнений в приращениях переменных:

$$\begin{gathered} {\eta }_k(p+1)=A{\eta }_k\left(p\right)+b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(p\right)+b{\theta }^T{b}_d∆v_k\left(p\right), \\ {\check{\eta }}_k\left(p\right)=A_d{\check{\eta }}_{k-1}\left(p\right)+b_d∆v_k\left(p\right), \\ {\check{e}}_k\left(p\right)=-c^{T}A{\check{\eta }}_k\left(p\right)-c^{T}b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(p\right)+{\check{e}}_{k-1}\left(p\right)-c^{T}b{\theta }^T{b}_d∆v_k\left(p\right), \end{gathered}$$ (13)

где ${\check{e}}_k\left(p\right)=e_k(p+1)$.

Зададим корректирующую поправку в виде

$\Delta v_k\left(p\right)=k_1^T{\eta }_k\left(p\right)+k_2{e}_{k-1}\left(p+1\right)$, (14)

где вектор k₁ и скаляр k₂ подлежат определению из условий сходимости (5), (6). Подставляя (14) в (13), запишем модель в приращениях переменных в окончательном виде:

$$\begin{gathered} {\eta }_k(p+1)=\left(A+b{\theta }^T{b}_d{k}_1^T\right){\eta }_k\left(p\right)+b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(p\right)+b{\theta }^T{b}_d{k}_2{\check{e}}_{k-1}\left(p\right), \\ {\check{\eta }}_k\left(p\right)=b_d{k}_1^T{\eta }_k\left(p\right)+A_d{\check{\eta }}_{k-1}\left(p\right)+b_d{k}_2{\check{e}}_{k-1}\left(p\right), \\ {\check{e}}_k\left(p\right)=-c^T\left(A+b{\theta }^T{b}_d{k}_1^T\right){\eta }_k\left(p\right)-c^{T}b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(p\right)+\left(1-c^{T}b{\theta }^T{b}_d{k}_2\right){\check{e}}_{k-1}\left(p\right). \end{gathered}$$ (15)

Модель (15) записана в форме дискретного повторяющегося процесса, относящегося к классу так называемых 2D cистем (см. [29]). Один из возможных подходов к получению условий сходимости ошибки обучения может быть основан на теории устойчивости повторяющихся процессов с использованием векторных функций Ляпунова (см. [27]). Эта теория далее используется в настоящей статье для построения алгоритмов управления с итеративным обучением.

2.3. Общие условия сходимости ошибки обучения

Введем в рассмотрение вектор ${\overline{e}}_k\left(p\right)={\left[{\check{\eta }}_{k-1}^T\left(p\right){\check{e}}_{k-1}\left(p\right)\right]}^T$ и определим на траекториях системы (15) векторную функцию Ляпунова

$V\left({\eta }_k\left(p\right),{\overline{e}}_k\left(p\right)\right)=\left[\begin{array}{l}{V}_1\left({\eta }_k\left(p\right)\right)\\ V_2\left({\overline{e}}_k\left(p\right)\right)\end{array}\right]$, (16)

где $V_1\left({\eta }_k\left(p\right)\right)>\mathrm{0,} {\eta }_k\left(p\right))\ne \mathrm{0,} V_2\left({\overline{e}}_k\left(p\right)\right)>\mathrm{0,} {\overline{e}}_k\left(p\right)\ne \mathrm{0,} V_1\left(0\right)=\mathrm{0,} V_{2i}\left(0\right)=0$. Определим на траекториях системы (15) дискретный аналог оператора дивергенции

$\mathcal{D}V\left({\eta }_k\left(p\right),{\overline{e}}_k\left(p\right)\right)=V_1\left({\eta }_k\left(p+1\right)\right)-V_1\left({\eta }_k\left(p\right)\right)+V_2\left({\overline{e}}_{k+1}\left(p\right)\right)-V_2\left({\overline{e}}_k\left(p\right)\right)$. (17)

Для краткости далее будем называть этот оператор просто дивергенцией. Дальнейший анализ основан на следующей теореме, которая является следствием теоремы 1 из [27].

Теорема 1. Предположим, что существует векторная функция Ляпунова (16) и положительные скаляры c₁, c₂ и c₃ такие, что на траекториях системы (15) выполняются неравенства

$c_1{||{\eta }_k\left(p\right)||}^2\le V_1\left({\eta }_k\left(p\right)\right)\le c_2{||{\eta }_k\left(p\right)||}^2$, (18)

$c_1||{\overline{e}}_k\left(p\right)||\le V_2\left({\overline{e}}_k\left(p\right)\right)\le c_2{||{\overline{e}}_k\left(p\right)||}^2$, (19)

$\mathcal{D}V\left({\eta }_{k+1}\left(p\right),{\overline{e}}_k\left(p\right)\right)\le -c_3\left({||{\eta }_{k+1}\left(p\right)||}^2+{||{\overline{e}}_k\left(p\right)||}^2\right)$. (20)

Тогда алгоритм управления с итеративным обучением (2), (3) с обновляющей поправкой (14) гарантирует выполнение условий сходимости ошибки обучения (5), (6).

Доказательство. В соответствии с теоремой 1 из [27] при условиях (18)–(20) существуют α > 0 и 0 < λ < 1 такие, что

${||{\eta }_k\left(p\right)||}^2+{||{\overline{e}}_k\left(p\right)||}^2\le \alpha {\lambda }^{k+p}\le \alpha {\lambda }^k$. (21)

Следовательно, $\left|{\eta }_k\left(p\right)\right|\le \kappa {\varrho }^k$, где $\kappa =\sqrt{\alpha }, \varrho =\sqrt{\lambda }$, и, принимая во внимания определение $\overline{e}$, $\left|e_k\left(p\right)\right|\le \kappa {\varrho }^k$. Таким образом, справедливо (5). Далее, поскольку ∆v_k(p) определено соотношением (14), из (3) c учетом (21) получим

$\left|v_{k+1}\left(p\right)\right|\le \left|v_k\left(p\right)\right|+{\alpha }_0{\lambda }^{\left(k+p+1\right)/2}$, (22)

где ${\alpha }_0=\sqrt{2\alpha \max \left\{||k_1||, \left|k_2\right|\right\}}$. Из (22) следует, что

$\left|v_k\left(p\right)\left|\le \right|v_0\left(p\right)\right|+{\alpha }_0{\lambda }^{\left(p+1\right)/2}\sum _{n=0}^{k-1}{\lambda }^{n/2}$.

B правой части последнего неравенства стоит сходящаяся при k → ∞ геометрическая прогрессия, следовательно, предел в левой части |v_∞(p)| при k → ∞ существует, и при этом справедлива оценка

$\left|v_{\infty }\left(p\right)\left|\le \right|v_0\left(p\right)\right|+\frac{{\alpha }_0{\lambda }^{\left(p+1\right)/2}}{1-{\lambda }^{1/2}}$,

откуда в соответствии с (2) следует, что справедливо условие (6).

2.4. Построение алгоритма

Обозначим ${\xi }_k\left(p\right)={\left[{\check{\eta }}_k^T\left(p\right){\check{\eta }}_{k-1}^T\left(p\right){\check{e}}_{k-1}\left(p\right)\right]}^T$ и введем в рассмотрение матрицы согласованных размеров

$\overline{A}=\left[\begin{array}{lll}A& b{\theta }^T{A}_d& 0\\ 0& A_d& 0\\ -c^{T}A& -c^{T}b{\theta }^T{A}_d& 1\end{array}\right], \overline{b}=\left[\begin{array}{l}b{\theta }^T{b}_d\\ b_d\\ -c^{T}b{\theta }^T{b}_d\end{array}\right], Г=\left[\begin{array}{lll}I& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$.

Рассмотрим дискретное неравенство Риккати

${\overline{A}}^T\overline{P}\overline{A}-\left(1-\sigma \right)\overline{P}-{\overline{A}}^T\overline{P}\overline{b}{[{\overline{b}}^T\overline{P}\overline{b}+R]}^{-1}{\overline{b}}^T\overline{P}\overline{A}+Q\underset{\_}{\prec }0$ (23)

относительно матрицы $\overline{P}=diag\left[P_1 P_2\right]\succ 0$, где $P_1\in {ℝ}^{n_x\times n_x}, P_2\in {ℝ}^{d+2\times d+2}$, 0 < σ < 1, $Q\succ 0$ и R > 0 — соответственно весовая матрица и весовой коэффициент. Применяя лемму о дополнении Шура, получим, что если линейные матричные неравенства

$\left[\begin{array}{lll}\left(1-\sigma \right)\overline{X}& X{\overline{A}}^T& \overline{X}\\ \overline{A}\overline{X}& \overline{X}+\overline{b}{R}^{-1}{\overline{b}}^T& 0\\ \overline{X}& 0& Q^{-1}\end{array}\right]\underset{\_}{\succ }\mathrm{0,} X\succ 0$, (24)

разрешимы относительно $X=diag\left[X_1 X_2\right]\succ 0$, где X₁ и X₂ имеют те же размерности, что и P₁, и P₂, то P = X^–1.

Определим

$f^T={[\underset{n_x}{\underbrace{f_1^T}} \underset{d+1}{\underbrace{0}} \underset{1}{\underbrace{f_3}}\left]=-\right[{\overline{b}}^T\overline{P}\overline{b}+R]}^{-1}{\overline{b}}^T\overline{P}\overline{A}Г$ (25)

и предположим, что выполняется следующее матричное неравенство:

$\left[\begin{array}{ll}M-MГ-ГM-Q& Г\sqrt{M}\\ \sqrt{M}Г& -I\end{array}\right]\underset{\_}{\prec }0$, (26)

где $M={\overline{A}}^T\overline{P}\overline{b}{[{\overline{b}}^T\overline{P}\overline{b}+R]}^{-1}{\overline{b}}^T\overline{P}\overline{A}$. Выбирая компоненты векторной функции Ляпунова (16) в виде квадратичных форм

$V_1\left({\eta }_k\left(p\right)\right)={\eta }_k^T\left(p\right)P_1{\eta }_k\left(p\right), V_2\left({\overline{e}}_k\left(p\right)\right)={\overline{e}}_k^T\left(p\right)P_2{\overline{e}}_k\left(p\right)$

и вычисляя дивергенцию функции (16) вдоль траекторий системы (15) с учетом (23) и (26), получим

$\begin{array}{c}\mathcal{D}V\left({\eta }_{k+1}\left(p\right),{\overline{e}}_k\left(p\right)\right)={\xi }_k^T\left(p\right)\left[{\overline{A}}^T\overline{P}\overline{A}-ГM-MГ+ГMГ-\overline{P}\right]{\xi }_k\left(p\right)=\\ ={\xi }_k^T\left(p\right)\left[{\overline{A}}^T\overline{P}\overline{A}-\left(1-\sigma \right)\overline{P}-{\overline{A}}^T\overline{P}\overline{b}\right[{\overline{b}}^T\overline{P}\overline{b}+R{]}^{-1}{\overline{b}}^T\overline{P}\overline{A}+Q+\\ +\left(ГMГ-ГM-MГ-Q\right)-\sigma \overline{P}]{\xi }_k\left(p\right)\le -{\xi }_k^T\left(p\right)\sigma \overline{P}{\xi }_k\left(p\right).\end{array}$ (27)

Поскольку $\overline{P}=diag\left[P_1 P_2\right]\succ 0$, из (27) следует, что выполнены все условия теоремы 1. Таким образом, доказан следующий результат.

Теорема 2. Предположим, что для некоторого выбора весовой матрицы $Q\succ 0$, вектора θ и скаляров R > 0 и 0 < σ < 1 линейное матричное неравенство (24) имеет решение $X\succ 0$, матрица P = X^–1 удовлетворяет неравенству (26), k₁ = f₁, k₂ = f₃, где f₁ и f₃ — компоненты вектора f из (25). Тогда алгоритм управления с итеративным обучением (2), (3) с обновляющей поправкой (14) обеспечивает выполнение условий сходимости ошибки обучения (5), (6).

Заметим, что параметр  характеризует запас устойчивости системы (15). С его увеличением, при выполнении условий теоремы 2, спектр матрицы $\left(A+b{\theta }^T{b}_d{k}_1^T\right)$ и число $\left(1-c^{T}b{\theta }^T{b}_d{k}_2\right)$, оставаясь внутри единичного круга, удаляются от его границы.

3. ДИФФЕРЕНЦИАЛЬНЫЕ СИСТЕМЫ

3.1. Постановка задачи

Рассмотрим дифференциальную систему в повторяющемся режиме, описываемую линейной моделью в пространстве состояний

${\dot{x}}_k\left(t\right)=A{x}_k\left(t\right)+b{u}_k\left(t\right), y_k\left(t\right)=c^T{x}_k\left(t\right), 0\le t\le T, k\ge 0$, (28)

где все обозначения имеют тот же смысл, что и в (1).

Алгоритм управления формируется следующим образом:

$u_k\left(t\right)=\sum _{k=0}^d{\tau }_i{v}_{k-i}\left(t\right)$, (29)

$v_{k+1}\left(t\right)=v_k\left(t\right)+\Delta v_{k+1}\left(t\right), k=\mathrm{0,} \mathrm{1,} \dots$, (30)

где v_k = 0, если k ∈[–d, 0], d — число предыдущих повторений, информация с которых используется на текущем повторении, Δv_k+1 — обновляющая поправка, τ_i, i ∈[0, d]  — весовые коэффициенты.

Обозначим через $y_{ref}\left(t\right)\in ℝ$, 0 ≤ t ≤ T, желаемую (эталонную) траекторию, тогда

$e_k\left(t\right)=y_{ref}\left(t\right)-y_k\left(t\right)$ (31)

будет представлять собой ошибку обучения на повторении k. Для сходимости ошибки обучения последовательность входных переменных {u_k(t)} должна обеспечивать выполнение условий

$\left|e_k\left(t\right)\right|\le \kappa {\varrho }^k, \kappa >0, 0<\varrho <1$, (32)

$\underset{k\to \infty }{\lim }\left|u_k\left(t\right)\left|=\right|u_{\infty }\left(t\right)\right|<\infty , t\in \left[\mathrm{0,}T\right]$. (33)

Из (29) и (30) следует, что, как и в случае дискретной системы, задача сводится к нахождению обновляющей поправки, и при которой выполняются условия (32) и (33).

3.2. Вывод модели в приращениях и условия сходимости

Вводя переменную

${\eta }_k\left(t\right)={\int }_0^t\left[x_k\left(\tau \right)-x_{k-1}\left(\tau \right)\right]d\tau$,

перепишем (28) в виде

${\dot{\eta }}_k\left(t\right)=A{\eta }_k\left(t\right)+B{\int }_0^t∆u_k\left(\tau \right)d\tau$.

Тогда с учетом (29) имеем

${\dot{\eta }}_k\left(t\right)=A{\eta }_k\left(t\right)+b\sum _{i=0}^d{\tau }_i{\int }_0^t∆{\nu }_{k-i}\left(\tau \right)d\tau$,

и окончательно, вводя переменные $\delta v_{k-i}\left(t\right)={\int }_0^t∆v_{k-i}\left(\tau \right)d\tau , i=0, 1, ..., d$, имеем

${\dot{\eta }}_k\left(t\right)=A{\eta }_k\left(t\right)+b\sum _{i=0}^d{\tau }_i\delta v_{k-i}$. (34)

Введем вспомогательные переменные

${\check{\eta }}_{k1}\left(t\right)=\delta v_k\left(t\right), {\check{\eta }}_{k2}\left(t\right)=\delta v_{k-1}\left(t\right), {\check{\eta }}_{k3}\left(t\right)=\delta v_{k-2}\left(t\right), ..., {\check{\eta }}_{kd+1}\left(t\right)=\delta v_{k-d}\left(t\right)$

и запишем уравнения динамики относительно повторений:

${\check{\eta }}_k\left(t\right)=A_d{\check{\eta }}_{k-1}\left(t\right)+b_d\delta {\nu }_k\left(t\right)$, (35)

где ${\check{\eta }}_k\left(t\right)=\left[{\check{\eta }}_{k1}\left(t\right), {\check{\eta }}_{k2}\left(t\right) ... {\check{\eta }}_{kd+1}\left(t\right)\right]$, A_d и b_d определены в (8). Уравнение (34) с учетом (35) можно переписать в виде

${\check{\eta }}_k\left(t\right)=b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(t\right)+b{\theta }^T{b}_d\delta {\nu }_k\left(t\right)$, (36)

Из (36) и (31) следует

$e_k\left(t\right)=-c^T{A}_d{\check{\eta }}_{k-1}\left(t\right)-c^{T}b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(t\right)+e_{k-1}\left(t\right)-c^{T}b{\theta }^T{b}_d\delta {\nu }_k\left(t\right)$. (37)

Уравнения (35) и (37) задают полное описание динамики относительно повторений. Зададим обновляющую поправку в виде

$\delta {\nu }_k\left(t\right)=k_1^T{\eta }_k\left(t\right)+k_2{e}_{k-1}\left(t\right)$ (38)

и запишем полную модель в приращениях:

$$\begin{gathered} {\dot{\eta }}_k\left(t\right)=\left(A+b{\theta }^T{b}_d{k}_1^T\right){\eta }_k\left(t\right)+b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(t\right)+b{\theta }^T{b}_d{k}_2{\check{e}}_{k-1}\left(t\right), \\ {\check{\eta }}_k\left(t\right)=A_d{\check{\eta }}_{k-1}\left(t\right)+b_d{k}_1{\eta }_k\left(t\right)+b_d{k}_2{\check{e}}_{k-1}\left(t\right), \\ {\check{e}}_k\left(t\right)=-c^T\left(A+b{\theta }^T{b}_d{k}_1^T\right){\eta }_k\left(t\right)-c^{T}b{\theta }^T{A}_d{\check{\eta }}_{k-1}\left(t\right)+\left(1-c^{T}b{\theta }^T{b}_d{k}_2\right)e_{k-1}\left(t\right). \end{gathered}$$ (39)

Модель (39) записана в форме дифференциального повторяющегося процесса, относящегося к классу 2D систем. Как и в предыдущем разделе дальнейший анализ сходимости ошибки обучения будет основан на теории устойчивости повторяющихся процессов с использованием векторных функций Ляпунова из [27].

Введем в рассмотрение вектор  и векторную функцию Ляпунова

$V\left({\eta }_k\left(t\right),{\overline{e}}_k\left(t\right)\right)=\left[\begin{array}{l}{V}_1\left({\eta }_k\left(t\right)\right)\\ V_2\left({\overline{e}}_k\left(t\right)\right)\end{array}\right]$, (40)

где $V_1\left(\eta \right)>\mathrm{0,} \eta \ne \mathrm{0,} V_2\left(\overline{e}\right)>\mathrm{0,} \overline{e}\ne \mathrm{0,} V_1\left(0\right)=\mathrm{0,} V_2\left(0\right)=0$.

Аналог оператора дивергенции этой функции вдоль траекторий системы (39) имеет вид

$\mathcal{D}V\left({\eta }_k\left(t\right),{\overline{e}}_k\left(t\right)\right)=\frac{d{V}_1\left({\eta }_k\left(t\right)\right)}{dt}+{\Delta }_k{V}_2\left({\overline{e}}_k\left(t\right)\right)$, (41)

где ${\Delta }_k{V}_2\left({\overline{e}}_k\left(t\right)\right)=V_2\left({\overline{e}}_{k+1}\left(t\right)\right)-V_2\left({\overline{e}}_k\left(t\right)\right)$.

Теорема 3. Предположим, что существует векторная функция Ляпунова (40) и положительные скаляры c₁ — c₄ такие, что на траекториях системы (39) выполняются неравенства

$$\begin{gathered} c_1{||{\eta }_k\left(t\right)||}^2\le V_1\left({\eta }_k\left(t\right)\right)\le c_2{||{\eta }_k\left(t\right)||}^2, \\ {c}_1{||{\overline{e}}_k\left(t\right)||}^2\le V_2\left(e_k\left(t\right)\right)\le c_2{||{\overline{e}}_k\left(t\right)||}^2, \\ \mathcal{D}V\left({\eta }_k\left(t\right),{\overline{e}}_k\left(t\right)\right)\le -c_3\left({||{\eta }_k\left(t\right)||}^2+{||{\overline{e}}_k\left(t\right)||}^2\right), \\ \frac{{\displaystyle \partial V_1\left(\eta \right)}}{{\displaystyle \partial \eta }}\le -c_4||\eta ||. \end{gathered}$$ (42)

Тогда алгоритм управления с итеративным обучением (29), (30) с обновляющей поправкой (38) гарантирует выполнение условий сходимости ошибки обучения (32), (33).

Доказательство. В соответствии с теоремой 2 из [27] при условиях (42) существуют α > 0, λ > 0 и 0 < ζ < 1 такие, что

${||{\eta }_k\left(t\right)||}^2+{||{\overline{e}}_k\left(t\right)||}^2\le \alpha \exp \left(-\lambda t\right){\zeta }^k\le \alpha {\zeta }^k$. (43)

Следовательно, $\left|{\eta }_k\left(p\right)\right|\le \kappa {\varrho }^k$ где $\kappa =\sqrt{\alpha }, \varrho =\sqrt{\zeta }$ и, принимая во внимание определение $\overline{e}$, $\left|e_k\left(p\right)\right|\le \kappa {\varrho }^k$. Таким образом, справедливо (32). Далее, поскольку δv_k(p) определено соотношением (38), то, учитывая (43), по аналогии с доказательством теоремы 1 нетрудно получить оценку

$\left|\delta v_{k+1}\left(t\right)\right|\le {\alpha }_0\exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{k/2}$. (44)

Из (43) следует

$\left|{\eta }_k\left(t\right)\right|\le \alpha \exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{k/2}, \left|{\check{\eta }}_k\left(t\right)\right|\le \alpha \exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{k/2}, \left|e_k\left(t\right)\right|\le \alpha \exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{k/2}$. (45)

Из (36) c учетом (44) и (45) получим

$||{\dot{\eta }}_k\left(t\right)||\le {\alpha }_1\exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{\left(k-1\right)/2}$,

где ${\alpha }_1=\alpha \max \left\{||A||, ||b{\theta }^T{A}_d||, ||b{\theta }^T{b}_d||\right\}$, и

$\left|{\dot{e}}_k\left(t\right)\left|=\right|c^T{\dot{\eta }}_k\left(t\right)\right|\le {\alpha }_2\exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{\left(k-1\right)/2}$,

где ${\alpha }_2={\alpha }_1\left|\left|c^T\right|\right|$. С учетом двух последних неравенств

$\left|\Delta v_{k+1}\left(t\right)\right|=\left|\frac{d}{dt}\delta v_{k+1}\left(t\right)\right|=\left|k_1{\dot{\eta }}_k\left(t\right)+k_2{\dot{e}}_k\left(t\right)\right|\le {\alpha }_3\exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{\left(k-1\right)/2}$,

где ${\alpha }_3={\alpha }_0\max \left\{{\alpha }_1,{\alpha }_2\right\}$. Из (30) с учетом последнего неравенства следует

$\left|v_{k+1}\left(t\right)\left|\le \right|v_k\left(t\right)\right|+{\alpha }_3\exp \left(-\frac{1}{2}\lambda t\right){\zeta }^{\left(k-1\right)/2}$.

Условие (33) теперь следует из повторения, применительно к последнему неравенству, выводов, аналогичных сделанных в доказательстве теоремы 1 после неравенства (22) с учетом (29).

3.3. Построение алгоритма с использованием техники линейных матричных неравенств

Введем расширенный вектор ${\xi }_k\left(t\right)={[{\eta }_k{\left(t\right)}^T {\overline{e}}_k{\left(t\right)}^T]}^T$, аналогичный введенному в предыдущем разделе для дискретных систем. Выбирая компоненты векторной функции Ляпунова (40) в виде квадратичных форм

$V_1\left({\eta }_k\left(t\right)\right)={\eta }_k^T\left(t\right)P_1{\eta }_k\left(t\right), V_2\left({\overline{e}}_k\left(t\right)\right)={\overline{e}}_k^T\left(t\right)P_2{\overline{e}}_k\left(t\right)$

и вычисляя дивергенцию этой функции вдоль траекторий системы (39), получим

$\mathcal{D}V\left({\eta }_k\left(t\right),{\overline{e}}_k\left(t\right)\right)={\xi }_k^T\left(t\right)\left[{\overline{A}}_c^T{I}^{\left(\mathrm{1,0}\right)}\overline{P}+\overline{P}{I}^{\left(\mathrm{1,0}\right)}{\overline{A}}_c+{\overline{A}}_c^T{I}^{\left(\mathrm{0,1}\right)}\overline{P}{\overline{A}}_c-I^{\left(\mathrm{0,1}\right)}\overline{P}\right]{\xi }_k\left(t\right)$, (46)

где

$\begin{array}{c}{P}_1=P_1^{{\rm T}}\succ \mathrm{0,} P_2=P_2^{{\rm T}}\succ \mathrm{0,} {\overline{A}}_c=\left(\overline{A}+\overline{b}{k}^T\overline{H}\right), \overline{P}=diag\left[P_1 P_2\right], \\ P_2=diag\left[P_{21} P_{22}\right], k^T=\left[k_1^T k_2\right], \overline{H}=\left[\begin{array}{lll}I& 0& 0\\ 0& 0& 1\end{array}\right], I^{\left(\mathrm{1,0}\right)}=\left[\begin{array}{ll}I& 0\\ 0& 0\end{array}\right], I^{\left(\mathrm{0,1}\right)}=\left[\begin{array}{ll}0& 0\\ 0& I\end{array}\right]\end{array}$

и размеры блоков матриц $\overline{P}, \overline{H}, I^{\left(\mathrm{1,0}\right)}, I^{\left(\mathrm{0,1}\right)}$ согласованы с размерностями переменных $\eta , \check{\eta }, \overline{e}$. Проводя аналогию с теорией линейно-квадратичного регулятора (ЛКР), потребуем, чтобы выполнялось неравенство

$\mathcal{D}V\left({\eta }_k\left(t\right),{\overline{e}}_k\left(t\right)\right)+{\xi }_k^T\left(t\right)[\overline{Q}+\left(k^T\overline{H}{)}^{T}R{k}^T\overline{H}\right]{\xi }_k\left(t\right)\le 0$, (47)

где $\overline{Q}=diag\left[Q_1 Q_2\right]\succ \mathrm{0,} R\succ 0$ — весовые матрицы, тогда нетрудно видеть, что все условия теоремы 3 будут выполнены. Неравенство (47) эквивалентно матричному неравенству

${\overline{A}}_c^T{I}^{\left(\mathrm{1,0}\right)}\overline{P}+\overline{P}{I}^{\left(\mathrm{1,0}\right)}{\overline{A}}_c+{\overline{A}}_c^T{I}^{\left(\mathrm{0,1}\right)}\overline{P}{\overline{A}}_c-I^{\left(\mathrm{0,1}\right)}\overline{P}+\overline{Q}+{\left(k^T\overline{H}\right)}^{T}R{k}^T\overline{H}\underset{\_}{\prec }0$. (48)

Введем переменные $\overline{X}={\overline{P}}^{-1}$ и Z как решение уравнения

$\overline{H}X=Z\overline{H}$. (49)

Тогда, применяя к (48) лемму о дополнении Шура, получим

$\left[\begin{array}{cccc}{M}_{11}& M_{12}& \overline{X}& {\left(Y^T\overline{H}\right)}^T\\ M_{12}^T& -\overline{X}& 0& 0\\ -\overline{X}& 0& -Q^{-1}& 0\\ Y^T\overline{H}& 0& 0& -R^{-1}\end{array}\right]\underline{\prec }0$,

где

$M_{11}={(\overline{A}\overline{X}+\overline{b}{Y}^T\overline{H})}^T{I}^{\left(\mathrm{1,0}\right)}+I^{\left(\mathrm{1,0}\right)}\left(\overline{A}\overline{X}+\overline{b}{Y}^T\overline{H}\right)-I^{\left(\mathrm{0,1}\right)}\overline{X}, M_{12}=\left(\overline{A}\overline{X}+\overline{b}{Y}^T\overline{H}\right)I^{\left(\mathrm{0,1}\right)}$.

Если система матричных уравнений и неравенств (49), (50) разрешима относительно $X\succ \mathrm{0,} Y$ и Z, то

$k^T=Y^T{Z}^{-1}$. (50)

Сделанные выводы можно объединить в виде следующей теоремы.

Теорема 4. Предположим, что для некоторого выбора весовой матрицы $Q\succ 0$, вектора θ и скаляра R > 0 система линейных матричных уравнений и неравенств (49), (50) разрешима относительно $X\succ \mathrm{0,} Y$ и Z, а вектор k определяется по формуле (50). Тогда алгоритм управления с итеративным обучением (29), (30) с обновляющей поправкой (38) обеспечивает выполнение условий сходимости ошибки обучения (32), (33).

4. ПРИМЕР

Рассмотрим управляемое движение манипулятора по горизонтальной оси, перпендикулярной направлению движения ленты конвейера многоосевого портального робота. Модель динамики, полученная экспериментально на основе частотного анализа [31], задается передаточной функцией

$G\left(s\right)=\frac{23.736\left(s+661.2\right)}{s\left(s^2+426.7s+1.744\times {10}^5\right)}$. (51)

Желаемая (эталонная) траектория движения продолжительностью 2 с представлена на фиг. 1. Для построения дискретной модели в пространстве состояний используем стандартные функции MATLAB, принимая период дискретности равным 0.01 с.

 

Фиг. 1. Желаемая траектория движения

 

Рассмотрим сначала случай d = 1, при этом согласно (2), (3), (14), как в методе тяжелого шарика, на текущем шаге используется информация с двух предыдущих шагов. Введем в рассмотрение среднеквадратическую ошибку (СКО) обучения

$E\left(k\right)=\sqrt{\frac{1}{N}\sum _{p=0}^N{\left|e_k\left(p\right)\right|}^2}$, (52)

и сравнение скорости сходимости алгоритмов будем проводить по числу шагов, при котором E(k) уменьшится в 10 раз относительно начального значения. Матрицa Q и положительные скаляры R, σ были выбраны, исходя из принципов теории ЛКР:

$Q=diag\left[1 1 1 10 10 5\times {10}^5\right], R={10}^{-3}, \sigma =0.0125$.

Отметим, что выбор этих параметров представляет отдельную нетривиальную задачу, для более детального ознакомления с которой заинтересованный читатель может обратиться к [32]–[35]. В данном случае были использованы асимптотические свойства ЛКР (см. [35]), в соответствии с которыми малый вес R не ограничивает энергию управления, а большой вес при ошибке обучения в матрице Q придает доминирующий характер этой переменной при формировании управления.

При τ₀ = 1 и τ₁ = 0 получаем стандартный алгоритм первого порядка, для которого

$k_1^T=\left[-15.5 -12.7 -5180.4\right], k_2=194.6$.

Для алгоритмов второго порядка при τ₀ = 1 естественно задавать τ₁, не превышающим 1, иначе обновленная информация будет подавляться устаревшей. При 0 < τ₁ < 1 получаем ускорение сходимости относительно алгоритма первого порядка. При τ₁ > 1 в силу преобладания устаревшей информации происходит нарушение монотонности изменения E(k) и замедление скорости сходимости относительно алгоритма первого порядка. На фиг. 2 представлено сравнение алгоритма первого порядка и алгоритма второго порядка при τ₁ = 0.8, при этом

$k_1^T=\left[-7.2 -\mathrm{5.6.} -2296.3\right], k_2=190.2$.

 

Фиг. 2. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и второго порядка (сплошная линия) при τ₁ = 0.8

 

На фиг. 3 представлено то же сравнение при τ₁ = 1.2, в этом случае

$k_1^T=\left[-2.27 -1.74 -714.95\right], k_2=75.72$.

 

Фиг. 3. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и второго порядка (сплошная линия) при τ₁ = 1.2

 

Рассмотрим случай d = 2. При этом согласно (2), (3), (14) на текущем шаге учитывается информация с трех предыдущих шагов. Сохраним все параметры теми же, что и при d = 1. Единственное отличие будет в естественном увеличении размера среднего блока матрицы Q, в результате она примет вид

$Q=diag\left[1 1 1 10 10 10 5\times {10}^5\right]$.

Расчеты и моделирование показали, что при τ₀ = 1 обнуление одного из коэффициентов τ₁ или τ₂ при изменении второго в интервале (0, 1) дает практически то же самое ускорение сходимости ошибки обучения, что и при  (фиг. 4 и фиг. 5).

 

Фиг. 4. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и третьего порядка (сплошная линия) при τ₁ = 0.8, τ₂ = 0

 

Фиг. 5. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и третьего порядка (сплошная линия) при τ₁ = 0, τ₂ = 0.8

 

Близкая картина наблюдается, если оба коэффициента не равны нулю и τ₂ < τ₁ (фиг. 6), но при этом, начиная с некоторого значения τ₁ ошибка обучения начинает расходиться.

 

Фиг. 6. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и третьего порядка (сплошная линия) при τ₁ = 0.8, τ₂ = 0.4

 

При τ₂ > τ₁ ошибка всегда расходится (фиг. 7), что объясняется противоречивым характером информации, поступающей в алгоритм.

 

Фиг. 7. Изменение СКО обучения в случаях алгоритма первого порядка (штриховая линия) и третьего порядка (сплошная линия) при τ₁ = 0.6, τ₂ = 0.7

 

5. ЗАКЛЮЧЕНИЕ

В статье предложены новые алгоритмы управления с итеративным обучением высшего порядка, отличающиеся от немногих известных тем, что они учитывают полную информацию о предыдущих шагах и по структуре аналогичны алгоритмам многошаговых методов в теории оптимизации. Примеры подтверждают ускорение сходимости ошибки обучения относительно алгоритмов первого порядка. В дальнейших исследованиях предполагается оценить робастность и эффективность предложенных алгоритмов в условиях неопределенности модели и с учетом внешних случайных возмущений и шумов измерений. Остается также открытым вопрос конструктивного выбора глубины памяти (параметр d) и весовых коэффициентов (τ₁, ..., τ_d). Отдельным направлением является распространение полученных результатов на нелинейные системы.

Наконец, наиболее трудным является строгое общее теоретическое обоснование возможных преимуществ алгоритмов УИО высшего порядка в смысле скорости сходимости ошибки обучения. Хотя примеры вселяют определенную надежду, в общем случае эта задача пока остается открытой даже для линейных систем.

Идея этой работы появилась под влиянием докладов на традиционной молодежной летней школе им. Б. Т. Поляка (Нижний Новгород, 10—15 июля 2023 г.). Авторы выражают благодарность А. В. Гасникову за конструктивную дискуссию и указание на интересную работу [12].

Авторлар туралы

P. Pakshin

Arzamas Polytechnic Institute of the Nizhny Novgorod State Technical University n.a. R.E. Alekseev

Хат алмасуға жауапты Автор.
Email: pakshinpv@gmail.com
Ресей, Arzamas

Yu. Emelianova

Arzamas Polytechnic Institute of the Nizhny Novgorod State Technical University n.a. R.E. Alekseev

Email: emelianovajulia@gmail.com
Ресей, Arzamas

M. Emelyanov

Arzamas Polytechnic Institute of the Nizhny Novgorod State Technical University n.a. R.E. Alekseev

Email: mikhailemelianovarzamas@gmail.com
Ресей, Arzamas

Әдебиет тізімі

Қосымша файлдар