On a computer implementation of the block Gauss-Seidel method for normal systems of equations


Cite item

Full Text

Abstract

This article focuses on the modification of the block option Gauss-Seidel method for normal systems of equations, which is a sufficiently effective method of solving generally overdetermined, systems of linear algebraic equations of high dimensionality. The main disadvantage of methods based on normal equations systems is the fact that the condition number of the normal system is equal to the square of the condition number of the original problem. This fact has a negative impact on the rate of convergence of iterative methods based on normal equations systems. To increase the speed of convergence of iterative methods based on normal equations systems, for solving ill-conditioned problems currently different preconditioners options are used that reduce the condition number of the original system of equations. However, universal preconditioner for all applications does not exist. One of the effective approaches that improve the speed of convergence of the iterative Gauss-Seidel method for normal systems of equations, is to use its version of the block. The disadvantage of the block Gauss-Seidel method for production systems is the fact that it is necessary to calculate the pseudoinverse matrix for each iteration. We know that finding the pseudoinverse is a difficult computational procedure. In this paper, we propose a procedure to replace the matrix pseudo-solutions to the problem of normal systems of equations by Cholesky. Normal equations arising at each iteration of Gauss-Seidel method, have a relatively low dimension compared to the original system. The results of numerical experimentation demonstrating the effectiveness of the proposed approach are given.

About the authors

Alexander I Bogdanova

Samara State Technical University

Email: zhdanovaleksan@yandex.ru
(Dr. Phys. & Math. Sci.), Dean, Faculty of the Distance and Additional Education; Head of Dept., Dept. of Higher Mathematics & Applied Computer Science 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

Ekaterina Yu Bogdanova

Samara State Technical University

Email: fwinter@yandex.ru
Postgraduate Student, Dept. of Higher Mathematics & Applied computer Science 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

References

  1. Saad Y. Basic Iterative Methods / Iterative Methods for Sparse Liner Systems. Philadelphia, PA, USA: SIAM, 2003. pp. 103-128. doi: 10.1137/1.9780898718003.ch4.
  2. Golub G. H., Van Loan C. F. Matrix Computations / Johns Hopkins Studies in Mathematical Sciences. Baltimore, London: Johns Hopkins University Press, 1996. xxvii+728 pp.
  3. Björck A. Linear Least Squares Problems / Numerical methods in matrix computations / Texts in Applied Mathematics, 59. Berlin: Springer, 2015. pp. 211-430. doi: 10.1007/ 978-3-319-05089-8_2.
  4. Young D., Rheinboldt W. Iterative Solutions of Large Linear Systems. New York: Academic Press, 1971. 572 pp. doi: 10.1016/c2013-0-11733-3.
  5. Ma A., Needell D., Ramdas A. Convergence Properties of the Randomized Extended Gauss-Seidel and Kaczmarz Methods // SIAM. J. Matrix Anal. Appl., 2015. vol. 36, no. 4. pp. 1590-1604. doi: 10.1137/15m1014425.
  6. Gill P. E., Murray W., Ponceleón D. B., Saunders M. A. Preconditioners for Indefinite Systems Arising in Optimization // SIAM. J. Matrix Anal. Appl., 1992. vol. 13, no. 1. pp. 292-311. doi: 10.1137/0613022.
  7. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey // Journal of Computational Physics, 2002. vol. 182, no. 2. pp. 418-477. doi: 10.1006/jcph.2002.7176.
  8. Benzi M., Tûma M. A comparative study of sparse approximate inverse preconditioners // Appl. Numer. Math., 1999. no. 2-3. pp. 305-340. doi: 10.1016/s0168-9274(98)00118-4.
  9. Bergamaschi L., Pini G., Sartoretto F. Approximate inverse preconditioning in the parallel solution of sparse eigenproblems // Numerical Linear Algebra with Applications, 2000. vol. 7, no. 3. pp. 99-116. doi: 10.1002/(sici)1099-1506(200004/05)7:3<99::aid-nla188>3.3.co;2-x.
  10. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners // Electronic Transactions on Numerical Analysis, 1999. vol. 8. pp. 88-114.
  11. Ильин В. П. Об итерационном методе Качмажа и его обобщениях // Сиб. журн. индустр. матем., 2006. Т. 9, № 3. С. 39-49.
  12. Gower R. M., Richtárik P. Randomized Iterative Methods for Linear Systems // SIAM. J. Matrix Anal. Appl., 2015. vol. 36, no. 4. pp. 1660-1690. doi: 10.1137/15m1025487.
  13. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence // J. Fourier Anal. Appl., 2009. vol. 15, no. 2. pp. 262-278. doi: 10.1007/s00041-008-9030-4.
  14. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного регуляризованного алгоритма Качмажа // Комп. оптика, 2015. Т. 39, № 4. С. 536-541. doi: 10.18287/0134-2452-2015-39-4-536-541.
  15. Horn R. A., Johnson C. R. Matrix Analysis. Cambridge: Cambridge University Press, 1989. xviii+643 pp. doi: 10.1017/cbo9781139020411.
  16. Жданов А. И., Иванов А. А. Проекционный регуляризирующий алгоритм для решения некорректных линейных алгебраических систем большой размерности // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2010. № 21. С. 309-312. doi: 10.14498/vsgtu827.
  17. Малышев А. Н. Введение в вычислительную линейную алгебру. Новосибирск: Наука, 1991. 229 с.
  18. Гантмахер Ф. Р. Теория матриц. М.: Наука, 1966. 576 с.
  19. Беклемишев Д. В. Дополнительные главы линейной алгебры. М.: Наука, 1983. 336 с.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2016 Samara State Technical University

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».