Block regularization Kaczmarz method


Cite item

Full Text

Abstract

This article focuses on the modification of the iterative version of Kaczmarz block algorithm for solving the problem of regularization, which is a fairly effective method for large-scale problems. An important characteristic of iterative methods is the speed of convergence, which depends on the condition number of the original problem. The main drawback of many iterative methods is the large condition number, while methods based on normal equations have the condition number of the system equal to the square of the condition number of the original problem. At the present time to increase the speed of convergence of iterative methods different types of preconditioners are used reducing the condition number of the system. The disadvantages of this approach is manifested in high computational complexity and the lack of universal preconditioner, which could be applied to any iterative method. One of the most effective approaches for improving the convergence rate of the method is to use a block variant of the method used. In this regard, in this paper we propose a modification of the original block Kaczmarz method for the regularization of the problem, which will reduce the computational complexity, and thus increase the rate of convergence of the algorithm. The article provides a detailed derivation of the proposed modification of the method and the proof of the convergence of the proposed variant of the block Kaczmarz method.

About the authors

Ekaterina Yu Bogdanova

Samara State Technical University

Email: fwinter@yandex.ru
Postgraduate Student, Dept. of Higher Mathematics & Applied Computer Science 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

References

  1. Тихонов А. Н., Арсений В. Я. Методы решения некорректных задач. М.: Наука, 1979. 284 с.
  2. Gill P. E., Murray W., Saunders M. A. Preconditioners for indefinite systems arising in optimization // SIAM. J. Matrix Anal. Appl., 1992. vol. 13, no. 1. pp. 292-311. doi: 10.1137/0613022.
  3. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey // J. Comput. Phys., 2002. vol. 182, no. 2. pp. 418-477. doi: 10.1006/jcph.2002.7176.
  4. Benzi M., Tuma M. A comparative study of sparse approximate inverse preconditioners // Appl. Numer. Math., 1999. vol. 30, no. 1-2. pp. 305-340. doi: 10.1016/S0168-9274(98)00118-4.
  5. Bergamaschi L., Pini G., Sartoretto F. Aproximate inverse preconditioning in the parallel solution of sparse eigenproblems // Numer. Linear Algebra Appl., 2000. vol. 7, no. 3. pp. 99-116. doi: 10.1002/(SICI)1099-1506(200004/05)7:3<99::AID-NLA188>3.0.CO;2-5.
  6. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners // ETNA. Electronic Transactions on Numerical Analysis, 1999. vol. 8. pp. 88-114, http://eudml.org/doc/119978.
  7. Bocs˛an Gh. Convergence of iterative methods for solving random operator equations // J. Nonlinear Sci. Appl., 2013. vol. 6, no. 1. pp. 2-6, http://www.tjnsa.com/includes/files/articles/Vol6_Iss1_2--6_Convergence_of_iterative_methods_fo.pdf.
  8. Gower R. M., Richtárik P. Randomized Iterative Methods for Linear Systems // SIAM. J. Matrix Anal. & Appl., 2015. vol. 36, no. 4. pp. 1660-1690, arXiv: 1506.03296 [math.NA].
  9. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного регуляризованного алгоритма Качмажа // Компьютерная оптика, 2015. Т. 39, № 4. С. 536-541. doi: 10.18287/0134-2452-2015-39-4-536-541.
  10. Ivanov A. A., Zhdanov A. I. Kaczmarz algorithm for Tikhonov regularization problem // Applied Mathematics E-Notes, 2013. vol. 13. pp. 270-276, http://www.math.nthu.edu.tw/~amen/2013/1302252(final).pdf.
  11. Васильченко Г. П., Светлаков А. А. Проекционный алгоритм решения систем линейных алгебраических уравнений большой размерности // Ж. вычисл. матем. и матем. Физ., 1980. № 1. С. 3-10.
  12. Tanabe K. Projection method for solving a singular system of linear equation and its applications // Numer. Math., 1971. vol. 17, no. 3. pp. 203-214. doi: 10.1007/BF01436376.
  13. Strohmer T. A., Vershynin R. A randomized Kaczmarz algorithm for linear systems with exponential convergence // J. Fourier Anal. Appl., 2009. vol. 15. pp. 262-278. doi: doi: 10.1007/s00041-008-9030-4.
  14. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen // Bull. Int. Acad. Polon. Sci. A, 1937. vol. 35. pp. 335-357, http://jasonstockmann.com/Jason_Stockmann/Welcome_files/kaczmarz_english_translation_1937.pdf.
  15. Morozov V. A. Methods of Solving Incorrectly Posed Problems. New York: Springer Verlag, 1984. xviii+257 pp. doi: 10.1007/978-1-4612-5280-1.
  16. Hämarik U., Palm R., Raus T. A family of rules for parameter choice in Tikhonov regularization of ill-posed problems with inexact noise level // Comput. Appl. Math., 2012. vol. 236, no. 8. pp. 2146-2157. doi: 10.1016/j.cam.2011.09.037.
  17. Долишний В. В., Жданов А. И. Вычисление параметра регуляризации методом перекрестной значимости на основе эквивалентных нормальных расширенных систем / Труды седьмой Всероссийской научной конференции с международным участием: Информационные технологии в математическом моделировании. Часть 4 (3-6 июня 2010 г.) / Матем. моделирование и краев. задачи. Самара: СамГТУ, 2010. С. 52-55.
  18. Жданов А. И. Оптимальная регуляризация решений приближенных стохастических систем линейных алгебраических уравнений // Ж. вычисл. матем. и матем. физ., 1990. Т. 30, № 10. С. 1588-1593.
  19. Жданов А. И. Метод расширенных регуляризованных нормальных уравнений // Ж. вычисл. матем. и матем. физ., 2012. Т. 52, № 2. С. 205-208.
  20. Жданов А. И. Об одной модификации итерационного алгоритма Качмажа / Труды седьмой Всероссийской научной конференции с международным участием: Информационные технологии в математическом моделировании. Часть 4 (3-6 июня 2010 г.) / Матем. моделирование и краев. задачи. Самара: СамГТУ, 2010. С. 75-77.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2016 Samara State Technical University

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».