Email this article Development and application of the computational model for skeleton solutions. Case study - using “bag-of-task” for hrbf neural network learning
- Authors: Litvinov V.G1
-
Affiliations:
- S. P. Korolyov Samara State Aerospace University (National Research University)
- Issue: Vol 18, No 3 (2014)
- Pages: 183-195
- Section: Articles
- URL: https://bakhtiniada.ru/1991-8615/article/view/20773
- DOI: https://doi.org/10.14498/vsgtu1341
- ID: 20773
Cite item
Full Text
Abstract
The article proposes a solution to the problem of mapping an algorithm from the field of Computational Mathematics on the target computing environment. The solution is based on a formal method for constructing parallel skeletons. The method comprises a specification of concurrency with the directed graphs and a formula for interpretation of dynamic behavior of such graphs. This interpretation is based on Temporal Logic of Actions approach proposed by Leslie Lamport. To illustrate the use of the method the “bag-oftasks” parallel skeleton is discussed hereinafter. We present graphically basic skeleton operations with the proposed computational model. After that we specify a learning algorithm of hyper-radial basis function neural network in the terms of skeleton operations as a case study. This made it possible to parallelize the leaning algorithm and map it on desired computing environments with predefined run-time libraries. Computational experiments confirming that our approach does not reduce the performance of the resulting programs are presented. The approach is suitable for researchers not familiar with parallel computing. It helps to get a reliable and effective supercomputer application both for SMP and distributed architectures.
Full Text
##article.viewOnOriginalSite##About the authors
Vladimir G Litvinov
S. P. Korolyov Samara State Aerospace University (National Research University)
Email: litvinov_vg@ssau.ru
Assistant, Dept. of Information Systems & Technology 34, Moskovskoe sh., Samara, 443086, Russian Federation
References
- Sutter H. The free lunch is over: A fundamental turn toward concurrency in software // Dr. Dobb’s journal, 2005. vol. 30, no. 3. pp. 202-210.
- Марчук Г. И., Котов В. Е. Проблемы вычислительной техники и фундаментальные исследования // Автом. и вычисл. техн., 1979. № 2. С. 3-14.
- Gamma E., Helm R., Johnson R., Vlissides J. Design patterns: elements of reusable objectoriented software. Westford: Addison-Wesley, 1995. 395 pp.
- Cole M. I. Algorithmic skeletons: structured management of parallel computation. Massachusetts, Cambridge, Boston: MIT Press, 1989. v+132 pp.
- MacDonald S., Szafron D., Schaeffer J., Bromling S. Generating parallel program frameworks from parallel design patterns / Euro-Par 2000 Parallel Processing / Lecture Notes in Computer Science, 1900. Berlin, Heidelberg: Springer, 2000. pp. 95-104. doi: 10.1007/3-540-44520-X_13.
- Schmidt D. C., Huston S. D. C++ Network Programming. vol. I: Mastering Complexity with ACE and Patterns: FT Press, 2001. 336 pp.
- Берзигияров П. К. Программирование на типовых алгоритмических структурах с массивным параллелизмом // Вычислительные методы и программирование, 2001. Т. 2, № 2. С. 1-16.
- Kraeva M. A., Malyshkin V. E. Assembly technology for parallel realization of numerical models on mimd-multicomputers // Future Generation Computer Systems, 2001. vol. 17, no. 6. pp. 755-765. doi: 10.1016/s0167-739x(00)00058-3.
- Botorog G. H., Kuchen H. Skil: An imperative language with algorithmic skeletons for efficient distributed programming / Proceedings of 5th IEEE International Symposium on High Performance Distributed Computing, HPDC-96, 1996. 243-252 pp. doi: 10.1109/hpdc.1996.546194
- Dorta A. J., González J. A., Rodríıguez C., De Sande F. Llc: A parallel skeletal language // Parallel Processing Letters, 2003. vol. 13, no. 03. pp. 437-448. doi: 10.1142/s0129626403001409.
- Iosup A., Sonmez O., Anoep S., Epema D. The performance of bags-of-tasks in large-scale distributed systems / Proceedings of the 17th International Symposium on High Performance Distributed Computing 2008, HPDC’08, 2008. pp. 97-108. doi: 10.1145/1383422.1383435.
- Reinders J. Intel Threading Building Blocks: Outfitting C++ for Multi-core Processor Parallelism. Beijing, Cambridg, etc.: O’Reilly Media, 2007. 336 pp.
- Blumofe R. D., Joerg C. F., Kuszmaul B. C., Leiserson C. E., Randall K. H., Zhou Y. Cilk: An Efficient Multithreaded Runtime System // Journal of Parallel and Distributed Computing, 1996. vol. 37, no. 1. pp. 55-69. doi: 10.1006/jpdc.1996.0107.
- OpenMP: an industry standard API for shared-memory programming // IEEE Computational Science and Engineering, 1998. vol. 5, no. 1. pp. 46-55. doi: 10.1109/99.660313.
- Konovalov N. A., Krukov V. A., Mihailov S. N., Pogrebtsov A. A. Fortran dvm - a language for portable parallel program development / Proceedings of Software For Multiprocessors & Supercomputers: Theory, Practice, Experience, 1994. pp. 124-133.
- Lamport L. The temporal logic of actions // ACM Transactions on Programming Languages and Systems, 1994. vol. 16, no. 3. pp. 872-923. doi: 10.1145/177492.177726.
- Lamport L. Specifying systems: The TLA+ Language and Tools for Hardware and Software Engineers. Boston, San Francisco, etc.: Addison-Wesley, 2002. xviii+364 pp.
- Востокин С. В. Графическая объектная модель параллельных процессов и ее применение в задачах численного моделирования. Самара: СНЦ РАН, 2007. 286 с.
- Востокин С. В. Система автоматизации параллельного программирования Graphplus Templet / Параллельные вычисления и задачи управления, PACO’2010: Труды Пятой Международной конференции. М.: ИПУ РАН, 2010. С. 1143-1156 http://paco2010.ipu.ru/pdf/C105.pdf.
- Востокин С. В. Templet - метод процессно-ориентированного моделирования параллелизма // Программные продукты и системы, 2012. № 3. С. 11-14.
- Востокин С. В., Литвинов В. Г., Макагонова Д. Д., Хайрутдинов А. Р. Визуальное моделирование параллельных алгоритмов в процессно-ориентированной нотации Templet / Параллельные вычисления и задачи управления, PACO’2012: Тр. Шестой Международн. конф-ции. Т. 1. М.: ИПУ РАН, 2012. С. 260-269 http://paco2012.ipu.ru/procdngs/E208.pdf.
- Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. 344 с.
- Haykin S. O. Neural Networks and Learning Machines (3rd Edition): New York, 2008. 936 pp.
- Литвинов В. Г., Солдатова О. П. Методы построения оптимальной структуры HRBF нейронной сети для решения задачи прогнозирования / Перспективные информационные технологии для авиации и космоса, ПИТ-2010: Труды Международной конференции с элементами научной школы для молодежи. СГАУ: Самара, 2010. С. 252-254.
- Востокин С. В., Хайрутдинов А. Р., Литвинов В. Г. Программный комплекс параллельного программирования Graphplus Templet // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2011. № 4(25). С. 146-153. doi: 10.14498/vsgtu1027.
- Артамонов Ю. С., Востокин С. В., Назаров Ю. П. Templet - Сервис непрерывной интеграции для разработки высокопроизводительных приложений / Высокопроизводительные параллельные вычисления на кластерных системах: Материалы XII всероссийской конференции. Нижний Новгород: Изд-во НГУ, 2012. С. 82.
Supplementary files
