Enhancing governmental policy-making in demographics and migration through multi-agent Deep Reinforcement Learning: A case study with the MADDPG algorithm

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The study identifies the main social, political and economic risks associated with the “overproduction” of the elite, the reduction of the middle class, considering uncontrolled migration. To mitigate the risks, a general theoretical approach is proposed to optimize the “hyperparameters” of public administration procedures, “upgrade” the decision-making model using hybrid systems based on machine learning. The experiment was conducted for 7 regions with initially random features (the number of regions can be any). During the experiment with the MADDPG algorithm, the author shows the possibility of implementing a balanced migration, socio-economic and resource policy for an arbitrary number of regions in conditions of instability, chaotic, noise processes and interregional migration for an unlimited period while maintaining the main environmental parameters. Trained AI algorithms in joint activities showed population growth, economic growth and development of territories, rational use of available resources (without their depletion), balanced interregional migration. Further direction of the research involves the inclusion of the external migration factor and detailing the factors of interregional migration, economic growth and resource consumption in the context of the social structure of society. The prospect of application are hybrid human-machine control and decision support systems for the sphere of public political administration.

Авторлар туралы

Anton Dozhdikov

Institute of Social and Political Studies, FNISSC RAS

Хат алмасуға жауапты Автор.
Email: antondnn@yandex.ru
ORCID iD: 0000-0002-1069-1648
SPIN-код: 2208-1891

Candidate of Political Sciences, Senior Researcher, UNESCO Department

6 Fotievoy st., bldg. 1, Moscow, 119333, Russian Federation

Әдебиет тізімі

  1. Zinkina YuV, Shulgin SG. “Youth bulge” as a factor of sociopolitical instability. Bulletin of Moscow University. Series 27: Global Studies and Geopolitics. 2020;(1):41–52. (In Russ.). https://doi.org/10.56429/2414-4894-2020-31-1-41-52 EDN: DREPPQ
  2. Goldstone JA. Revolution and rebellion in the early modern world. Berkeley: University of California Press; 1991.
  3. Nefedov SA. “Youth bulge” and the first Russian revolution. Sociological Research. 2015;(7):140–147. (In Russ.). EDN: UCFOCB
  4. Korotaev AV, Isaev LM. The bumps and faults revolution. Ehkspert. 2012;(30/31):Special Issue:7–10. (In Russ.).
  5. Murtuzalieva DD, Simagin YuA, Vankina IN. Dynamics of the population of the North Caucasian regions of Russia in 2010–2022. Population. 2022;25(3):33–45. (In Russ.). https://doi.org/10.19181/population.2022.25.3.3 EDN: BSBPER
  6. Akramov ShYu, Blinichkina NYu. Demographic security in the context of international migration. DEMIS. Demographic Research. 2023;3(2):28–39. (In Russ.). https://doi.org/10.19181/demis.2023.3.2.2 EDN: CESKQP
  7. Turchin P. Political instability may be a contributor in the coming decade. Nature. 2010;463:608. https://doi.org/10.1038/463608a
  8. Popov AV. From precarious employment to the precariat. Sociological Research. 2020;(6):155–160. (In Russ.). https://doi.org/10.31857/S013216250009300-3 EDN: YOXAYW
  9. Klupt MA. Family and fertility issues in value conflicts during the 2010s. Sociological Research. 2021;(5):36–46. (In Russ.). https://doi.org/10.31857/S013216250014119-3 EDN: TAKIRG
  10. Svadbina TV, Nemova OA. The Russian family as a guardian and translator of traditional national values. Vestnik of Minin University. 2023;11(4):14. (In Russ.). https://doi.org/10.26795/2307-1281-2023-11-4-14 EDN: EHHNCH
  11. Blagorozheva ZhO, Shapovalova IS. The influence of alternative values and attitudes on the matrimonial strategies of youth. Sotsial’naya politika i sotsiologiya. 2024;23(2):30–39. (In Russ.). https://doi.org/10.17922/2071-3665-2024-23-2-30-39 EDN: HTXQXM
  12. Dozhdikov AV. Political system as a machine-­learning model. Technologies of Social and Humanitarian Research. 2024;(2):9–24. (In Russ.). EDN: MTPDDQ
  13. Li Sh. Reinforcement learning for sequential decision and optimal control. 1st ed. Singapore: Springer; 2023. https://doi.org/10.1007/978-981-19-7784-8
  14. Fu X, Wang H, Xu Z. Cooperative pursuit strategy for multi-UAVs based on DE-MADDPG algorithm. Acta Aeronautica et Astronautica Sinica. 2022;43(5):325311. https://doi.org/10.7527/S1000-6893.2021.25311 EDN: XBKXBQ
  15. Liu Bo, Wang Sh, Li Q, Zhao X, Pan Yu, Wang Ch. Task assignment of UAV swarms based on deep reinforcement learning. Drones. 2023;7(5):297. https://doi.org/10.3390/drones7050297 EDN: STKSJG
  16. Li W, Chen X, Yu W, Xie M. Multiple unmanned aerial vehicle coordinated strikes against ground targets based on an improved multi-­agent deep deterministic policy gradient algorithm. Proceedings of the Institution of Mechanical Engineers. Part I: Journal of Systems and Control Engineering. 2024. https://doi.org/10.1177/09596518241291185 EDN: WXEPFO
  17. Wei X, Huang X, Yang LF. et al. Hierarchical RNNs-­based transformers MADDPG for mixed cooperative-­competitive environments. Journal of Intelligent and Fuzzy Systems. 2022;43(1):1011–1022. https://doi.org/10.3233/JIFS-212795 EDN: HLEHUN
  18. Wang Zh, Guo Ya, Li N. Hu Sh, Wang M. Autonomous collaborative combat strategy of unmanned system group in continuous dynamic environment based on PD-MADDPG. Computer Communications. 2023;200:182–204. https://doi.org/10.1016/j.comcom.2023.01.009 EDN: ROHQUW
  19. Zhao M, Wang G, Fu Q, et al. MW-MADDPG: A meta-­learning based decision-­making method for collaborative UAV swarm. Frontiers in Neurorobotics. 2023;17. https://doi.org/10.3389/fnbot.2023.1243174 EDN: NPYWPK
  20. Chen Zh. DQN-MADDPG Coordinating the multi-­agent cooperation. Highlights in Science, Engineering and Technology. 2023;39:1141–1145. https://doi.org/10.54097/hset.v39i.6720 EDN: XKQISV

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML


Creative Commons License
Бұл мақала лицензия бойынша қол жетімді Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».