Recovering text sequences using deep learning models

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

This article presents the results of the formation, training and performance evaluation of models with the Encoder-Decoder and Sequence-To-Sequence (Seq2Seq) architectures for solving the problem of supplementing incomplete texts. Problems of this type often arise when restoring the contents of documents from their low-quality images. The studies conducted in the work are aimed at solving the practical problem of forming electronic copies of scanned documents of the «Roskadastr» PLC, the recognition of which is difficult or impossible with standard means.The formation and study of models was carried out in Python using the high-level API of the Keras package. A dataset consisting of several thousand pairs was formed for the purpose of training and studying the models. Each pair in this set represented an incomplete and corresponding full text. To evaluate the quality of the models, the values of the loss function and the accuracy, BLEU and ROUGE-L metrics were calculated. Loss and accuracy made it possible to evaluate the effectiveness of the models at the level of predicting individual words. The BLEU and ROUGE-L metrics were used to evaluate the similarity between the full and reconstructed texts. The results showed that both the Encoder-Decoder and Seq2Seq models cope with the task of reconstructing text sequences from their fixed set, but the Seq2Seq transformer-based model achieves better results in terms of training speed and quality.

Авторлар туралы

Igor Vinokurov

Financial University under the Government of the Russian Federation

Email: igvvinokurov@fa.ru
Candidate of Technical Sciences (PhD), Associate Professor at the Financial University under the Government of the Russian Federation. Research interests: information systems, information technologies, data processing technologies

Әдебиет тізімі

  1. N. C. Sabharwal, A. Agrawal. Hands-on Question Answering Systems with BERT: Applications in Neural Networks and Natural Language Processing, Apress, Berkeley, CA, 2021, ISBN 978-1-4842-6664-9, xv+184 pp.
  2. K. Aitken, V V. Ramasesh, Y. Cao, N. Maheswaranathan. Understanding how encoder-decoder architectures attend, 2021, 24 pp.
  3. A. Rahali, M. A. Akhloufi. “End-to-end transformer-based models in textual-based NLP”, Artificial Intelligence, 4:1 (2023), pp. 54–110.
  4. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin. Attention is all you need, 2017, 15 pp.
  5. K. Papineni, S. Roukos, T. Ward, W.-J. Zhu. “BLEU: a method for automatic evaluation of machine translation”, ACL'02 Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (July 7–12, 2002, Philadelphia, Pennsylvania, USA), ACL, Stroudsburg, 2002, pp. 311–318.
  6. Ch.-Y. Lin. “ROUGE: a package for automatic evaluation of summaries”, Proceedings of the Workshop on Text Summarization Branches Out, WAS 2004 (July, 2004, Barcelona, Spain), ACL, 2004, 74–81 pp.
  7. Vinokurov I. V.. “Using a convolutional neural network to recognize text elements in poor quality scanned images”, Program Systems: Theory and Applications, 13:3(54) (2022), pp. 45–59.
  8. Vinokurov I. V.. “Recognition of digital sequences using convolutional neural networks”, Program Systems: Theory and Applications, 14:3 (2023), pp. 3–36 (in Russian, in English).
  9. Th. Luong, H. Pham, Ch. D. Manning. “Effective approaches to attention-based neural machine translation”, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (17–21 September, 2015, Lisbon, Portugal), ACL, 2015, ISBN 978-1-941643-32-7, pp. 1412–1421.
  10. A. M. Dai, Q. V. Le. Semi-supervised Sequence Learning, NIPS 2015 (December 7–12, 2015, Montreal, Quebec, Canada), Advances in Neural Information Processing Systems, vol. 28, Curran Associates, Inc., 2015, ISBN 9781510825024, 9 pp.
  11. J. Gehring, M. Auli, D. Grangier, D. Yarats, Y. N. Dauphin. “Convolutional sequence to sequence learning”, Proceedings of the 34th International Conference on Machine Learning (6–11 August 2017, International Convention Centre, Sydney, Australia), PMLR, vol. 70, 2017, pp. 1243–1252.
  12. D. Ulyanov, A. Vedaldi, V. Lempitsky. “Deep image prior”, International Journal of Computer Vision, 128:7 (2020), pp. 1867–1888.
  13. K. Hakala, A. Vesanto, N. Miekka, T. Salakoski, F. Ginter. Leveraging text repetitions and denoising autoencoders in OCR post-correction, 2019, 5 pp.
  14. G. Huang, J. Wang, H. Tang, X. Ye. “BERT-based contextual semantic analysis for English preposition error correction”, Journal of Physics: Conference Series, 1693:1 (2020), 012115, 5 pp.
  15. K. Song, X. Tan, T. Qin, J. Lu, T.-Y. Liu. “MASS: masked sequence to sequence pre-training for language generation”, International Conference on Machine Learning (9–15 June 2019, Long Beach, California, USA), PMLR, vol. 97, 2019, pp. 5926–5936.
  16. Sh. Chollampatt, D, T. Hoang, H. T. Ng. “Adapting grammatical error correction based on the native language of writers with neural network joint models”, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016 (1–4 November, 2016, Austin, Texas, USA), ACL, 2016, ISBN 978-1-945626-25-8, pp. 1901–1911.
  17. A. Graves. Supervised Sequence Labelling with Recurrent Neural Networks, Studies in Computational Intelligence, vol. 385, Springer, Berlin–Heidelberg, 2012, ISBN 978-3-642-24797-2 vadjust{, 146 pp.
  18. T. Ge, X. Zhang, F. Wei, M. Zhou. “Automatic grammatical error correction for sequence-to-sequence text generation: an empirical study”, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (July 28–August 2, 2019, Florence, Italy), ACL, 2019, ISBN 978-1-950737-48-2, pp. 6059–6064.
  19. X. Zhang, J. Zhao, Y. LeCun. “Character-level convolutional networks for text classification”, 2016, 9 pp.
  20. Z. Xie, A. Avati, N. Arivazhagan, D. Jurafsky, A. Ng. Neural language correction with character-based attention, 2016, 10 pp.
  21. J. Ramirez-Orta, E. Xamena, A. Maguitman, E. Milios, A. Soto. “Post-OCR document correction with large ensembles of character sequence-to-sequence models”, Proceedings of the AAAI Conference on Artificial Intelligence, 36 (2022), pp. 11192–11199.
  22. A. A. Alkhazraji, K. Baheeja, A. M. N. Alzubaidi. “Ancient textual restoration using deep neural networks: a literature review”, 2023 Al-Sadiq International Conference on Communication and Information Technology, AICCIT 2023 (04–06 July 2023, Al-Muthana, Iraq), 2023, ISBN 9798350341898, pp. 64–69.
  23. F. Chollet. Deep Learning with Python, 2nd ed., Manning, 2021, ISBN 9781617296864, 504 pp.
  24. A. Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd ed., O'Reilly Media, Sebastopol, 2019, ISBN 978-1-492-03264-9, 848 pp.
  25. A. Kapoor, A. Gulli, S. Pal. Deep Learning with TensorFlow and Keras: Build and deploy supervised, unsupervised, deep, and reinforcement learning models, 3rd ed., Packt Publishing, 2022, ISBN 978-1803232911, 698 pp.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML


Creative Commons License
Бұл мақала лицензия бойынша қолжетімді Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».