Application of Machine Learning Methods to Image Analysis of Chronic Wounds

Cover Page

Cite item

Full Text

Abstract

Neural networks and deep learning algorithms are increasingly used in medicine, including image analysis. In surgery, soft tissue wounds assessment remains challenging but necessary issue to assess the course of healing process and treatment effectiveness. Digital wound images are used for noncontact wound analysis. The paper presents the results of pre-trained network models (AlexNet, ResNet50, ResNet152, VGG16) used to classify pressure ulcer images as examples of chronic wounds. The Segment Anything Model (SAM) demonstrated an accuracy of 86.46% in solving the problem of segmenting the edges of a wound defect and tissue types within it. The results can be used to create an expert system for analyzing soft tissue wound images.

About the authors

Anton G. Nazarenko

N. N. Priorov National Medical Research Center for Traumatology and Orthopedics

Author for correspondence.
Email: NazarenkoAG@cito.priorov.ru

Doctor of Medical Sciences, Director

Russian Federation, Moscow

Elena B. Kleymenova

N. N. Priorov National Medical Research Center for Traumatology and Orthopedics

Email: KleymenovaEB@cito-priorov.ru

Doctor of Medical Sciences, Deputy Director for Healthcare Quality and Information Technologies

Russian Federation, Moscow

Alexey I. Molodchenkov

Federal Research Center “Computer Science and Control”; Peoples' Friendship University of Russia

Email: aim@isa.ru

Candidate of technical sciences, Researcher

Russian Federation, Moscow; Moscow

Anna S. Ponomarchuk

Higher School of Economics

Email: asponomarchuk_1@edu.hse.ru

Student, Faculty of Computer Science

Russian Federation, Moscow

Natalia P. Gerasimova

N. N. Priorov National Medical Research Center for Traumatology and Orthopedics

Email: GerasimovaNP@cito-priorov.ru

Analyst

Russian Federation, Moscow

Ekaterina S. Yurchenkova

N. N. Priorov National Medical Research Center for Traumatology and Orthopedics

Email: YurchenkovaES@cito-priorov.ru

Analyst

Russian Federation, Moscow

Lyubov P. Yashina

N. N. Priorov National Medical Research Center for Traumatology and Orthopedics

Email: YashinaLP@cito-priorov.ru

Candidate of biological sciences, Analyst

Russian Federation, Moscow

References

  1. Marijanovic D., Filko D. A systematic overview of recent methods for non-contact chronic wound analysis //Appl. Sci. 2020. V.10. 7613.
  2. Chairat S., Chaichulee S., Dissaneewate T., Wangkulangkul P., Kongpanichakul L.AI-assisted assessment of wound tissue with automatic color and measurement calibration on images taken with a smartphone //Healthcare. 2023. V.11. P.273.
  3. Martinengo L., Olsson M., Bajpai R., Soljak M., Upton Z. Prevalence of chronic wounds in the general population: Systematic review and meta-analysis of observational studies //Ann. Epidemiol. 2019. V.29. P.8–15.
  4. Maity M., Dhane D., Bar C., Chakraborty C., Chatterjee J. Pixel-based supervised tissue classification of chronic wound images with deep autoencoder //Adv. Comput. Commun. Paradig. 2017. V.2. P.727–735.
  5. Chronic Wounds, overview and treatment. Available at: https: //www.woundsource.com/patientcondition /chronicwounds (accessed on 13 July 2020).
  6. Dadkhah A., Pang X., Solis E., Fang R., Godavarty A. Wound size measurement of lower extremity ulcers using segmentation algorithms //Proceedings of the Optical Biopsy XIV: Toward Real-Time Spectroscopic Imaging and Diagnosis, San Francisco, CA, USA, 15–17 February 2016. V.9703. P.97031D
  7. Mukherjee R., Manohar D.D., Das D.K., Achar A., Mitra A., Chakraborty C. Automated tissue classification framework for reproducible chronic wound assessment //BioMed Res. Int. 2014. V.2014. P.851582
  8. Gautam G., Mukhopadhyay S. Efficient contrast enchancement based on local–global image statistics and multiscale morphological filtering //Adv. Comput. Commun. Paradig. 2017. V.2. P.229–238.
  9. Mukherjee R., Tewary S., Routray A. Diagnostic and prognostic utility of non-invasive multimodal imaging in chronic wound monitoring: A systematic review //J. Med. Syst. 2017. V.41, 46.
  10. Macefield RC, Blazeby JM, Reeves BC, King A, Rees J, Pullyblank A, Avery K. Remote assessment of surgical site infection (SSI) using patient-taken wound images: Development and evaluation of a method for research and routine practice. //J Tissue Viability. 2023. V.32, N1. P.94-101.
  11. Zahia S., Zapirain G., Sevillano X., González A., Kim P.J., Elmaghraby A. Pressure injury image analysis with machine learning techniques: A systematic review on previous and possible future methods //Artif. Intell. Med. 2020. V.102. P.101742.
  12. Monroy F.L., Hussein R. Contour extraction of surgical stoma surfaces using 2.5D images from smartphone 3D scanning //2023 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), Poznan, Poland, 2023. P. 112-117.
  13. Pavlovčič U., Jezeršek M. Handheld 3‐dimensional wound measuring system //Skin Res. Technol. 2018. V.24, N2. P.326-333.
  14. Dini V., Granieri G. Wound measurement //Maruccia, M., Papa, G., Ricci, E., Giudice, G. (eds) Pearls and pitfalls in skin ulcer management. Springer, 2023. P.339–346
  15. Chang A.C., Dearman B., Greenwood J.E. A comparison of wound area measurement techniques: Visitrak versus photography //Eplasty. 2011. V.11. P.158–166
  16. Delode J, Rosow E, Roth C, Adams J, Langevin F. A wound-healing monitoring system //ITBM-RBM 2001. V.22. P.4952.
  17. Veredas F.J., Luque-Baena R.M., Martín-Santos F.J., Morilla-Herrera J.C., Morente L. Wound image evaluation with machine learning //Neurocomputing. 2015. V.164. P.112-122.
  18. Averin T.O. Ustraneniye shumov na izobrazhenii s pomoshch'yu mediannogo fil'tra [Noise removal in images using a median filter] //Novyye informatsionnyye tekhnologii v nauchnykh issledovaniyakh: Materialy XKHVII Vserossiyskoy nauchno-tekhnicheskoy konferentsii studentov, molodykh uchenykh i spetsialistov [New information technologies in scientific research: Proceedings of the XXVII All-Russian Scientific and Technical Conference of Students, Young Scientists and Specialists]. V.2. Ryazan, 2022. P.81
  19. Grigorchenko S. A. Bystryy dvumernyy mediannyy fil'tr fona [Fast two-dimensional median background filter] //Vestnik Kolomenskogo instituta Moskovskogo politekhnicheskogo universiteta [Bulletin of the Kolomna Institute of Moscow Polytechnic University]. 2022. P.430-436.
  20. Dhane DM, Krishna V, Achar A, Bar C, Sanyal K, Chakraborty C. Spectral clustering for unsupervised segmentation of lower extremity wound beds using optical images //J Med Syst. 2016. V.40. P.207
  21. Stepakov V.I., Kakurina A.V., Shamardin D.D. Preobrazovaniye izobrazheniy na osnove adaptivnogo mediannogo fil'tra [Image transformation based on an adaptive median filter] // Programmnaya inzheneriya: sovremennyye tendentsii razvitiya i primeneniya [Software engineering: modern trends in development and application (PI-2021)]. 2021. P.31-39.
  22. Yadav M.K., Manohar D.D., Mukherjee G., Chakraborty C. Segmentation of chronic wound areas by clustering techniques using selected color space //J. Med. Imaging Health Inform. 2013. V.3, N1. P.22-29.
  23. Dhane D.M., Maity M., Mungle T., Bar C., Achar A., Kolekar M., Chakraborty C. Fuzzy spectral clustering for automated delineation of chronic wound region using digital images //Comput. Biol. med. 2017. V.89. P.551-560.
  24. Vonikakis V., Arapakis I., Andreadis I. Combining GrayWorld assumption, White-Point correction and power transformation for automatic white balance //International Workshop on Advanced Image Technology (IWAIT), 2011.
  25. Kwok N.M., Wang D., Jia X., Chen S.Y., Fang G., Ha Q.P. Gray world-based color correction and intensity preservation for image enhancement //2011 4th International Congress on Image and Signal Processing, Shanghai, 2011. P.994-998.
  26. Lee D.J., Archibald J.K., Chang Y.C., Greco C.R. Robust color space conversion and color distribution analysis techniques for date maturity evaluation //J. Food Engin. 2008. V.88, N3. P.364-372.
  27. Tajjour S., Garg S., Chandel S.S., Sharma D. A novel hybrid artificial neural network technique for the early skin cancer diagnosis using color space conversions of original images //Int. J. Imaging Syst. Technol. 2023. V.33, N1. P.276-286
  28. Russakoff D.B., Mannil S.S., Oakley J.D., Ran A.R., Cheung C.Y., Dasari S., Riyazzuddin M., Nagaraj S., Rao H.L., Chang D., Chang R.T. A 3D deep learning system for detecting referable glaucoma using full OCT macular cube scans //Trans. Vis. Sci. Tech. 2020. V.9, N2. P.12.
  29. Liu D., Yu J. Otsu method and K-means //2009 Ninth International conference on hybrid intelligent systems. – IEEE, 2009. V.1. P.344-349.
  30. Zhang J., Hu J. Image segmentation based on 2D Otsu method with histogram analysis //2008 International Conference on Computer Science and Software Engineering, 2008. V.6. P.105-108.
  31. Talab A.M.A., Huang Z., Xi F., HaiMing L. Detection crack in image using Otsu method and multiple filtering in image processing techniques //Optik. 2016. V.127, N3. P.1030-1033.
  32. Trabelsi O., Tlig L., Sayadi M., Fnaiech F. Skin disease analysis and tracking based on image segmentation. //2013 International Conference on Electrical Engineering and Software Applications, 2013. P.1-7.
  33. Poon T.W.K., Friesen M. R. Algorithms for size and color detection of smartphone images of chronic wounds for healthcare applications //IEEE Access, 2015. V.3, P.1799-1808.
  34. Gholami P., Ahmadi-Pajouh M.A., Abolftahi N., Hamarneh G., Kayvanrad M. Segmentation and measurement of chronic wounds for bioprinting //IEEE J. Biomed. Health Inform. 2017. V.22, N4. P.1269-1277.
  35. Seixas J. L., Barbon S., Mantovani R.G. Pattern recognition of lower member skin ulcers in medical images with machine learning algorithms //2015 IEEE 28th International Symposium on Computer-Based Medical Systems, Sao Carlos, Brazil, 2015. P.50-53.
  36. Grishanov K.M., Belov Yu.S. Morfologicheskiye operatsii dlya umen'sheniya shuma na izobrazhenii [Morphological operations for reducing noise in an image] //Elektronnyy zhurnal: nauka, tekhnika i obrazovaniye [Electronic journal: science, technology and education]. 2016. No. 2. P. 90-95.
  37. Shashev D.V., Shidlovsky S.V. Morfologicheskaya obrabotka binarnykh izobrazheniy s ispol'zovaniyem perestraivayemykh vychislitel'nykh sred [Morphological processing of binary images using reconfigurable computing environments] //Avtometriya [Autometry]. 2015. V.51, N3. P.19-26
  38. Rajathi V., Bhavani R.R., Wiselin J.G. Varicose ulcer (C6) wound image tissue classification using multidimensional convolutional neural networks //Imaging Sci. J. 2019. V.67. P.374–384.
  39. Kumar K.S., Reddy B.E. Wound image analysis classifier for efficient tracking of wound healing status //Signal Image Process. Int. J. 2014. V.5. P.15–27
  40. Eskov V.M., Eskov V.V., Vochmina Y.V., Gorbunov D.V., Ilyashenko L.K. Shannon entropy in the research on stationary regimes and the evolution of complexity //Moscow Univ. Physics Bull. 2017. V.72. P.309-317.
  41. Wu Y., Zhou Y., Saveriades G., Agaian S., Noonan J.P., Natarajan P. Local Shannon entropy measure with statistical tests for image randomness //Information Sci. 2013. V.222. P.323-342.
  42. Kamarainen J.K., Kyrki V., Kalviainen H. Invariance properties of Gabor filter-based features-overview and applications // IEEE Transactions on Image Processing. 2006. V.15, N5. P.1088-1099.
  43. Grigorescu S. E., Petkov N., Kruizinga P. Comparison of texture features based on Gabor filters // IEEE Transactions on Image Processing. 2002. V.11, N10. P.1160-1167.
  44. Biswas T., Fauzi A., Abas F.S. Superpixel Classification with color and texture features for automated wound area segmentation //Proceedings of the 2018 IEEE 16th Student Conference on Research and Development (SCOReD), Selangor, Malaysia, 26–28 November 2018. P.1–6
  45. Shin H.C., Roth H.R., Gao M., Lu L., Xu Z. et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning //IEEE Trans Med Imaging 2016. V.35, N.5. P.1285–1298.
  46. Demyanov S, Chakravorty R, Abedini M, Halpern A, Garnavi R. Classification of dermoscopy patterns using deep convolutional neural networks. IEEE international symposium on biomedical imaging 2016:364–8.
  47. Edsberg L.E., Black J.M., Goldberg M., McNichol L., Moore L., Sieggreen M.. Revised National Pressure Ulcer Advisory Panel Pressure injury staging system //J. Wound, Ostomy and Continence Nursing. 2016. V43, N6. P.585-597.
  48. Pressure Injury Images Dataset (PIID) (электронный ресурс) – URL: https://github.com/FU-MedicalAI/PIID (дата обращения: 21.06.2024)
  49. Ay B., Tasar B., Utlu Z., Ay K., Aydin G. Deep transfer learning-based visual classification of pressure injuries stages //Neural Comp. Appl. 2022. V.34. P.16157-16168.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».