Automation analysis X-ray of the spine to objectify the assessment of the severity of scoliotic deformity in idiopathic scoliosis: a preliminary report

Cover Page

Cite item

Full Text

Abstract

Background. A large number of studies have focused on automating the process of measuring the Cobb angle. Although there is no practical tool to assist doctors with estimating the severity of the curvature of the spine and determine the best suitable treatment type.

Aim. We aimed to examine the algorithms used for distinguishing vertebral column, vertebrae, and for building a tangent on the X-ray photographs. The superior algorithms should be implemented into the clinical practice as an instrument of automatic analysis of the spine X-rays in scoliosis patients.

Materials and methods. A total of 300 digital X-rays of the spine of children with idiopathic scoliosis were gathered. The X-rays were manually ruled by a radiologist to determine the Cobb angle. This data was included into the main dataset used for training and validating the neural network. In addition, the Sliding Window Method algorithm was implemented and compared with the machine learning algorithms, proving it to be vastly superior in the context of this research.

Results. This research can serve as the foundation for the future development of an automated system for analyzing spine X-rays. This system allows processing of a large amount of data for achieving >85% in training neural network to determine the Cobb angle.

Conclusions. This research is the first step toward the development of a modern innovative product that uses artificial intelligence for distinguishing the different portions of the spine on 2D X-ray images for building the lines required to determine the Cobb angle.

About the authors

Grigory A. Lein

Scoliologic.ru Limited Liability Company

Author for correspondence.
Email: Lein@scoliologic.ru
ORCID iD: 0000-0001-7904-8688

MD, traumatologist-orthopedist, PhD, General Director of Scoliologic.ru LLC

Russian Federation, Saint Petersburg

Natalia S. Nechaeva

Scoliologic.ru Limited Liability Company

Email: n.nechaeva@scoliologic.ru
ORCID iD: 0000-0003-3510-9164

MD, scientific worker, radiologist

Russian Federation, Saint Petersburg

Gulnar М. Mammadova

INPRIS Limited Liability Company

Email: mgm.gulnar@gmail.com
ORCID iD: 0000-0001-9738-9259

analyst

Russian Federation, Moscow

Andrey A. Smirnov

INPRIS Limited Liability Company

Email: smirnov.andrey.aleksandrovich@gmail.com
ORCID iD: 0000-0002-7062-5677

Analyst

Russian Federation, Moscow

Maxim M. Statsenko

Mail.ru Limited Liability Company

Email: maxstatsenko@gmail.com
ORCID iD: 0000-0002-6826-9116

head of the development team

Russian Federation, Moscow

References

  1. Ferguson AB. The study and treatment of scoliosis. South Med J. 1930;23(2):116-120.
  2. Сobb JR. Outline for the study of scoliosis. Instr Course Lect AAOS. 1948;5:261-275.
  3. Jentschura G. Zur pathogenese der säuglingsskoliose. Archiv für orthopädische und Unfall-Chirurgie, mit besonderer Berücksichtigung der Frakturenlehre und der orthopädisch-chirurgischen Technik. 1956;48(5):582-603.
  4. Абальмасова Е.А. Сколиоз в рентгеновском изображении и его измерение // Ортопедия и травматология. – 1964. – № 5. – С. 49–50. [Abalmasova EA. Skolioz v rentgenovskom izobrazhenii i ego izmerenie. Ortopediya i travmatologiya. 1964;(5):49-50. (In Russ.)]
  5. Тесаков Д.К., Тесакова Д.Д. Рентгенологические методики измерения дуг сколиотической деформации позвоночника во фронтальной плоскости и их сравнительный анализ // Проблемы здоровья и экологии. – 2007. – № 3. – С. 94–103. [Tesakov DK, Tesakova DD. Roetgenological methods of scoliotic spine deformity estimation in frontal plane and their comparative analysis. Problemy zdorov’ya i ekologii. 2007;(3):94-103. (In Russ.)]
  6. SOSORT. Методические рекомендации SOSORT 2011 г. Ортопедическое и реабилитационное лечение подросткового идиопатического сколиоза. 2011. [SOSORT. Metodicheskie rekomendatsii SOSORT 2011 g. Ortopedicheskoe i reabilitatsionnoe lechenie podrostkovogo idiopaticheskogo skolioza. 2011. (In Russ.)]
  7. Ньютон П.О., О’Браен М.Ф., Шаффлбаргер Г.Л., и др. Идиопатический сколиоз. Исследовательская группа Хармса: руководство по лечению. – М.: Лаборатория знаний, 2018. – 479 с. [Newton PO, O’Brien MF, Schafflebarger GL, et al. Idiopaticheskiy skolioz. Issledovatel’skaya gruppa Kharmsa: Rukovodstvo po lecheniyu. Moscow: Laboratoriya znaniy; 2018. 479 p. (In Russ.)]
  8. Wilson MS, Stockwell J, Leedy MG. Measurement of scoliosis by orthopedic surgeons and radiologists. Aviat Space Environ Med. 1983;54(1):69-71.
  9. Tanure MC, Pinheiro AP, Oliveira AS. Reliability assessment of Cobb angle measurements using manual and digital methods. Spine J. 2010;10(9):769-774. https://doi.org/10.1016/j.spinee.2010.02.020.
  10. Suwannarat P, Wattanapan P, Wiyanad A, et al. Reliability of novice physiotherapists for measuring Cobb angle using a digital method. Hong Kong Physiother J. 2017;37:34-38. https://doi.org/10.1016/ j.hkpj.2017.01.003.
  11. Wang J, Zhang J, Xu R, et al. Measurement of scoliosis Cobb angle by end vertebra tilt angle method. J Orthop Surg Res. 2018;13(1):223. https://doi.org/10.1186/s13018-018-0928-5.
  12. Horng MH, Kuok CP, Fu MJ, et al. Cobb angle measurement of spine from X-Ray images using convolutional neural network. Comput Math Methods Med. 2019;2019:6357171. https://doi.org/10.1155/ 2019/6357171.
  13. Pan Y, Chen Q, Chen T, et al. Evaluation of a computer-aided method for measuring the Cobb angle on chest X-rays. Eur Spine J. 2019;28(12):3035-3043. https://doi.org/10.1007/s00586-019-06115-w.
  14. Safari A, Parsaei H, Zamani A, Pourabbas B. A Semi-Automatic algorithm for estimating Cobb angle. J Biomed Phys Eng. 2019;9(3):317-326. https://doi.org/10.31661/jbpe.v9i3Jun.730.
  15. Qiao J, Liu Z, Xu L, et al. Reliability analysis of a smartphone-aided measurement method for the Cobb angle of scoliosis. J Spinal Disord Tech. 2012;25(4):E88-92. https://doi.org/10.1097/BSD.0b013e3182463964.
  16. Jones JK, Krow A, Hariharan S, Weekes L. Measuring angles on digitalized radiographic images using Microsoft PowerPoint. West Indian Med J. 2008;57(1):14-19.
  17. Rigo MD, Villagrasa M, Gallo D. A specific scoliosis classification correlating with brace treatment: Description and reliability. Scoliosis. 2010;5(1):1. https://doi.org/10.1186/1748-7161-5-1.
  18. He К, Gkioxari G, Dollár P, Girshick R. Mask R-CNN. 2017. arXiv: 1703.06870.
  19. Long J, Shelhamer E, Darrell T. Fully Convolutional Networks for Semantic Segmentation. 2014. arXiv: 1411.4038.
  20. He K, Zhang X, Ren S, Sun J. Deep Residual Learning for Image Recognition. 2015. arXiv: 1512.03385.
  21. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015. arXiv: 1505.04597.
  22. Liu W, Rabinovich A, Berg AC. ParseNet: Looking Wider to See Better. 2015. arXiv: 1506.04579.
  23. Mukherjee J, Kundu R, Chakrabarti A. Variability of Cobb angle measurement from digital X-ray image based on different de-noising techniques. Int J Biomed Eng Technol. 2014;16(2):113. https://doi.org/10.1504/ijbet. 2014.065656.
  24. Okashi OA, Du H, Al-Assam H. Automatic spine curvature estimation from X-ray images of a mouse model. Comput Methods Programs Biomed. 2017;140:175-184. https://doi.org/10.1016/j.cmpb.2016.12.010.
  25. Pinheiro AP, Coelho JC, Veiga ACP, Vrtovec T. A computerized method for evaluating scoliotic deformities using elliptical pattern recognition in X-ray spine images. Comput Methods Programs Biomed. 2018;161:85-92. ttps://doi.org/10.1016/j.cmpb.2018.04.015.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Types of arches of idiopathic scoliosis in accordance with the classification of Rigo et al., 2010: TP — transitional point that could be located between the thoracic arch and the lumbar or thoracolumbar one relative to the central sacrum line; TP on the central sacrum line indicate that its balanced, while that installed beyond the line specified indicates its imbalance. T — thoracic, L — lumbar, CSL — central sacrum line

Download (492KB)
Indexing metadata
3. Fig. 2. Neural network U-Net

Download (173KB)
Indexing metadata
4. Fig. 3. An example of the result of the neural network operation

Download (84KB)
Indexing metadata
5. Fig. 4. An example of the result of the program: a — the result of the program; b — the same image processed manually (digits in squares indicate the values of the Cobb angle of scoliotic deformity arches)

Download (266KB)
Indexing metadata

Copyright (c) 2020 Lein G.A., Nechaeva N.S., Mammadova G.М., Smirnov A.A., Statsenko M.M.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.
 


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».