Обзор современных средств разметки цифровых диагностических изображений

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Актуальность. В современной медицине активно внедряются алгоритмы искусственного интеллекта, для тестирования и обучения которых необходим большой объём размеченных наборов данных. Программное обеспечение для разметки (аннотации) цифровых диагностических изображений служит необходимым элементом при создании наборов данных.

Цель. Провести обзор возможностей и сравнительный анализ функциональности наиболее распространённого доступного программного обеспечения для аннотации цифровых диагностических изображений.

Материал и методы исследования. В сравнительном анализе участвуют пять бесплатных и один коммерческий программный продукт для аннотации цифровых диагностических изображений. При апробации процесса разметки на медицинских изображениях по нескольким целевым видам патологии оценивалось удобство использования графического интерфейса пользователя и функциональных возможностей. Функциональность программных продуктов апробирована врачами-рентгенологами со стажем работы от 5 лет. Дополнительно проведён обзор методов полуавтоматической сегментации, реализованных в исследуемых программных продуктах. В качестве исходных медицинских изображений использованы наборы данных исследований методом компьютерной томографии, полученные из открытых источников.

Результаты. Произведено сравнение функциональности программного обеспечения для аннотации цифровых диагностических изображений: поддерживаемые форматы; загрузка, представление и сохранение исходных изображений и данных аннотации; возможности визуализации медицинских изображений; инструменты для аннотации. Изучены и систематизированы алгоритмы, лежащие в основе полуавтоматических методов сегментации. Сформированы требования к базовой функциональности программного обеспечения для разметки цифровых диагностических изображений. Полученные результаты создают системную основу для выработки рекомендаций врачам-рентгенологам по выбору и использованию средств разметки цифровых диагностических изображений.

Вывод. Наиболее полной функциональностью в области сегментации цифровых диагностических изображений среди рассмотренного бесплатного программного обеспечения обладает 3D Slicer; в случае аннотации для задач детекции удобно применять платформы Supervisely, CVAT; для автоматической сегментации некоторых видов патологии и органов можно использовать расширения 3D Slicer и готовые модели в Medseg.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218

канд. мед. наук, директор

Россия, г. Москва, Россия

Екатерина Феликсовна Савкина

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Автор, ответственный за переписку.
Email: SavkinaEF@zdrav.mos.ru
ORCID iD: 0000-0001-9165-0719

мл. научный сотрудник, отд. радиомики и радиогеномики

Россия, г. Москва, Россия

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы; Первый Московский государственный медицинский университет им. И.М. Сеченова (Сеченовский Университет)

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736

зам. директора по научной работе; докт. мед. наук, проф.

Россия, г. Москва, Россия; г. Москва, Россия

Ольга Васильевна Омелянская

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431

руководитель, управление подразделениями дирекции по науке

Россия, г. Москва, Россия

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349

канд. мед. наук, руководитель, отдел медицинской информатики, радио­мики и радиогеномики

Россия, г. Москва, Россия

Список литературы

  1. Meess KM, Izzo RL, Dryjski ML, Curl RE, Harris LM, Springer M, Siddiqui AH, Rudin S, Ionita CN. 3D printed abdominal aortic aneurysm phantom for image guided surgical planning with a patient specific fenestrated endovascular graft system. Medical imaging 2017: Imaging informatics for healthcare, research, and applications. SPIE. 2017;10138:159–172. doi: 10.1117/12.2253902.
  2. Kodenko MR, Vasilev YuA, Vladzymyrskyy AV, Omelyanskaya OV, Leonov DV, Blokhin IA, Novik VP, Kulberg NS, Samorodov AV, Mokienko OA, Reshetnikov RV. Diagnostic accuracy of AI for opportunistic screening of abdominal aortic aneurysm in CT: A systematic review and narrative synthesis. Diagnostics. 2022;12(12):3197. doi: 10.3390/diagnostics12123197.
  3. Le Berre C, Sandborn WJ, Aridhi S, Devignes M-D, Fournier L, Smaïl-Tabbone M, Danese S, Peyrin-Biroulet L. Application of artificial intelligence to gastroenterology and hepatology. Gastroenterology. 2020;158(1):76–94.e2. doi: 10.1053/j.gastro.2019.08.058.
  4. Medar R, Rajpurohit VS, Rashmi B. Impact of training and testing data splits on accuracy of time series forecasting in machine learning. 2017 International Conference on Computing, Communication, Control and Automation (ICCUBEA). Pune, India: IEEE; 2017. с. 1–6. doi: 10.1109/ICCUBEA.2017.8463779.
  5. Павлов Н.А., Андрейченко А.Е., Владзимирский А.В., Ревазян А.А., Кирпичев Ю.С., Морозов С.П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics. 2021;2(1):49–65. doi: 10.17816/DD60635.
  6. Wallner J, Schwaiger M, Hochegger K, Gsaxner C, Zemann W, Egger J. A review on multiplatform evaluations of semi-automatic open-source based image segmentation for cranio-maxillofacial surgery. Comput Methods Programs Biomed. 2019;182:105102. doi: 10.1016/j.cmpb.2019.105102.
  7. Free software for annotating DICOM in deep learning. https://www.imaios.com/en/resources/blog/the-best-medical-image-annotation-software (access date: 20.01.2023).
  8. Grünber K, Jimenez-del-Toro O, Jakab A, Langs G, Salas Fernandez T, Winterstein M, Krenn M. Annotating medical image data. In: Cloud-Based Benchmarking of Medical Image Analysis. Cham: Springer; 2017. p. 45–67. doi: 10.1007/978-3-319-49644-3.
  9. 3D Slicer image computing platform. In: 3D Slicer image computing platform. https://www.slicer.org/ (access date: 15.01.2023).
  10. ITK-SNAP. http://www.itksnap.org/pmwiki/pmwiki.php (access date: 15.01.2023).
  11. Unified OS/Platform for computer vision. https://supervise.ly/ (access date: 16.01.2023).
  12. The Medical Imaging Interaction Toolkit. https://github.com/MITK/MITK?ysclid=lfrblsfeel784158071 (access date: 16.01.2023).
  13. MedSeg — free medical segmentation online. https://www.medseg.ai/ (access date: 16.01.2023).
  14. Computer vision annotation tool. https://www.cvat.ai/ (access date: 16.01.2023).
  15. Vaa3D. https://en.wikipedia.org/wiki/Vaa3D (access date: 10.01.2023).
  16. СellProfiler. Cell image analysis software. https://cellprofiler.org/ (access date: 10.01.2023).
  17. Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений. СПб.: БХВ-Петербург; 2011. 608 с.
  18. Extensions. https://slicer.readthedocs.io/en/latest/developer_guide/extensions.html (access date: 16.01.2023).
  19. Creating a Supervisely plugin. https://sdk.docs.supervise.ly/repo/help/tutorials/01_create_new_plugin/how_to_create_plugin.html (access date: 02.02.2023).
  20. Serverless tutorial. https://opencv.github.io/cvat/docs/manual/advanced/serverless-tutorial/ (access date: 16.01.2023).
  21. Developer Guide. https://slicer.readthedocs.io/en/latest/developer_guide/index.html# (access date: 12.05.2023).
  22. API & SDK. https://opencv.github.io/cvat/docs/api_sdk/ (access date: 12.05.2023).
  23. API & SDK Seamless integration with existing codebase. https://supervisely.com/ecosystem/api-and-sdk/ (access date: 12.05.2023).
  24. DSS Service Developer’s Quick Start Guide. https://alfabis-server.readthedocs.io/en/latest/service_quick_start.html (access date: 16.01.2023).
  25. Rogowska J. Overview and fundamentals of medical image segmentation. In: Handbook of medical imaging, processing and analysis. Academic Press, Cambridge, Massachusetts; 2000. с. 69–85. doi: 10.1016/B978-012077790-7/50009-6.
  26. Yushkevich PA, Piven J, Hazlett HC, Smith RG, Ho S, Gee JC, Gerig G. User-guided 3D active contour segmentation of anatomical structures: significantly improved efficiency and reliability. Neuroimage. 2006;31(3):1116–1128. doi: 10.1016/j.neuroimage.2006.01.015.
  27. Fast Marching Segmentation. https://simpleitk.readthedocs.io/en/master/link_FastMarchingSegmentation_docs.html (access date: 17.04.2023).
  28. Mortensen EN, Barrett WA. Intelligent scissors for image composition. In: Proceedings of the 22nd annual conference on Computer graphics and interactive techniques. New York, NY: Association for Computing Machinery; 1995. р. 191–198. doi: 10.1145/218380.218442.
  29. Zuki D, Vicory J, McCormick M, Wisse LEM, Gerig G, Yushkevich P, Aylward S. ND morphological contour interpolation. Insight J. 2016;17:1–27. doi: 10.54294/achtrg.
  30. SlicerSegmentEditorExtraEffects. https://github.com/lassoan/SlicerSegmentEditorExtraEffects (access date: 17.04.2023)
  31. Zhu L, Kolesov I, Gao Y, Kikinis R, Tannenbaum A. An effective interactive medical image segmentation method using fast GrowCut. http://interactivemedical.org/imic2014/CameraReadyPapers/Paper%204/IMIC_ID4_FastGrowCut.pdf (access date: 16.01.2023).
  32. Breiman L. Random Forests. Journal Machine Learning. 2001;45(1):5–32. doi: 10.1023/A:1010933404324.
  33. Wang J, Sun K, Cheng T, Jiang B, Deng C, Zhao Y. Deep High-Resolution Representation Learning for Visual Recognition. IEEE Trans Pattern Anal Mach Intell. 2021;43(10):3349–3364. doi: 10.1109/TPAMI.2020.2983686.
  34. Maninis KK, Caelles S, Pont-Tuset J, Van Gool L. Deep extreme cut: From extreme points to object segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City, UT, USA; 2018. р. 616–625, doi: 10.48550/arXiv.1711.09081.
  35. Sofiiuk K, Petrov I, Barinova O, Konushin A. Rethinking backpropagating refinement for interactive segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. Seattle, WA, USA; 2020. р. 8623–8632, doi: 10.48550/arXiv.2001.10331.
  36. Sakinis T, Milletari F, Roth H, Korfiatis P, Kostandy P, Philbrick K, Erickson BJ. Interactive segmentation of medical images through fully convolutional neural networks. ArXiv preprint. 2019. doi: 10.48550/arXiv.1903.08205.
  37. Sofiiuk K, Petrov IA, Konushin A. Reviving Iterative Training with Mask Guidance for Interactive Segmentation, 2022. In: IEEE International Conference on Image Processing (ICIP). Bordeaux; 2022. р. 3141–3145. doi: 10.1109/ICIP46576.2022.9897365.
  38. ABL Temporal Bone Segmentation Module. https://github.com/Auditory-Biophysics-Lab/Slicer-ABLTemporalBoneSegmentation (access date: 17.04.2023).
  39. Airway Segmentation. GitHub — Slicer/SlicerAirwaySegmentation: CLI module for airway segmentation starting from chest CT images (access date: 17.04.2023).
  40. Breast DCE-MRI FTV extension. https://github.com/rnadkarni2/SlicerBreast_DCEMRI_FTV (access date: 17.04.2023).
  41. RVesselX Slicer Liver Anatomy Annotation Plugin. https://github.com/R-Vessel-X/SlicerRVXLiverSegmentation (access date: 17.04.2023).
  42. The VMTK Extension for 3D Slicer. https://github.com/vmtk/SlicerExtension-VMTK (access date: 17.04.2023).
  43. HDBrainExtraction. https://github.com/lassoan/SlicerHDBrainExtraction (access date: 17.04.2023).
  44. T1 & ECV Mapping. https://github.com/RivettiLuciano/SlicerT1_ECVMapping (access date: 17.04.2023).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© 2023 Эко-Вектор



Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».