Neural network model development for detecting atypical mitoses in histological slides

封面

如何引用文章

全文:

开放存取 开放存取
受限制的访问 ##reader.subscriptionAccessGranted##
受限制的访问 订阅存取

详细

Background: Modern computer systems allow digitizing and examining images of histological preparations, which led the authors to the idea of using machine learning tools in digital pathohistology. The ability of neural networks to find sub-visual image features in digitized histological preparations provides the basis for better qualitative and quantitative image analysis. Existing machine learning methods provide good accuracy and speed in recognizing various images, which gives hope for their wide application, including in oncologic diagnostics.

AIM: Use methods of mathematical modeling to identify pathological mitoses in histological preparations as the main sign of the difference between malignant and benign tumor growth.

MATERIALS AND METHODS: Histological images of the N.N. Priorov National Medical Research Center of Traumatology and Orthopedics were used as a data set for the neural network model. The model was tested using 188 histologic slides from 67 patients treated at the institute. Histological preparations were scanned on a Leica Aperio CS2 microscope with a ×400 resolution and converted into JPEG format with further processing. Next, the test images were analyzed in streaming mode using the created neural network model in order to obtain the coordinates of the desired diagnostic object — pathological mitosis and the probability with which the model found the object of this category. The obtained images were analyzed by a pathologist to determine whether the detected object corresponded to pathological mitosis.

RESULTS: The authors have chosen an architecture, developed a methodology for training a neural network, and created a model that can be used to detect pathologic mitoses in histologic preparations. The authors do not attempt to replace the physician, but show the possibility of an integrated approach to data analysis by a computer system and a pathologist.

Conclusions: The developed mathematical model of neural network used as a part of technological solution for recognizing pathological mitoses in scanned histological preparations can be used as a tool to reduce the time of research and increase the accuracy of diagnosis by a pathologist.

作者简介

Gennadiy Berchenko

N.N. Priorov National Medical Research Center of Traumatology and Orthopedics

编辑信件的主要联系方式.
Email: berchenko@cito-bone.ru
ORCID iD: 0000-0002-7920-0552
SPIN 代码: 3367-2493

MD, Dr. Sci. (Medicine), professor

俄罗斯联邦, 10 Priorova str., 127299 Moscow

Nina Fedosova

N.N. Priorov National Medical Research Center of Traumatology and Orthopedics

Email: hard_sign@mail.ru
ORCID iD: 0000-0002-0829-9188
SPIN 代码: 5380-3194
俄罗斯联邦, 10 Priorova str., 127299 Moscow

Mikhail Kochan

N.N. Priorov National Medical Research Center of Traumatology and Orthopedics

Email: mk_system@mail.ru
ORCID iD: 0009-0002-0699-1370
俄罗斯联邦, 10 Priorova str., 127299 Moscow

Dmitriy Mashoshin

N.N. Priorov National Medical Research Center of Traumatology and Orthopedics

Email: dima_mash@mail.ru
ORCID iD: 0009-0003-5442-5055
SPIN 代码: 7612-1311
俄罗斯联邦, 10 Priorova str., 127299 Moscow

参考

  1. Dorfman HD, Czerniak B. Bone tumors. 2nd edition. St. Louis: Mosby; 2015. 1261 p.
  2. Girshick R. Fast R-CNN. In: IEEE International Conference on Computer Vision (ICCV); 2015.
  3. Ren S, He K, Girshick R, Sun J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Trans Pattern Anal Mach Intell. 2017;9(6):1137–1149. doi: 10.1109/TPAMI.2016.2577031
  4. Ren S, He K, Girshick R, Zhang X, Sun J. Object Detection Networks on Convolutional Feature Maps. IEEE Trans Pattern Anal Mach Intell. 2017;39(7):1476–1481. doi: 10.1109/TPAMI.2016.2601099
  5. Lin T-Y, Dollár P, Girshick R, He K, Hariharan B, Belongie S. Feature Pyramid Networks for Object Detection, Computer Science > Computer Vision and Pattern Recognition [Submitted on 9 Dec 2016 (v1), last revised 19 Apr 2017 (this version, v2)]. Available from: https://arxiv.org/abs/1612.03144
  6. Girshick R, Donahue J, Darrell T, Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. In: CVPR; 2014. arXiv: 1311.2524.
  7. Girshick R, Donahue J, Darrell T, Malik J. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation. IEEE Trans Pattern Anal Mach Intell. 2016;38(1):142–58. doi: 10.1109/TPAMI.2015.2437384
  8. Uijlings J, van de Sande K, Gevers T, Smeulders A. Selective search for object recognition. International Journal of Computer Vision. 2013;104(2):154–171. doi: 10.1007/s11263-013-0620-5
  9. He K, Gkioxari G, Dollar P, Girshick R. Mask R-CNN. IEEE Trans Pattern Anal Mach Intell. 2020;42(2):386–397. doi: 10.1109/TPAMI.2018.2844175
  10. Detectron [Internet]. Available from: https://github.com/facebookresearch/Detectron
  11. Pantanowitz L, Quiroga-Garza GM, BienRonen L, et al. An artificial intelligence algorithm for prostate cancer diagnosis in whole slide images of core needle biopsies: a blinded clinical validation and deployment study. Lancet Digital Health. 2020;2(8):e407–e416. doi: 10.1016/S2589-7500(20)30159-X
  12. Pantanowitz L, Hartman D, Yan Qi, Eun Yoon Cho, et al. Accuracy and efficiency of an artificial intelligence tool when counting breast mitoses. Diagn Pathol. 2020;15(1):80. doi: 10.1186/s13000-020-00995-z
  13. Van EttenIn A. Satellite Imagery Multiscale Rapid Detection with Windowed Networks. arXiv: 1809.09978v1. Available from: https://arxiv.org/pdf/1809.09978.pdf
  14. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. 10 Apr 2015. arXiv: 1409.1556. Available from: https://arxiv.org/pdf/1409.1556.pdf
  15. Barisonia L, Hodgin JB. Digital pathology in nephrology clinical trials, research, and pathology practice. Curr Opin Nephrol Hypertens. 2017;26(6):450–459. doi: 10.1097/MNH.0000000000000360
  16. Burt JR, Torosdagli N, Khosravan N, et al. Deep learning beyond cats and dogs: recent advances in diagnosing breast cancer with deep neural networks. Br J Radiol. 2018;91(1089):20170545. doi: 10.1259/bjr.20170545
  17. Mermel C, Kunal Nagpal MS. Using AI to identify the aggressiveness of prostate cancer. Google Health. 2020. Available from: https://blog.google/technology/health/using-ai-identify-aggressiveness-prostate-cancer
  18. Nagpal K, Foote D, Tan F, et al. Development and Validation of a Deep Learning Algorithm for Gleason Grading of Prostate Cancer from Biopsy Specimens. JAMA Oncol. 2020;6(9):1–9. doi: 10.1001/jamaoncol.2020.2485

补充文件

附件文件
动作
1. JATS XML
下载
2. Fig. 1. Photograph of a histological image of a fragment of a malignant tumor with the presence of pathological mitosis, taken at a magnification of ×1000, resolution 1632×1229 pixels.

下载 (1MB)
索引源数据
3. Fig. 2. A fragment of the image “pathological mitosis”, selected for recognition by the model at a magnification of ×1000, resolution 90×87 pixels.

下载 (138KB)
索引源数据
4. Fig. 3. Photograph of pathological mitosis at a magnification of ×400, resolution 1632×1229 pixels.

下载 (1MB)
索引源数据
5. Fig. 4. A fragment of the image “pathological mitosis”, selected for recognition by the model at a magnification of ×400, resolution 30×40 pixels.

下载 (146KB)
索引源数据
6. Fig. 5. The model returned a response indicating that it successfully found the “mitosis” object.

下载 (234KB)
索引源数据
7. Fig. 6. The result of a program for drawing an object on an image. The model detected pathological mitosis with a probability of 97.4%.

下载 (182KB)
索引源数据
8. Fig. 7. The model defined one object as several.

下载 (220KB)
索引源数据
9. Fig. 8. The model found the object “pathological mitosis” with a probability of 99.2%.

下载 (168KB)
索引源数据

版权所有 © Eco-Vector, 2024

Creative Commons License
此作品已接受知识共享署名-非商业性使用-禁止演绎 4.0国际许可协议的许可。

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».