基于人工智能技术的软件在描述数字乳房造影检查中的性能评估

封面图片

如何引用文章

全文:

详细

论证。数字乳房造影筛查是早期发现乳腺恶性肿瘤的主要工具，可将死亡率降低20~40%。目前，已开发出许多基于人工智能（AI）的服务来自动分析此类检查。

目的 — 比较三种人工智能服务在不同版本中进行的乳房造影检查评估结果与放射科医生的意见。

材料和方法。比较了乳房造影检查二元评估量表与多种类型和版本的AI服务在诊断准确性指标、马修斯系数和最大尤登指数等方面的差异。

结果。比较分析表明，评估数字乳房造影检查的二元评估量表的选择会影响检测到的病理病例数量和AI服务结果的准确性。此外，还发现了诊断准确性指标对阈值的依赖性。版本3中的AI服务1实现了最佳性能，大多数诊断准确性指标都证实了这一点。

结论。我们的研究结果可能有助于选择AI服务来解读乳房造影筛查数据。通过最大化尤登指数来设置AI服务，可以获得灵敏度和特异性的平衡值，但从临床角度来说，并不总是合理的。

作者简介

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; National Medical and Surgical Center named after N.I. Pirogov

编辑信件的主要联系方式.
Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN 代码: 4458-5608

MD, Cand. Sci. (Medicine)

俄罗斯联邦, Moscow; Moscow

Alexander V. Kolsanov

Samara State Medical University

Email: a.v.kolsanov@samsmu.ru
ORCID iD: 0000-0002-4144-7090
SPIN 代码: 2028-6609

MD, Dr. Sci. (Medicine), Professor

俄罗斯联邦, Samara

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN 代码: 3160-8062

MD, Cand. Sci. (Medicine), Head of MIRR Department

俄罗斯联邦, Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Sechenov First Moscow State Medical University

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN 代码: 3602-7120

MD, Dr. Sci. (Medicine), Professor

俄罗斯联邦, Moscow; Moscow

Olga V. Omelyanskaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN 代码: 8948-6152
俄罗斯联邦, Moscow

Serafim S. Semenov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: SemenovSS3@zdrav.mos.ru
ORCID iD: 0000-0003-2585-0864
SPIN 代码: 4790-0416
俄罗斯联邦, Moscow

Lubov E. Axenova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: AksenovaLE@zdrav.mos.ru
ORCID iD: 0000-0003-0885-1355
SPIN 代码: 7705-6293
俄罗斯联邦, Moscow

参考

  1. Seely JM, Alhassan T. Screening for breast cancer in 2018-what should we be doing today? Curr Oncol. 2018;25(suppl 1):S115–S124. doi: 10.3747/co.25.3770
  2. Artificial intelligence in mammography screening. Clinical applications, issues and directions for development [Internet; cited 20 August 2023]. Available from: https://www.itmportal.ru/upload/iblock/69e/7q981uhfaxjhcntal0exngxtq43xeth2/2.2.3. Kandoba ITM_AI-2022.pdf (in Russ.)
  3. Celsus — AI-software for analysis of X-ray and CT studies. Mammography [Internet; cited 20 Aug 2023]. Available from: https://celsus.ai/productsmammography/
  4. Kim HE, Kim HH, Han BK, et al. Changes in cancer detection and false positive recall in mammography using artificial intelligence: a retrospective, multireader study. Lancet Digit Health. 2020;2(3):e138–e148. doi: 10.1016/S2589-7500(20)30003-0
  5. Yoon JH, Strand F, Baltzer PAT, et al. Standalone AI for Breast Cancer Detection at Screening Digital Mammography and Digital Breast Tomosynthesis: A Systematic Review and Meta Analysis. Radiology. 2023;307(5):e222639. doi: 10.1148/radiol.222639
  6. Zhou X H, Obuchowski NA, McClish DK. Statistical Methods in Diagnostic Medicine. NJ: John Wiley & Sons, Inc.; 2011. doi: 10.1002/9780470906514
  7. Habibzadeh F, Habibzadeh P, Yadollahie M. On determining the most appropriate test cut off value: the case of tests with continuous results. Biochem Med (Zagreb). 2016;26(3):297–307. doi: 10.11613/BM.2016.034
  8. Schaffter T, Buist DSM, Lee CI, et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Netw Open. 2020;3(3):e200265. doi: 10.1001/jamanetworkopen.2020.0265
  9. McKinney SM, Sieniek M, Godbole V, et al. International evaluation of an AI system for breast cancer screening. Nature. 2020;577(7788):89–94. doi: 10.1038/s41586-019-1799-6
  10. Nam JG, Kim M, Park J, et al. Development and validation of a deep learning algorithm detecting 10 common abnormalities on chest radiographs. Eur Respir J. 2021;57(5):2003061. doi: 10.1183/13993003.03061-2020
  11. Sakhnov SN, Axenov KD, Axenova LE, et al. Development of a cataract screening model using an open dataset and deep machine learning algorithms. Fyodorov Journal of Ophthalmic Surgery. 2022;(S4):13–20. EDN: VEGPAW doi: 10.25276/0235-4160-2022-4S-13-20
  12. King G, Zeng L. Logistic Regression in Rare Events Data. Political Analysis. 2001;9(2):137–163. doi: 10.1093/oxfordjournals.pan.a004868
  13. Chen F, Xue Y, Tan MT, Chen P. Efficient statistical tests to compare Youden index: accounting for contingency correlation. Stat Med. 2015;34(9):1560–1576. doi: 10.1002/sim.6432
  14. Vasiliev YuA, Vladzimirsky AV, Sharova DE, et al. Clinical trials of artificial intelligence systems (radiation diagnostics). Moscow: State budgetary healthcare institution of the city of Moscow «Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Department». 2023. 40 p. (In Russ.) EDN: PUIJLD
  15. Arzamasov KM, Vasilev YuA, Vladzymyrskyy AV, et al. The use of computer vision for the mammography preventive research. The Russian Journal of Preventive Medicine. 2023;26(6):117–123. EDN: YBKHPS doi: 10.17116/profmed202326061117
  16. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. Double reading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization. Digital Diagnostics. 2023;4(2):93–104. EDN: VRIEOH doi: 10.17816/DD321423
  17. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. A New Model of Organizing Mass Screening Based on Stand Alone Artificial Intelligence Used for Fluorography Image Triage. Public Health and Life Environment — PH&LE. 2023;31(11):23-32. EDN: SYIQBX doi: 10.35627/2219-5238/2023-31-11-23-32
  18. Vladzimirskyy AV, Vasilev YuA, Arzamasov KM, et al. Computer vision in radiology: the first stage of the Moscow experiment. Moscow: Izdatel’skie resheniya; 2022. (In Russ.) EDN: FOYLXK

补充文件

附件文件
动作
1. JATS XML
下载
2. Fig. 1. Study design and generation of datasets for analysis. AI service, artificial intelligence service.

下载 (259KB)
索引源数据
3. Fig. 2. Distribution of BI-RADS categories 1–6 allocated by a radiologist when analyzing digital mammography findings for the assessed datasets: X-axis values = BI-RADS categories 1–6; Y-axis values = number of examinations.

下载 (55KB)
索引源数据
4. Fig. 3. Comparison of the distribution of categories 0–1 allocated by radiologists and an artificial intelligence service for three binary scales: X-axis values = binary scales I–III; Y-axis values = number of examinations.

下载 (120KB)
索引源数据
5. Fig. 4. Distribution of the outcomes of three artificial intelligence services when analyzing the three datasets: X-axis values = artificial intelligence services; Y-axis values = probability; the data are presented as follows: central line = median; edges of the “box” = first (Q1) and third (Q3) quartiles; “whiskers” = minimum and maximum.

下载 (149KB)
索引源数据

版权所有 © Eco-Vector, 2024

Creative Commons License
此作品已接受知识共享署名-非商业性使用-禁止演绎 4.0国际许可协议的许可。

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».