Evaluating the performance of artificial intelligence based software for digital mammography characterization

Capa

Citar

Texto integral

Resumo

BACKGROUND: Digital screening mammography is a key modality for early detection of breast cancer, reducing mortality by 20–40%. Many artificial intelligence (AI)-based services have been developed to automate the analysis of imaging data.

AIM: The aim of the study was to compare mammography assessments using three types of AI services in multiple versions with radiologists’ conclusions.

MATERIALS AND METHODS: Binary mammography scoring scales were compared with several types and versions of AI services regarding diagnostic accuracy, Matthews correlation coefficient, and maximum Youden’s index.

RESULTS: A comparative analysis showed that the use of a binary scale for evaluating digital mammography affects the number of detected abnormalities and accuracy of AI results. In addition, diagnostic accuracy was found to be threshold dependent. AI Service 1 in version 3 had the best performance, as confirmed by most diagnostic accuracy parameters.

CONCLUSIONS: Our results can be used to select AI services for interpreting mammography screening data. Using Youden’s index maximization to set up an AI service provides a balance of sensitivity and specificity that is not always clinically relevant.

Sobre autores

Yuriy Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; National Medical and Surgical Center named after N.I. Pirogov

Autor responsável pela correspondência
Email: VasilevYA1@zdrav.mos.ru
ORCID ID: 0000-0002-5283-5961
Código SPIN: 4458-5608

MD, Cand. Sci. (Medicine)

Rússia, Moscow; Moscow

Alexander Kolsanov

Samara State Medical University

Email: a.v.kolsanov@samsmu.ru
ORCID ID: 0000-0002-4144-7090
Código SPIN: 2028-6609

MD, Dr. Sci. (Medicine), Professor

Rússia, Samara

Kirill Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID ID: 0000-0001-7786-0349
Código SPIN: 3160-8062

MD, Cand. Sci. (Medicine), Head of MIRR Department

Rússia, Moscow

Anton Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Sechenov First Moscow State Medical University

Email: VladzimirskijAV@zdrav.mos.ru
ORCID ID: 0000-0002-2990-7736
Código SPIN: 3602-7120

MD, Dr. Sci. (Medicine), Professor

Rússia, Moscow; Moscow

Olga Omelyanskaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID ID: 0000-0002-0245-4431
Código SPIN: 8948-6152
Rússia, Moscow

Serafim Semenov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: SemenovSS3@zdrav.mos.ru
ORCID ID: 0000-0003-2585-0864
Código SPIN: 4790-0416
Rússia, Moscow

Lubov Axenova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: AksenovaLE@zdrav.mos.ru
ORCID ID: 0000-0003-0885-1355
Código SPIN: 7705-6293
Rússia, Moscow

Bibliografia

  1. Seely JM, Alhassan T. Screening for breast cancer in 2018-what should we be doing today? Curr Oncol. 2018;25(suppl 1):S115–S124. doi: 10.3747/co.25.3770
  2. Artificial intelligence in mammography screening. Clinical applications, issues and directions for development [Internet; cited 20 August 2023]. Available from: https://www.itmportal.ru/upload/iblock/69e/7q981uhfaxjhcntal0exngxtq43xeth2/2.2.3. Kandoba ITM_AI-2022.pdf (in Russ.)
  3. Celsus — AI-software for analysis of X-ray and CT studies. Mammography [Internet; cited 20 Aug 2023]. Available from: https://celsus.ai/productsmammography/
  4. Kim HE, Kim HH, Han BK, et al. Changes in cancer detection and false positive recall in mammography using artificial intelligence: a retrospective, multireader study. Lancet Digit Health. 2020;2(3):e138–e148. doi: 10.1016/S2589-7500(20)30003-0
  5. Yoon JH, Strand F, Baltzer PAT, et al. Standalone AI for Breast Cancer Detection at Screening Digital Mammography and Digital Breast Tomosynthesis: A Systematic Review and Meta Analysis. Radiology. 2023;307(5):e222639. doi: 10.1148/radiol.222639
  6. Zhou X H, Obuchowski NA, McClish DK. Statistical Methods in Diagnostic Medicine. NJ: John Wiley & Sons, Inc.; 2011. doi: 10.1002/9780470906514
  7. Habibzadeh F, Habibzadeh P, Yadollahie M. On determining the most appropriate test cut off value: the case of tests with continuous results. Biochem Med (Zagreb). 2016;26(3):297–307. doi: 10.11613/BM.2016.034
  8. Schaffter T, Buist DSM, Lee CI, et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Netw Open. 2020;3(3):e200265. doi: 10.1001/jamanetworkopen.2020.0265
  9. McKinney SM, Sieniek M, Godbole V, et al. International evaluation of an AI system for breast cancer screening. Nature. 2020;577(7788):89–94. doi: 10.1038/s41586-019-1799-6
  10. Nam JG, Kim M, Park J, et al. Development and validation of a deep learning algorithm detecting 10 common abnormalities on chest radiographs. Eur Respir J. 2021;57(5):2003061. doi: 10.1183/13993003.03061-2020
  11. Sakhnov SN, Axenov KD, Axenova LE, et al. Development of a cataract screening model using an open dataset and deep machine learning algorithms. Fyodorov Journal of Ophthalmic Surgery. 2022;(S4):13–20. EDN: VEGPAW doi: 10.25276/0235-4160-2022-4S-13-20
  12. King G, Zeng L. Logistic Regression in Rare Events Data. Political Analysis. 2001;9(2):137–163. doi: 10.1093/oxfordjournals.pan.a004868
  13. Chen F, Xue Y, Tan MT, Chen P. Efficient statistical tests to compare Youden index: accounting for contingency correlation. Stat Med. 2015;34(9):1560–1576. doi: 10.1002/sim.6432
  14. Vasiliev YuA, Vladzimirsky AV, Sharova DE, et al. Clinical trials of artificial intelligence systems (radiation diagnostics). Moscow: State budgetary healthcare institution of the city of Moscow «Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Department». 2023. 40 p. (In Russ.) EDN: PUIJLD
  15. Arzamasov KM, Vasilev YuA, Vladzymyrskyy AV, et al. The use of computer vision for the mammography preventive research. The Russian Journal of Preventive Medicine. 2023;26(6):117–123. EDN: YBKHPS doi: 10.17116/profmed202326061117
  16. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. Double reading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization. Digital Diagnostics. 2023;4(2):93–104. EDN: VRIEOH doi: 10.17816/DD321423
  17. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. A New Model of Organizing Mass Screening Based on Stand Alone Artificial Intelligence Used for Fluorography Image Triage. Public Health and Life Environment — PH&LE. 2023;31(11):23-32. EDN: SYIQBX doi: 10.35627/2219-5238/2023-31-11-23-32
  18. Vladzimirskyy AV, Vasilev YuA, Arzamasov KM, et al. Computer vision in radiology: the first stage of the Moscow experiment. Moscow: Izdatel’skie resheniya; 2022. (In Russ.) EDN: FOYLXK

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar
2. Fig. 1. Study design and generation of datasets for analysis. AI service, artificial intelligence service.

Baixar (259KB)
Metadados
3. Fig. 2. Distribution of BI-RADS categories 1–6 allocated by a radiologist when analyzing digital mammography findings for the assessed datasets: X-axis values = BI-RADS categories 1–6; Y-axis values = number of examinations.

Baixar (55KB)
Metadados
4. Fig. 3. Comparison of the distribution of categories 0–1 allocated by radiologists and an artificial intelligence service for three binary scales: X-axis values = binary scales I–III; Y-axis values = number of examinations.

Baixar (120KB)
Metadados
5. Fig. 4. Distribution of the outcomes of three artificial intelligence services when analyzing the three datasets: X-axis values = artificial intelligence services; Y-axis values = probability; the data are presented as follows: central line = median; edges of the “box” = first (Q1) and third (Q3) quartiles; “whiskers” = minimum and maximum.

Baixar (149KB)
Metadados

Declaração de direitos autorais © Eco-Vector, 2024

Creative Commons License
Este artigo é disponível sob a Licença Creative Commons Atribuição–NãoComercial–SemDerivações 4.0 Internacional.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».