Оценка производительности программного обеспечения на основе технологии искусственного интеллекта при описании цифровых маммографических исследований

Обложка

Цитировать

Полный текст

Аннотация

Обоснование. Цифровая скрининговая маммография — это основной инструмент для раннего выявления злокачественных новообразований молочной железы, позволяющий снизить смертность на 20–40%. На сегодняшний день разработано множество сервисов на основе искусственного интеллекта (ИИ), позволяющих автоматизировать анализ таких исследований.

Цель — сравнить результаты оценки цифровых маммографических исследований, выполненной тремя типами ИИ-сервисов в нескольких версиях, с заключениями врачей-рентгенологов.

Материалы и методы. Проведено сравнение бинарных шкал оценки маммографических исследований и нескольких типов и версий ИИ-сервисов по показателям диагностической точности, коэффициенту Мэтьюса и максимальному индексу Юдена.

Результаты. Сравнительный анализ показал, что выбор бинарной шкалы для оценки цифрового маммографического исследования влияет на количество выявляемых случаев патологии и точность результатов ИИ-сервисов. Кроме того, обнаружена зависимость показателей диагностической точности от порогового значения. Наилучшей производительностью обладает ИИ-сервис 1 в версии 3, что подтверждается большинством показателей диагностической точности.

Заключение. Полученные нами результаты могут быть полезны при выборе ИИ-сервисов для интерпретации данных скрининговой маммографии. Настройка ИИ-сервиса методом максимизации индекса Юдена позволяет получать сбалансированные значения чувствительности и специфичности, что не всегда целесообразно с клинической точки зрения.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий; Национальный медико-хирургический Центр имени Н.И. Пирогова

Автор, ответственный за переписку.
Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва; Москва

Александр Владимирович Колсанов

Самарский государственный медицинский университет

Email: a.v.kolsanov@samsmu.ru
ORCID iD: 0000-0002-4144-7090
SPIN-код: 2028-6609

 д-р мед. наук, профессор

Россия, Самара

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет имени И.М. Сеченова

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук, профессор

Россия, Москва; Москва

Ольга Васильевна Омелянская

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-код: 8948-6152
Россия, Москва

Серафим Сергеевич Семенов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: SemenovSS3@zdrav.mos.ru
ORCID iD: 0000-0003-2585-0864
SPIN-код: 4790-0416
Россия, Москва

Любовь Евгеньевна Аксенова

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: AksenovaLE@zdrav.mos.ru
ORCID iD: 0000-0003-0885-1355
SPIN-код: 7705-6293
Россия, Москва

Список литературы

  1. Seely J.M., Alhassan T. Screening for breast cancer in 2018-what should we be doing today? // Curr Oncol. 2018. Vol. 25, Suppl. 1. P. S115–S124. doi: 10.3747/co.25.3770
  2. Кандоба В.И. Искусственный интеллект в скрининговой маммографии. Клиническое использование, проблемы и направления развития [интернет]. Режим доступа: https://www.itmportal.ru/upload/iblock/69e/7q981uhfaxjhcntal0exngxtq43xeth2/2.2.3. Kandoba ITM_AI-2022.pdf Дата обращения: 20.08.2023
  3. Цельс. Система поддержки принятия врачебных решений на базе технологий искусственного интеллекта для анализа цифровых медицинских изображений. Маммография [интернет]. Режим доступа: https://celsus.ai/products mammography/ Дата обращения: 20.08.2023
  4. Kim H.E., Kim H.H., Han B.K., et al. Changes in cancer detection and false positive recall in mammography using artificial intelligence: a retrospective, multireader study // Lancet Digit Health. 2020. Vol. 2, N 3. P. e138–e148. doi: 10.1016/S2589-7500(20)30003-0
  5. Yoon J.H., Strand F., Baltzer P.A.T., et al. Standalone AI for Breast Cancer Detection at Screening Digital Mammography and Digital Breast Tomosynthesis: A Systematic Review and Meta Analysis // Radiology. 2023. Vol. 307, N 5. ID: e222639. doi: 10.1148/radiol.222639
  6. Zhou X. H., Obuchowski N.A., McClish D.K. Statistical Methods in Diagnostic Medicine. NJ: John Wiley & Sons, Inc.; 2011. doi: 10.1002/9780470906514
  7. Habibzadeh F., Habibzadeh P,, Yadollahie M. On determining the most appropriate test cut off value: the case of tests with continuous results // Biochem Med (Zagreb). 2016. Vol. 26, N 3. P. 297–307. doi: 10.11613/BM.2016.034
  8. Schaffter T., Buist D.S.M., Lee C.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms // JAMA Netw Open. 2020. Vol. 3, N 3. ID: e200265. doi: 10.1001/jamanetworkopen.2020.0265
  9. McKinney S.M., Sieniek M., Godbole V., et al. International evaluation of an AI system for breast cancer screening // Nature. 2020. Vol. 577, N 7788. P. 89–94. doi: 10.1038/s41586-019-1799-6
  10. Nam J.G., Kim M., Park J., et al. Development and validation of a deep learning algorithm detecting 10 common abnormalities on chest radiographs // Eur Respir J. 2021. Vol. 57, N 5. ID: 2003061. doi: 10.1183/13993003.03061-2020
  11. Сахнов С.Н., Аксенов К.Д., Аксенова Л.Е., и др. Разработка модели скрининга катаракты с использованием открытого набора данных и алгоритмов глубокого машинного обучения. Офтальмохирургия. 2022. № S4. С. 13–20. EDN: VEGPAW doi: 10.25276/0235-4160-2022-4S-13-20
  12. King G., Zeng L. Logistic Regression in Rare Events Data // Political Analysis. 2001. Vol. 9, N 2. P. 137–163. doi: 10.1093/oxfordjournals.pan.a004868
  13. Chen F., Xue Y., Tan M.T., Chen P. Efficient statistical tests to compare Youden index: accounting for contingency correlation // Stat Med. 2015. Vol. 34, N 9. P. 1560–1576. doi: 10.1002/sim.6432
  14. Васильев Ю.А., Владзимирский А.В., Шарова Д.Е., и др. Клинические испытания систем искусственного интеллекта (лучевая диагностика). Москва: Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 2023. 40 с. EDN: PUIJLD
  15. Арзамасов К.М., Васильев Ю.А., Владзимирский А.В., и др. Применение компьютерного зрения для профилактических исследований на примере маммографии // Профилактическая медицина. 2023. Т. 26, № 6. С. 117–123. EDN: YBKHPS doi: 10.17116/profmed202326061117
  16. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований // Digital Diagnostics. 2023. Т. 4, № 2. С. 93–104. EDN: VRIEOH doi: 10.17816/DD321423
  17. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии // Здоровье населения и среда обитания — ЗНиСО. 2023. Т. 31, № 11. С. 23–32. EDN: SYIQBX doi: 10.35627/2219-5238/2023-31-11-23-32
  18. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М., и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. Москва: Издательские решения, 2022. EDN: FOYLXK

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Дизайн исследования и формирование наборов данных для анализа: ИИ-сервис — сервис искусственного интеллекта.

Скачать (268KB)
Метаданные
3. Рис. 2. Распределение категорий 1–6 по шкале BI-RADS, выставленных врачом в ходе описания цифровой маммографии для исследуемых наборов данных: по оси X — категория по шкале BI-RADS 1–6; по оси Y — количество исследований.

Скачать (63KB)
Метаданные
4. Рис. 3. Сравнение распределения категорий 0–1, выставленных врачами и сервисом искусственного интеллекта для трёх бинарных шкал: по оси X — бинарная шкала I–III; по оси Y — количество исследований; ИИ — искусственный интеллект.

Скачать (126KB)
Метаданные
5. Рис. 4. Распределение результатов работы трёх сервисов искусственного интеллекта при проведении анализа трёх наборов данных: по оси X — варианты сервиса искусственного интеллекта; по оси Y —вероятность; данные представлены в виде: центральная линия — медиана; края «ящика» — первый (Q1) и третий (Q3) квартиль; «усы» — минимальное и максимальное значение данных; ИИ-сервис — сервис на основе искусственного интеллекта.

Скачать (152KB)
Метаданные

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».