Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики

Обложка

Цитировать

Полный текст

Аннотация

Обоснование. Мировая сумма инвестиций в компании по разработке программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики составила 80 млн долларов в 2016 году, 152 млн долларов ― в 2017 и, ожидаемо, продолжает расти. Активная деятельность компаний-производителей программного обеспечения должна соответствовать существующим клиническим, биоэтическим, правовым и методологическим основам и стандартам. Как на национальном, так и на международном уровне не существует единых стандартов и протоколов проведения испытаний и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики.

Цель ― разработать универсальную методологию тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики, направленную на повышение его качества и внедрение в практическое здравоохранение.

Материалы и методы. В ходе аналитического этапа был проведён обзор литературы по базам данных PubMed и eLIBRARY. Практический этап включал апробацию разработанной методологии в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы.

Результаты. Разработана методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики, направленная на повышение качества данного программного обеспечения и его внедрение в практическое здравоохранение. Методология состоит из 7 этапов: самотестирование, функциональное тестирование, калибровочное тестирование, технологический мониторинг, клинический мониторинг, обратная связь и доработка.

Заключение. Отличительными особенностями методологии являются цикличность этапов тестирования, мониторинга и доработки программного обеспечения, приводящие к постоянному повышению его качества, наличие подробных требований к результатам его работы, участие врачей в его оценке. Методология позволит разработчикам программного обеспечения достичь высоких результатов и продемонстрировать достижения в различных направлениях, а пользователям ― сделать осознанный и уверенный выбор среди программ, прошедших независимую и всестороннюю проверку качества.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук

Россия, Москва

Ольга Васильевна Омелянская

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-код: 8948-6152
Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук

Россия, Москва

Сергей Федорович Четвериков

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ChetverikovSF@zdrav.mos.ru
ORCID iD: 0000-0002-3097-8881
SPIN-код: 3815-8870

канд. тех. наук

Россия, Москва

Денис Андреевич Румянцев

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: x.radiology@mail.ru
ORCID iD: 0000-0001-7670-7385
SPIN-код: 8734-2085
Россия, Москва

Мария Александровна Зеленова

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ZelenovaMA@zdrav.mos.ru
ORCID iD: 0000-0001-7458-5396
SPIN-код: 3823-6872
Россия, Москва

Список литературы

  1. Oakden-Rayner L., Palme L.J. Artificial intelligence in medicine: Validation and study design. In: Ranschart E., Morozov S., Algra P., eds. Artificial intelligence in medical imaging. Cham: Springer, 2019. Р. 83–104.
  2. Морозов С.П., Зинченко В.В., Хоружая А.Н., и др. Стандартизация искусственного интеллекта в здравоохранении: Россия выходит в лидеры // Врач и информационные технологии. 2021. № 2. С. 12–19. doi: 10.25881/18110193_2021_2_12
  3. Мелдо А.А., Уткин Л.В., Трофимова Т.Н. Искусственный интеллект в медицине: современное состояние и основные направления развития интеллектуальной диагностики // Лучевая диагностика и терапия. 2020. № 1. С. 9–17. doi: 10.22328/2079-5343-2020-11-1-9-17
  4. Зинченко В.В., Арзамасов К.М., Четвериков С.Ф., и др. Методология проведения пострегистрационного клинического мониторинга для программного обеспечения с применением технологий искусственного интеллекта // Современные технологии в медицине. 2022. Т. 14, № 5. С. 15–25. doi: 10.17691/stm2022.14.5.02
  5. Tanguay W., Acar P., Fine B., et al. Assessment of radiology artificial intelligence software: A validation and evaluation framework // Can Assoc Radiol J. 2023. Vol. 74, N 2. Р. 326–333. doi: 10.1177/08465371221135760
  6. Kohli A., Jha S. Why CAD failed in mammography // J Am Coll Radiol. 2018. Vol. 15, N 3, Pt. B. Р. 535–537. doi: 10.1016/j.jacr.2017.12.029
  7. Recht M.P., Dewey M., Dreyer K., et al. Integrating artificial intelligence into the clinical practice of radiology: Challenges and recommendations // Eur Radiol. 2020. Vol. 30, N 6. Р. 3576–3584. doi: 10.1007/s00330-020-06672-5
  8. Higgins D.C., Johner C. Validation of artificial intelligence containing products across the regulated healthcare industries // Ther Innov Regul Sci. 2023. Vol. 57, N 4. Р. 797–809. doi: 10.1007/s43441-023-00530-4
  9. Rudolph J., Schachtner B., Fink N., et al. Clinically focused multi-cohort benchmarking as a tool for external validation of artificial intelligence algorithm performance in basic chest radiography analysis // Sci Rep. 2022. Vol. 12, N 1. Р. 12764. doi: 10.1038/s41598-022-16514-7
  10. Allen B., Dreyer K., Stibolt R., et al. Evaluation and real-world performance monitoring of artificial intelligence models in clinical practice: Try it, buy it, check it // J Am Coll Radiol. 2021. Vol. 18, N 11. Р. 1489–1496. doi: 10.1016/j.jacr.2021.08.022
  11. Strohm L., Hehakaya C., Ranschaert E.R., et al. Implementation of artificial intelligence (AI) applications in radiology: Hindering and facilitating factors // Eur Radiol. 2020. Vol. 30, N 10. Р. 5525–5532. doi: 10.1007/s00330-020-06946-y
  12. Sohn J.H., Chillakuru Y.R., Lee S., et al. An open-source, vender agnostic hardware and software pipeline for integration of artificial intelligence in radiology workflow // J Digit Imaging. 2020. Vol. 33, N 4. Р. 1041–1046. doi: 10.1007/s10278-020-00348-8
  13. Wichmann J.L., Willemink M.J., De Cecco C.N. Artificial intelligence and machine learning in radiology: Current state and considerations for routine clinical implementation // Invest Radiol. 2020. Vol. 55, N 9. Р. 619–627. doi: 10.1097/RLI.0000000000000673
  14. Larson D.B., Harvey H., Rubin D.L., et al. Regulatory frameworks for development and evaluation of artificial intelligence-based diagnostic imaging algorithms: Summary and recommendations // J Am Coll Radiol. 2021. Vol. 18, N 3, Pt. A. Р. 413–424. doi: 10.1016/j.jacr.2020.09.060
  15. Milam M.E., Koo C.W. The current status and future of FDA-approved artificial intelligence tools in chest radiology in the United States // Clin Radiol. 2023. Vol. 78, N 2. Р. 115–122. doi: 10.1016/j.crad.2022.08.135
  16. De Silva D., Alahakoon D. An artificial intelligence life cycle: From conception to production // Patterns (NY). 2022. Vol. 3, N 6. Р. 100489. doi: 10.1016/j.patter.2022.100489
  17. Cerdá-Alberich L., Solana J., Mallol P., et al. MAIC-10 brief quality checklist for publications using artificial intelligence and medical images // Insights Imaging. 2023. Vol. 14, N 1. Р. 11. doi: 10.1186/s13244-022-01355-9
  18. Vasey B., Novak A., Ather S., et al. DECIDE-AI: A new reporting guideline and its relevance to artificial intelligence studies in radiology // Clin Radiol. 2023. Vol. 78, N 2. Р. 130–136. doi: 10.1016/j.crad.2022.09.131
  19. Регламент подготовки наборов данных с описанием подходов к формированию репрезентативной выборки данных. Москва: Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, 2022. 40 с. (Лучшие практики лучевой и инструментальной диагностики; Часть 1).
  20. Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е., и др. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях // Современные технологии в медицине. 2023. Т. 15, № 2. С. 19–27. doi: 10.17691/stm2023.15.2.02
  21. Морозов С.П., Владзимирский А.В., Кляшторный В.Г., и др. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). Москва: Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, 2019. 33 с.
  22. Kim D.W., Jang H.Y., Kim K.W., et al. Design characteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysis of medical images: Results from recently published papers // Korean J Radiol. 2019. Vol. 20, N 3. Р. 405–410. doi: 10.3348/kjr.2019.0025

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики.

Скачать (818KB)
Метаданные
3. Рис. 2. Основные компоненты результата работы программного обеспечения на основе технологий искусственного интеллекта с изображением: пример эталонной работы.

Скачать (937KB)
Метаданные
4. Рис. 3. Основные компоненты результата работы программного обеспечения на основе технологий искусственного интеллекта с DICOM SR: пример эталонной работы.

Скачать (1MB)
Метаданные
5. Рис. 4. Обрезка изображения дополнительной серии программного обеспечения на основе технологий искусственного интеллекта: критическое несоответствие базовым функциональным требованиям.

Скачать (861KB)
Метаданные
6. Рис. 5. Наложение подписей на изображение: критическое несоответствие базовым функциональным требованиям.

Скачать (904KB)
Метаданные
7. Рис. 6. Пример протокола калибровочного тестирования.

Скачать (1MB)
Метаданные
8. Рис. 7. Форма внутреннего отчёта проведения мониторинга работы программного обеспечения на основе технологий искусственного интеллекта.

Скачать (1MB)
Метаданные
9. Рис. 8. Динамика технологических дефектов для программного обеспечения по модальности «рентгенография органов грудной клетки».

Скачать (683KB)
Метаданные
10. Рис. 9. Пример отчёта по технологическому мониторингу.

Скачать (1MB)
Метаданные
11. Рис. 10. Ложноотрицательное срабатывание (отсутствие локализации субсегментарного ателектаза нижней доли правого лёгкого): некритическое несоответствие базовым диагностическим требованиям.

Скачать (821KB)
Метаданные
12. Рис. 11. Содержание окна обратной связи в пользовательском интерфейсе.

Скачать (797KB)
Метаданные

© Эко-вектор, 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».