Повышение качества клинического искусственного интеллекта: к постоянному мониторингу и обновлению алгоритмов ИИ в здравоохранении

npj Digital Medicine, том 5, номер статьи: 66 (2022 г.) Цитировать эту статью

13 тысяч доступов

19 цитат

49 Альтметрика

Подробности о метриках

Алгоритмы машинного обучения (МО) и искусственного интеллекта (ИИ) могут извлекать ценную информацию из клинических данных и улучшать результаты лечения пациентов. Однако эти очень сложные системы чувствительны к изменениям в окружающей среде и подвержены снижению производительности. Даже после успешной интеграции в клиническую практику алгоритмы ML/AI необходимо постоянно отслеживать и обновлять, чтобы обеспечить их долгосрочную безопасность и эффективность. Чтобы довести ИИ до зрелости в клинической помощи, мы выступаем за создание больничных подразделений, ответственных за обеспечение качества и улучшение этих алгоритмов, которые мы называем подразделениями «AI-QI». Мы обсуждаем, как инструменты, которые уже давно используются в сфере обеспечения и улучшения качества больниц, могут быть адаптированы для мониторинга статических алгоритмов машинного обучения. С другой стороны, процедуры постоянного обновления моделей все еще находятся в зачаточном состоянии. Мы выделяем ключевые соображения при выборе между существующими методами и возможностями методологических инноваций.

Использование искусственного интеллекта (ИИ) и машинного обучения (МО) в клинической сфере значительно развилось за последние десятилетия, с многочисленными примерами в медицинской визуализации, кардиологии и неотложной помощи1,2,3,4,5,6. Действительно, список алгоритмов на основе ИИ/МО, одобренных для клинического использования Управлением по контролю за продуктами и лекарствами США (FDA), продолжает быстро расти7. Несмотря на ускоренное развитие этих медицинских алгоритмов, их внедрение в клинику было ограничено. Проблемы, возникающие на пути к успешной интеграции, выходят далеко за рамки начальной фазы разработки и оценки. Поскольку алгоритмы машинного обучения сильно зависят от данных, основная проблема заключается в том, что их производительность сильно зависит от того, как данные генерируются в определенных контекстах и ​​в определенное время. Может быть трудно предугадать, как эти модели будут вести себя в реальных условиях с течением времени, поскольку их сложность может скрыть потенциальные виды отказов8. В настоящее время FDA требует, чтобы алгоритмы не изменялись после одобрения, которое мы называем «заблокированным». Хотя эта политика предотвращает введение вредных обновлений моделей, производительность заблокированных моделей со временем может ухудшиться в высокодинамичных средах, таких как здравоохранение. Действительно, многие документально зафиксировали снижение эффективности ОД из-за состава пациентов, особенностей клинической практики, вариантов лечения и т. д.9,10,11.

Чтобы обеспечить долгосрочную надежность и эффективность клинических алгоритмов на основе искусственного интеллекта и машинного обучения, крайне важно создать системы регулярного мониторинга и обслуживания12,13,14. Хотя важность постоянного мониторинга и обновления была признана в ряде недавних статей15,16,17, в большинстве статей содержится ограниченная информация о том, как внедрить такие системы. Фактически, наиболее похожей работой могут быть недавние статьи, документирующие создание готовых к использованию систем машинного обучения в интернет-компаниях18,19. Тем не менее, условия здравоохранения отличаются тем, что ошибки имеют более серьезные последствия, количество образцов меньше, а данные имеют тенденцию быть более зашумленными.

В этой работе мы рассматриваем существующие усилия по обеспечению качества (QA) и улучшению качества (QI) больниц20,21,22 как шаблон для разработки аналогичных инициатив для клинических алгоритмов искусственного интеллекта, которые мы называем AI-QI. Проводя параллели со стандартными клиническими практиками обеспечения качества, мы показываем, как хорошо зарекомендовавшие себя инструменты статистического управления процессами (SPC) могут применяться для мониторинга клинических алгоритмов на основе искусственного интеллекта. Кроме того, мы описываем ряд уникальных проблем при мониторинге алгоритмов ИИ, включая отсутствие достоверных данных, цензуру, связанную с лечением, вызванную ИИ, и высокую размерность данных. Обновление модели — это совершенно новая задача, открывающая множество возможностей для технических инноваций. Мы излагаем ключевые соображения и компромиссы при выборе между процедурами обновления модели. Эффективное внедрение AI-QI потребует тесного сотрудничества между врачами, администраторами больниц, специалистами в области информационных технологий (ИТ), биостатистиками, разработчиками моделей и регулирующими органами (рис. 1). Наконец, чтобы обосновать наше обсуждение, мы будем использовать пример гипотетической системы раннего предупреждения на основе искусственного интеллекта для эпизодов острой гипотонии (AHE), вдохновленной одобренным FDA индексом прогнозирования гипотензии Эдвардса23.