Компетентное использование ИИ в команде медицинских технологий

Широкое распространение дискуссий об искусственном интеллекте привело к некоторой усталости от этой темы, заставляя задуматься, насколько компетентно и эффективно он применяется на практике.

Этот вопрос был рассмотрен в беседе с Тайлером Хармоном, руководителем компании, специализирующейся на автоматизированных медицинских системах. Хармон, имеющий опыт изобретателя и эксперта по системам качества в сфере медицинских устройств, сейчас применяет машинное обучение в отделениях интенсивной терапии. Его команда разрабатывает модели для более раннего выявления пациентов с риском острого респираторного дистресс-синдрома (ОРДС), чем это возможно традиционными клиническими методами.

Главный вывод из этой беседы заключается в том, что разница между искусственным интеллектом, который действительно повышает безопасность пациентов, и ИИ, который лишь впечатляюще выглядит на демонстрациях, кроется в его компетентном применении. Для команд, работающих в области медицинских технологий, компетентность в основном означает применение уже существующих принципов управления качеством к ИИ, без предоставления ему каких-либо особых исключений.

ИИ уже интегрирован в вашу разработку, независимо от того, регулируется ли он

Если сегодня спросить команду разработчиков, используют ли они ИИ, ответ может быть осторожным. Однако, если поинтересоваться, применяют ли члены команды инструменты ИИ для составления требований, разработки протоколов тестирования или помощи в кодировании, ответ часто меняется. ИИ уже является частью рабочего процесса; единственная переменная — регулируется ли его использование должным образом.

Тайлер подчеркнул важность демистификации технологии. Многие команды воспринимают ИИ как новую категорию «магии». Тем не менее, по своей сути ИИ — это просто программное обеспечение. Как он объяснил, эти системы применяют нелинейную математику к задачам, которые ранее решались с помощью детерминированного кода. Хотя они мощны и порой удивительны, они все же остаются программным обеспечением. Понимание этого позволяет эффективно управлять ими; если же относиться к ИИ как к магии, управление будет неэффективным.

Почему потребительские модели создаются непредсказуемыми

Потребительские большие языковые модели (LLM) содержат определённую степень запрограммированной случайности. Тайлер отметил, что эта случайность является намеренным проектным решением, призванным поддерживать новизну и вовлечённость пользователя, поскольку основная задача таких продуктов — привлекать и удерживать внимание.

Эту характеристику крайне важно понимать, поскольку наличие случайности в медицинском устройстве, в лучшем случае, вызывает беспокойство. То самое свойство, которое делает чат-бот приятным в использовании, совершенно неприемлемо в регулируемой системе. Медицинское устройство должно вести себя предсказуемо. Тайлер говорил о внутренней изменчивости нейронных сетей и о значительных усилиях, необходимых для устранения этой непредсказуемости, чтобы добиться надёжного поведения в клинических условиях.

Эта же логика объясняет, почему такие инструменты могут быть одновременно уверенными и ошибочными. Достоверные ссылки никогда не были требованием для потребительских продуктов, ориентированных на вовлечение, поэтому сгенерированные источники не считаются ошибкой теми, кто их создал. Однако в медицинском контексте это имеет решающее значение. Поэтому разработчики медицинского ИИ должны полагаться на такие подходы, как обоснование результатов проверенными данными, обеспечение контроля со стороны человека при принятии любых решений и отказ от обучения на синтетических данных, которые могли бы привести к переобучению модели на её собственных выводах.

Начните с единственного важного вопроса: это SaMD?

Когда команды ищут руководство по управлению новыми функциями ИИ, задаётся фундаментальный уточняющий вопрос: является ли разрабатываемый продукт программным обеспечением как медицинским устройством (SaMD)?

Этот единственный вопрос определяет большую часть регуляторного пути. Если продукт соответствует определению SaMD, нет необходимости в новой, специфической для ИИ стратегии. Вместо этого он проходит через уже существующие процессы: классификация программного обеспечения, моделирование рисков и ответ на извечный вопрос отрасли — как это может навредить человеку? Компонент ИИ может изменить входные данные, но не базовую дисциплину качества.

С регуляторной точки зрения, отправной точкой является изучение существующих руководств по устройствам с поддержкой ИИ, включая ожидания относительно программных функций устройств с ИИ.

Одним действительно новым аспектом является то, что модели машинного обучения могут продолжать учиться после выпуска, тогда как одобренное устройство должно оставаться предсказуемым. План предварительно определённого контроля изменений (PCCP) существует для управления этим различием. Однако эффективность PCCP полностью зависит от прочной базовой системы качества.

Для тех, кто все еще определяет, подходит ли их продукт под категорию SaMD, важно обратиться к руководствам по программному обеспечению как медицинскому устройству и вытекающим из этого вопросам классификации.

Относитесь к модели как к поставщику

Вот полезная аналогия для инженерных команд.

При интеграции ИИ-функциональности в устройство это сродни привлечению поставщика. Часто неизвестны ни разработчик базовой модели, ни методология её обучения, ни последние изменения. Это требует отношения к ИИ как к управлению поставщиками и управлению программным обеспечением, без притворства.

Следовательно, результаты модели следует рассматривать как программное обеспечение неизвестного происхождения (SOUP), пока не будет проведена достаточная проверка. Это означает тщательную проверку поставщика так же, как любого критически важного поставщика, и скрупулёзное ведение документации. Валидация ИИ для медицинского устройства — это применение тех же методов верификации и валидации, которые уже используются, но к компоненту, который по своей природе является вероятностным. Если поставщик заявляет, что создал собственную модель, это утверждение требует тщательной проверки, а не слепого принятия.

Компетентность — это ваша система качества, применённая к ИИ

Тайлер предложил рассматривать управление ИИ как отдельное направление в рамках уже существующей системы качества. Это означает интеграцию специфических для ИИ процедур в качестве дочерних документов в существующую систему менеджмента качества, нацеленных на две уникальные особенности этих инструментов: случайность и галлюцинации. В этом направлении также движутся и формальные отраслевые стандарты. Управление ИИ как документированное, поддающееся аудиту направление теперь закреплено в ISO/IEC 42001:2023, стандарте системы менеджмента для ИИ. Проверяющий не примет ответ «это сделал ИИ», и разработчикам тоже не следует. Понимание этой дисциплины управления включает изучение того, как организации получают такие сертификаты, как ISO/IEC 42001 для управления ИИ.

Такой подход к управлению ИИ позволяет командам эффективно его использовать. Тайлер сравнил эти инструменты с множителем силы для клиницистов, подобно тому, как инженер-механик использует программное обеспечение 3D-CAD моделирования. Инженер по-прежнему несёт ответственность за проект; инструмент лишь позволяет ему делать больше того, в чём он хорош. Именно такой образ мышления компетентная команда в области медицинских технологий применяет к ИИ внутри компании: использовать его активно, оставаясь при этом ответственным за каждый результат.

Запускайте с уверенностью, чтобы масштабироваться с уверенностью

Важный урок заключается в том, что команды, умело использующие ИИ, — это те, кто отказывается освобождать его от своей устоявшейся и проверенной дисциплины качества, независимо от используемой модели. Они классифицируют его, оценивают риски, проверяют его происхождение и интегрируют его в свою систему качества как отдельное направление.

Такой строгий подход позволяет уверенно запускать устройства с поддержкой ИИ и продолжать их масштабирование после получения разрешения без потери стабильности. Требуемая компетентность не является чем-то исключительным; это привычная работа, которую команды уже умеют выполнять, применённая к инструменту, который разработан так, чтобы казаться умнее, чем он есть на самом деле.