Пять барьеров, тормозящих эволюцию «интеллектуальной цифры» в медицине

Развитие технологии ИИ по важности сопоставимо с развитием космических и атомных проектов в прошлом столетии, а правила игры меняются не только в промышленности и сельском хозяйстве, но и в медицине. Однако, как и везде, внедрение не бывает простым и сталкивается с целым рядом барьеров, тормозящих развитие.

От вопросов железа и данных до менее очевидных, вроде скрытой предвзятости и недоверия врачей. Что с этим делать — вопрос открытый. Как врачебное сообщество, так и сообщество разработчиков находятся в поиске. При этом однозначных ответов нет не только в России, но и в мире. Тем важнее поэтому обмениваться опытом ошибок и лучших практик.

Барьер 1: железо и программное обеспечение

Чтобы полноценно использовать цифровые возможности в медицине нужна соответствующая инфраструктура. Речь не только о наличии компьютеров, но и об облачных хранилищах, серверах нужной мощности. К сожалению, пока они есть не во всех учреждениях, особенно региональных.

Сюда же можно отнести проблему функциональной совместимости продуктов и информационных систем. Сейчас нет единого стандарта для сбора, хранения и обработки медицинской информации. Даже в государственных учреждениях каждый использует свою систему, что значительно усложняет внедрение искусственного интеллекта и подобных технологий.

Эти системы довольно сильно различаются, и разработчикам приходится дополнительно дорабатывать свои продукты под особенности каждой организации. Как правило, это требует дополнительного времени и финансовых вложений.

Что делать?

Первое, что могут сделать разработчики частных или государственных медицинских организаций, при планировании инфраструктуры — рассматривать облачные сервисы. Это позволяет оптимизировать затраты и при этом увеличить эффективность и масштабируемость работы с данными.

Также большую роль играет переход на единые протоколы передачи медицинских данных. Сегодня, например, есть HL7 FHIR (Fast Healthcare Interoperability Resources). Он помогает корректно передавать данные из одной медицинской системы в другую. В России он пока не поддерживается большинством медицинских систем, но процесс перехода уже запущен. 

Чтобы стандарт работал, его должны развивать все заинтересованные стороны. Вовлекая все больше участников и тем самым влияя на рынок, обязуя разработчиков медицинских информационных систем и изделий поддерживать его.

Успешный пример формирования и перехода на единый стандарт усилиями профессионального сообщества, а не регулятора, показала в 80-е годы рентгенология. Тогда сообщество американских рентгенологов (ACR) и Ассоциация производителей электрического оборудования (NEMA) объединились для формирования единого стандарта хранения, передачи и использования цифровых медицинских изображений — DICOM.

Сегодня любое оборудование медицинской визуализации и радиологические информационные системы работает с этим стандартом и в медицинской визуализации почти нет сложностей обмена данными, их сбором, обработкой и т.д. Вы можете получить снимок в Москве и отправить его врачу, скажем, в Австралию, и он сможет его открыть и дать заключение. 

Необходимо также повсеместно устанавливать единые национальные стандарты структурированных электронных медицинских документов (СЭМДов), изложенные в том числе в формате FHIR, которым должна соответствовать любая медицинская информационная система. Этим уже начал заниматься Минздрав.

Читайте по теме: 12 многообещающих стартапов, которые ищут методы борьбы с раком

Барьер 2: нехватка надежных и целостных данных о пациентах и корректно сформулированной клинико-практической задачи

Обучение искусственного интеллекта проходит на данных реальных пациентов. По сравнению с банковским сектором или интернет-сферой таких данных в медицине гораздо меньше, к тому же они разрозненны.

Представьте, что пациент пришел к врачу в одну клинику, сдал анализы и получил заключение, а потом пришел в другую, потом в третью. Специалисты в этих учреждениях не имеют возможности проследить динамику заболевания с самого первого обращения, собрать исчерпывающую историю болезни для обучения.

Мы чаще всего обучаем искусственный интеллект для медицины на примерах, где известен «правильный ответ», который зачастую основан на мнении одного или нескольких врачей. Получается, что система ищет решение по алгоритму, который использует именно этот специалист.

Но три квалифицированных врача могут дать три разных ответа на один и тот же медицинский вопрос, что уже не подходит машине, которой нужна однозначность. В нашей лаборатории мы привлекаем врачей уже на самых ранних этапах разработки. Если появляется спорный медицинский вопрос, то собираем пул экспертов, которые совместно приходят к тому или иному решению.

Такое тесное взаимодействие медицинских сотрудников и разработчиков помогает правильно поставить задачу искусственному интеллекту. И сами врачи начинают понимать — как работает эта система, что необходимо стремиться к однозначности интерпретации медицинских данных при обучении машины.

Искусственный интеллект в медицине должен не просто выделить какую-то находку, а решить конкретную клиническо-практическую задачу. Если разработчики и врачи не взаимодействуют друг с другом, то может получится ситуация, в которой искусственный интеллект окажется бесполезным, не несущим ценность для пользователей.

К примеру, систему научили распознавать узелки в легких, а врачи говорят — спасибо, но с этим мы прекрасно справляемся без новых технологий, а вот что было бы ценно-это автоматическая оценка размеров очагов. И разработчики уходят на доработку.

Что делать? 

Решается это постоянными консультациями с врачами и обсуждением — в чем именно цифровая медицина с использованием ИИ может быть полезна в их работе. В нашей лаборатории «Цифровых технологий в общественном здоровье» есть пул врачей, с которыми ведутся консультации.

При его формировании нам была важна открытость к новым технологиям и готовность вникнуть в поставленные вопросы. Среди стоп-фраз: «меня все в моей практике устраивает, не вижу перспектив для автоматизации и улучшения». Также важно привлечение представителей разных поколений, разных медицинских школ.

Среди основных каналов поиска стоит отметить два, работающих лучше всего. Первый — профильные медицинские конференции и секции, посвященные новым технологиям. Туда приходят максимально заинтересованные врачи. Второе — работа с медицинскими университетами, их преподавателями и студентами. 

Частота консультаций с врачами зависит от проекта. Как показывает практика, гибкий подход наиболее эффективен. То есть после каждой доработки, которая видна пользователю, выявления новых особенностей в данных, в работе алгоритмов, необходима консультация с врачами для получения обратной связи.

У себя мы стараемся максимально упрощать и не нагружать врачей техническими деталями. Используя наглядные примеры, пояснять суть вопроса, чтобы максимально снизить для них энергозатраты для погружения в проблему. В этом, конечно, помогает 15-летний опыт тесной работы с врачами на стыке медицины, физики и компьютерных технологий.

Также ключевым моментом на старте проекта является четкая формулировка задачи, которую мы хотим решить с помощью ИИ. С указанием конечных целей, будь то ускорение процессов, повышение точности диагностики, снижение нагрузки, и описанием сценария применения модели. Это позволит понять по каким метрикам оценивать успешность того или иного решения.

Второе — это сбор, очистка и проверка клинической достоверности, репрезентативности и соответствия набора данных, с помощью которого будет обучаться ИИ. Например, характеристики потока пациентов с симптомами заболевания и участников скрининговых программ в корне отличаются, и это важно учитывать еще и по причине, о которой поговорим ниже.

Барьер 3: скрытая предвзятость

Если система обучалась на данных с малой репрезентативностью, то у искусственного интеллекта может появиться предвзятость к той или иной группе пациентов. И при столкновении с показателями другой популяции будут получаться некорректные показания. Также на работу системы может повлиять разница в лабораторном оборудовании, с которого в систему поступают данные. Как отследить и предотвратить такие нюансы — универсального рецепта пока нет.

Пока ответственность за такие возможные ошибки несет только врач, а не разработчик. Отсюда у врачебного сообщества появляется недоверие к цифровой медицине и мнение, что каждый результат, совет от нейросети надо будет перепроверять самому. Что только увеличивает время работы — ведь нужно не только проанализировать состояние пациента, а еще и сделать вывод по работе системы.

В моей профессиональной практике был один показательный пример. До пандемии наша команда успешно протестировала систему ИИ для анализа КТ органов грудной клетки, позволяющая выявлять очаги подозрения на рак легкого. Однако уже во время ковида она «сломалась» и стала отмечать изменения, вызванные COVID-19, как подозрение на рак. Что было неверно. Причина — изменения в популяции, которые система прежде не встречала.

Что делать?

На этом примере стало понятно, что одна из возможностей справиться с подобными неожиданными ситуациями — очень четко регламентировать сценарий применения. Для какой популяции, какого возраста подходит данное ПО, на данных с какого медицинского оборудования обучалась модель. 

Кроме того, на уровне самого искусственного интеллекта стоит вводить дополнительную функцию оповещения, что система с такими данными не сталкивалась и не может выдать результат. По аналогии с тем, как это делает врач, созывая консилиум для редких и сложных случаев, которых в его практике не было. Здесь же можно предусмотреть возможность дообучать модель, показывая верное решение в новом для нее случае. 

Еще один важный момент — вопрос распределения ответственности. Тогда у разработчиков появляется дополнительная ответственность за то, насколько качественно они подготовили свой продукт, правильную ли базу данных использовали, как обучили систему и готовы ли они подтвердить врачам, что все работает так, как позиционируется.

Для этого необходимо формировать с учетом требований доказательной медицины единые регламенты создания наборов данных для разработки и тестирования систем, а также мониторинга и отчетности об их работе.

Кроме этого сами разработчики должны внедрять и следовать системе менеджмента качества, например «Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования». Ведь разработка и инференс медицинского ИИ это не одно и тоже, что участие в хакатоне или соревнованиях на Kaggle.

Барьер 4: недоверие врачебного сообщества

На первый взгляд — некоторые врачи могут отрицать необходимость цифровизации медицины и использование ИИ систем из-за страха потерять работу, опасений, что скоро специалистов заменят искусственный интеллект и роботы.

Но на самом деле проблема глубже. У разработчиков и врачей разные подходы к оценке работы системы. Изначально многие цифровые разработки в медицине идут от технологии. В то время, как в такой ответственной сфере, как здоровье, важно идти от конечного пользователя — врача.

Им важно, чтобы система могла пояснить, почему было принято то или иное решение. У каждого медицинского специалиста есть свой багаж знаний, и если что-то будет этим знаниям противоречить — это сразу вызовет недоверие. Законодательно именно врач несет ответственность за постановку диагноза и назначение лечения. 

Есть хороший пример, иллюстрирующий необходимость обеспечить возможность интерпретации решений ИИ. Модель была разработана исследователями из больницы Mount Sinai и демонстрировала высокую точность разделения пациентов на обладающих высоким и низким риском наличия патологий в органах грудной клетки на основе рентгеновских снимков.

Однако, когда ее начали применять в другом госпитале, точность резко упала. В начале это поставило в тупик разработчиков, ведь модель была обучена на репрезентативном, качественно собранном наборе данных. Когда стали искать причины, оказалось, что на новом месте модель научилась извлекать из изображений не клинически значимую информацию, а определять метаданные, связанные с диагностическим оборудованием.

В обычном отделении и в отделении интенсивной терапии оно отличалось, а в последнем изначально был высокий риск острых состояний, поэтому на большом наборе данных с учетом статистики модель показывала отличные результаты. Такой пример подчеркивает важность наличия у модели способности объяснить свое решение человеку понятными способами.

Что делать?

Чтобы ИИ стал реальной поддержкой врачей при принятии решений, он должен уметь себя объяснять. Именно из-за таких ситуаций, как описано выше, в мире и в России активно развивается направление объяснимого ИИ (Explainable AI). Чтобы врач мог доверять, он должен иметь возможность проверить — откуда взялся именно этот диагноз или прогноз, к примеру, летального исхода.

Убедиться, что «машина» корректно поняла задачу, взглянуть на базу данных и аналогичные случаи, на основании которых были сделаны такие выводы. Эти случаи могут быть анонимизированны (без раскрытия личности пациентов), но с доступом ко всей необходимой информации, помогающей проанализировать ход болезни. Понять такие детали можно только благодаря привлечению врачей к процессу разработки. И помнить, что именно врачи — главные пользователи этих технологий. 

Для разных алгоритмов машинного обучения возможны различные подходы. Для моделей, работающих с табличными данными, возможно демонстрировать значимость каждого из входных параметров для полученного ответа.

Для моделей глубоко обучения, использующих сверточные нейросети и анализирующих изображения, наиболее популярны методы визуального объяснения — карта значимости (saliency maps), когда пользователю демонстрируются области входного изображения наиболее значимые для принятого нейросетью решения.

Читайте также:

«Впечатляет»? Зачем и как ИТ-компаниям управлять опытом сотрудников

Какие правила соблюдать бизнесу при заказе логотипа у дизайнера?

Барьер 5: длительный цикл внедрения

До искусственного интеллекта, который будет принимать самостоятельные решения и возможно заменит медицинский персонал в каких-то функциях, нам еще далеко. Пока большая часть технологий используется в околомедицинских процессах. Например, в США сейчас проходит пилотное внедрение технологии, которая расшифровывает беседу пациента с врачом и самостоятельно заносит нужные данные в медкарту.

В Липецкой области недавно завершился пилотный проект «Сбера», где голосовой ассистент заполнял медицинские протоколы. В некоторых клиниках нашей страны есть бот, который за день до приема звонит пациенту и опрашивает по симптомам, как врач на приеме.

Есть отдельные примеры, когда искусственные интеллект применяют для разработки лекарств и диагностики заболеваний, а компьютерное зрение — для анализа рентгенограмм, МРТ и КТ-снимков.

Однако внедрение по-настоящему «умных» и в значительной степени автономных технологий в медицину сопряжено с рисками, о которых мы говорили выше. Поэтому, согласно законодательству, программное обеспечение с искусственным интеллектом будет являться медицинским изделием и обязано пройти регистрацию. Это требует значительных бюджетов и время, чтобы проверить безопасность и надежность работы технологии.

Для медицинских устройств срок вывода на рынок лежит в пределах от 3 до 7 лет. Для технологий ИИ, которые развиваются гораздо быстрее, даже срок в 3 года недопустим. Поскольку это будет означать, что ПО с использованием ИИ, доступное для оказания медицинской помощи, будут устаревшими, без использования преимуществ передовых и актуальных ИИ-технологий.

Что делать?

Готового ответа на этот вопрос нет. И регуляторы по всему миру активно прорабатывают вопросы более гибкого подхода к программам, использующим ИИ, чтобы обеспечить баланс между требованиями к безопасности и надежности работы медицинских изделий и при этом сделать как можно скорее доступными для блага общественного здравоохранения наиболее продвинутые решения. 

Например, в апреле этого года в США FDA выпустили рекомендации, как быть с изменениями, которые вносятся в работу программ с поддержкой ИИ и машинного обучения. Среди прочего регулятор предлагает сертифицировать не саму модель, а команду разработчиков, процессы и подходы на основе которых они создают, в рамках которых контролируют работу и эволюцию модели.

Поэтому, например, важно внедрять системы менеджмента качества. Это позволит гарантировать, что дообучение пройдет безопасно, эффективно и обеспечит должное качество. 

Кроме того, должна быть понятна клинико-практическая и экономическая ценность такого ПО. Чтобы конечные пользователи были заинтересованы в скорейшем его использовании и масштабировании. Для этого надо разработать универсальные показатели работы систем и критерии оценки их эффективности (ускорение медицинской помощи, экономия ресурсов и т.п.) и самое главное, какой социальный эффект это даст.

Например, снижение смертности в силу ранней диагностики заболеваний и оказанной помощи, снижение заболеваемости в силу своевременных профилактических мер, повышение эффективности лечения в силу персонифицированных подходов. Ведь конечная цель здравоохранения — обеспечить здоровую и долгую жизнь населения.