AI и онкология: как программисты разработали систему, которая распознает рак

Артем: Если начинать отсчет старта проекта c даты нашего знакомства с ребятами, то на прототип ушло больше года. Это не было связано непосредственно с разработкой: около года длился подготовительный этап. Параллельно Никита и Евгений занимались своим проектом FscoreLab. Я работал в одной из IT-компаний Калужской области, параллельно искал единомышленника среди потенциальных инвесторов — и нашел. Это был Станислав. Он — учредитель и идеолог нескольких компаний в области разработки и интеграции IT-решений.

Станислав услышал меня и решил поддержать проект. Я познакомил его с парнями. После этого мы перешли в активную фазу. Сперва мы работали над Celsus в свободное время, в основном ночью. Вкладывали свои личные ресурсы.

Евгений и Никита начали работу над первой версией ядра, мы со Станиславом включились в организацию процесса сбора данных и подготовки их для обучения. И в 2018 году, через два года после идеи, был готов первый прототип.

Еще мы зарегистрировали товарные знаки на продукт — «Цельс» и Celsus, получили патент на нашу систему анализа рентгенографических снимков, что подтверждает уникальность продукта, и подали заявку на международный патент.

Никита: В нашей системе есть визуальный интерфейс, который контактирует с врачом. Врач должен уметь подгрузить туда снимки в виде DICOM-файлов (медицинский отраслевой стандарт для работы с изображениями, а также документами пациентов. — Прим.) на диагностику. Врач коммуницирует с системой через веб-интерфейс. Как только подгружаются снимки, к нейронной сети отправляется запрос и она выдает результат детекции.

Сперва программа показывала только результат в разрезе «рак — не рак». Сейчас она еще и отмечает объекты, на которые стоит обратить внимание врачу.

Celsus видит не только онкологические, но и другие изменения — в плотности ткани, а также наличие доброкачественных или злокачественных кальцинатов, фиброзно-кистозную мастопатию и другие новообразования, которые могут присутствовать на снимке. Для каждого вида объекта или показателя определяется вероятность того, что объект является этим объектом. Исходя из идентифицированных объектов, модель выдает заключение по классификации Bi-RADS.

Буквально на днях мы выпустили первый релиз по анализу флюорографических снимков. Показатели высокие для прототипа (какие именно — Артем не раскрывает. — Прим.). В небольшом регионе в год делается порядка 1,5 млн исследований, которые должны просматривать два врача, но остается большая вероятность ошибки. По статистике, при проведении скрининга флюорографии с патологией вероятность ошибки составляет порядка 5% от общего числа пациентов, то есть из 1,5 млн это 75 тысяч человек с неверным заключением. Применение Celsus в флюорографии в сотни раз снизит нагрузку на врача и вероятность пропустить патологию.

– Насколько точна программа?
Евгений: Существуют разные параметры точности. Представьте ситуацию, когда большинство обследуемых — пусть будет более 90% — здоровые. Это значит, что случайная модель, диагностирующая всех пациентов как здоровых, будет иметь точность более 90%, но практическая ценность такой системы нулевая. Поэтому стоит аккуратно подходить к цифрам. Мы используем целый набор метрик для оценки качества модели.

Никита: Если говорить о показателе «рак — не рак», то на данный момент метрика точности AUC на на публичном датасете InBreast (маммографическая база данных от Центра молочной железы в Порту. — Прим.) составляет 90% — то есть наше решение распознает онкологию с точностью 90%

Но определять математическую точность — не совсем правильный подход. В работе участвуют разные модели и разные архитектуры нейронных сетей, которые решают задачу по чтению и интерпретации снимков. И именно совокупность полученных данных является результатом работы системы.

Стоит корректнее ставить вопрос о приоритетах. Что для врача важнее? Не пропускать патологию или меньше отправлять на дополнительные обследования пациентов? Исходя из так называемого «порога» формируются итоговые результаты модели и пропорции между разными видами верных предсказаний и ошибок.

По последним тестам (на региональных данных по пациентам, которым поставлен диагноз. — Прим.) в работе Celsus были зафиксированы такие показатели: обнаруженных истинно положительных (с патологией) пациентов 99%. При этом ложно положительных результатов (обнаружение патологии при ее отсутствии — в таком случае пациент направляется на дополнительное обследование. — Прим.) составило 30%.

Артем: Точность системы всегда будет зависеть от популяции — баланса больных/не больных и выбранных целей. К примеру, на текущий момент наша модель корректно классифицирует 99% больных пациентов, потому что намного важнее не пропустить больного пациента, чем верно определить здорового. Если бы мы хотели пропускать не 1% больных, а, например, 3% — показатель «ложно больных», которых система отправляет на допобследование, был бы меньше.

К тому же точность системы варьируется от качества данных: наша система намного лучше работает на высококачественных цифровых снимках.

– Вы говорили, что внедрение такой системы невозможно без помощи государства…
Станислав: Во-первых, системы вроде нашей должны быть зарегистрированы в Росздравнадзоре, пройти клинические испытания. Регистрация проводится по регламентирующим документам и стандартам, которых для решений ИИ в настоящее время нет. Эти стандарты должно утвердить государство.

Во-вторых, датасеты и большие данные находятся в государственном контуре, так как это персональные данные специальной категории. Согласно плану цифрового развития в медицине, в каждом регионе будет или уже есть цифровой контур, который объединяет все медучреждения и данные пациентов от них. Данные оттуда поступают уже в федеральный центр. То есть в идеале это будет экосреда медицинских данных.

– Пилот уже внедрен в Калуге. Расскажите об итогах?
Артем: В Калуге наша система используется врачами-рентгенологами как второе чтение. К сожалению, оборудование не позволяет врачам использовать его массово из-за отсутствия во всех медицинских организациях цифровых маммографов или цифровых рентгеновских аппаратов. В подавляющем большинстве имеется только аналоговое оборудование, которое не подходит для нашего решения. Дело в том, что на нем используется рентгеновская пленка. И качество изображений, которое получается на таком оборудовании, значительно ниже, чем на цифровом. Снимки с аналогового менее информативные для врачей и их нельзя использовать для качественной диагностики с использованием ИИ.

В Брянской, Тамбовской, Курской, Липецкой, Тверской и других областях сейчас запускаются пилоты. Там Celsus будут использовать на рабочем месте индивидуально и при массовом скрининге на передвижных маммографов. Конкретных отзывов врачей пока нет — для этого нужно примерно 1,5 года.

Станислав: Мы стартовали только в марте 2019 года. У медицинских пилотов более долгий срок цикла оценки, чем в других сферах.

Пока что ошибки мы не можем исправить сразу: если врач не согласен с системой и говорит нам «Тут неверно», нам нужно еще время, чтобы отследить пациента и убедиться точно, не ошибся ли сам врач. Плюс, всегда будут конфликтные случаи, поэтому мы собираемся выйти на московский уровень экспертизы, чтобы разбирать вместе со специалистами спорные моменты.

Артем: В регионах нет понимания, как такие решения можно запускать, чтобы использовать их как второе мнение. Пока стандартов нет: мы подстраиваемся под каждый регион и его правила, на это уходит время. Вторая проблема: оборудование на местах настроено по-разному, хотя есть международные стандарты и требования к снимкам. Это тоже тормозит работу.

— Как планируете окупать затраты?
Станислав: Вариантов монетизации несколько, все они завязаны на цифровой контур медицины — единую базу данных на регион, в любое время доступную врачу. Наша система может сразу вставлять при диагностике информацию в документы в общую базу. Или это может работать как отдельные АРМы (автоматизированные рабочие места рентгенологов. — Прим.) в кабинетах. Тогда это будет реализовано через контрактные продажи по закупкам. Это b2g-модель. Плюс, частный сектор. Третий путь — партнерство с производителями маммографов, рентген-аппаратов и другого оборудования, чтобы система вшивалась как допуслуга к аппарату. Для монетизации мы должны получить итоги от пилотов в регионах.

Мы изучали рынок — конкуренции в направлении выявления рака молочной железы именно в маммографии пока не обнаружили. Это достаточно сложное направление, которое мы выбрали осознанно.

Возможно, есть еще кто-то, кто, как и мы, тихо работает над продуктом. Но я общался с ребятами с хакатонов и из разных российских акселераторов. Их проекты стоят на месте — либо потому что они не работают с врачами на реальных дата-сетах, либо потому что у них нет финансирования, чтобы выйти на уровень выше.

Технологии, которые сегодня умеют распознавать онкологию — не новость. Я встречаю такие проекты из США, Европы и Азии в течение нескольких лет на международных выставках и конференциях. Могу сказать, что знаю где-то пять компаний, которые этим занимаются.

Компьютерная обработка изображений в медицине уже есть, у искусственного интеллекта другая задача — от него просят конкретные решения, а не просто указать опухоль на маммограмме.

Я разговаривала с программистами и онкологами, которые представляли решения ИИ. Во всех странах, где это есть, решения находятся в стадии разработки и апробации. Чтобы внедрить технологию массово, нужно, чтобы ИИ показывал более точные решения, чем врач-эксперт.

Стадия апробации технологии на специалистах обязательно должна быть. Если ИИ будет справляться не хуже специалиста, то можно одного из докторов заменить машиной. На конференциях показывали данные сравнения ИИ и эксперта: пока что ИИ проигрывает. Уровень точности зависит от того, на каких базах обучается ИИ и насколько они подтверждены гистологией. Иногда врачу нужно установить опухоль в несколько миллиметров или микрон. Сможет ли это сделать машина?

Я слежу за проектами в Калужской и Кемеровской областях по цифровому скринингу в маммографии. Это стандартная скрининговая технология, при которой снимки просматривают два независимых врача на удаленном доступе. Эти врачи прошли курс, сдали экзамен и имеют соответствующую квалификацию. Если их мнения не совпадают, то снимки смотрит третий эксперт. Это стандартная скрининговая процедура во всем мире. Только мы это делаем с цифровой обработкой данных. Это решение работает два года, у нас есть готовая технология, и на этом этапе можно подключить Celsus и посмотреть, будут ли совпадать мнения машины и врачей. Мне самой как специалисту это было бы очень интересно. Но пока никто из российских разработчиков к нам не обращался. Если проектам интересно сотрудничать — можно написать мне напрямую (координаты есть в редакции Rusbase. — Прим.) или в НМИЦ.

Чтобы выходить на законодательный уровень для внедрения технологии, нужно, опять же, чтобы она показала результаты.

Я вижу применение технологии, подобной Celsus, в обучающих программах. У нас много опытных специалистов, которым нужно получать практику и смотреть изображения. И благодаря искусственному интеллекту они могут этому научиться.

* РМАПО — российская медицинская академия непрерывного профессионального образования

В подобных проектах я вижу огромный потенциал и, в то же время, большое количество этических и юридических проблем.

Вот есть, к примеру, беспилотные Tesla. Если такая машина без водителя попадает в аварию — кто виноват? На кого подавать в суд за ошибку? В использовании нейросетей для диагностики заболеваний кроются те же проблемы: кто ответственен за результат диагностики? Компания? Врач? Пока нет четких способов урегулировать эти моменты на законодательном уровне, ответственность за интерпретацию снимков по-прежнему будет нести врач, даже если нейросеть что-то ему подскажет.

Мне кажется, что чем меньше будет места субъективности в диагностической и клинической тактике, тем лучше. Такие проекты — это как раз отличный способ борьбы с субъективностью. В то же время я понимаю, что обучить нейросеть так, чтобы она превосходила человека, — это очень трудоемкий и сложный процесс. И доверие к проекту может возникнуть только после публикации крупных валидационных исследований (которые подтверждают, что разработка приносит конкретную измеримую пользу пациентам — например, приводит к увеличению выживаемости, позволяет избежать лишних биопсий при РМЖ и т.д. — Прим.). Очень важно опробовать разработку на больших выборках, чтобы посмотреть, как она применима в реальной жизни. И сравнить эффективность этой методики с ранее существующим подходом

© Rusbase, 2019
Автор: Екатерина Гаранина
Обложка: фотобанк «Фотодженика», Komsan Loonprom / Shutterstock.