Ведомство приостановило применение медицинской системы Botkin.AI с искусственным интеллектом (ИИ) в связи с угрозой причинения вреда жизни и здоровью граждан

Росздравнадзор приостановил внедрение системы ИИ. Прецедент или тенденция?

Люк Филдс. Врач (фрагмент). 1891
Люк Филдс. Врач (фрагмент). 1891
Люк Филдс. Врач (фрагмент). 1891

Система автоматических решений в медицине была широко внедрена в Москве еще в 2019 году.

На заседании подкомиссии по цифровой экономике в январе 2018-го были приняты новые направления для включения в программу «Цифровая экономика Российской Федерации», в том числе направление «Цифровое здравоохранение». Среди его целей были указаны обеспечение высокого уровня качества жизни граждан и ее продолжительности, независимо от их места жительства и социального положения, сдвиг приоритета в сторону ранней диагностики, профилактики и здоровьесбережения, радикальное снижение количества медицинских ошибок, приводящих к смертельным исходам.

Лидером в цифровизации медицины, разумеется, стал московский регион. Мэр города Сергей Собянин отчитывался, что уже с октября 2020 года ИИ помог терапевтам поставить более 10 млн диагнозов.

В конце 2022 года президент Владимир Путин рекомендовал другим регионам ориентироваться на столицу в вопросе цифровизации сферы здравоохранения.

Так, в Подмосковье провели 1,7 млн телемедицинских консультаций за год. Московские врачи за три года поставили с помощью ИИ более 12 млн диагнозов.

Ряд СМИ широко распространили новость о том, что во всех взрослых поликлиниках Москвы появится диагностический ассистент «Аида», который поможет терапевтам и врачам общей практики в постановке заключительного диагноза на основании данных электронной медкарты пациента за последние два года. В мэрии прокомментировали событие, отметив роль финального решения, которое всë равно будет за специалистом-врачом.

С 2019 года этот проект применялся в столичных медорганизациях в сегменте лучевой диагностики. Мэрия Москвы до конца сентября обещала снабдить все поликлиники ИИ-решением.

Как рассказала столичный вице-мэр по вопросам социального развития Анастасия Ракова, новый модуль системы поддержки принятия врачебных решений анализирует данные электронной медкарты пациента и предлагает вариант заключительного диагноза. По ее словам, ИИ ассистирует врачу и дает второе мнение в случае подозрений на одно из 95 серьезных заболеваний, требующих диспансерного наблюдения. Утверждается, что точность сервиса составляет до 87%. При этом заключительное решение всегда принимает врач.

В пресс-службе мэрии также пояснили, что новый модуль системы подключается, когда цифровой ассистент параллельно анализирует жалобы и анамнез пациента из текущего протокола, а также текстовые данные его электронной медкарты, после чего формирует диагноз. Если диагноз расходится с тем, который поставил врач, система сигнализирует об этом уведомлением.

При обсуждении проекта Ракова подчеркнула, что задача сервиса — не заменить врача, а подстраховать его, если есть подозрения на одно из 95 серьезных заболеваний, требующих диспансерного наблюдения.

Согласно данным создателей, ассистент обучен на записях о 30 млн визитов пациентов за два года. В ходе эксперимента с привлечением 38 врачей сервис продемонстрировал точность более 87% при определении диагнозов.

Группа компаний «Доктис» в 2022 году запустила систему роботизированных медицинских помощников, которые собирают данные о состоянии здоровья пациентов с носимых гаджетов — холтеров, глюкометров, тонометров — и сигнализируют врачу о любом негативном изменении состояния пациента.

Однако эксперты увидели и определенный риск в работе информационной системы, заключающийся в том, что при использовании даже апробированных и сертифицированных систем окончательное решение должен принимать врач. «Всё, что облегчает работу врачей — напоминания и дополнительная аналитика, позволяющая им принять верное решение быстрее, — за этим будущее», — заявил гендиректор медтехкомпании «Доктор рядом» Александр Андреев, отметив, что на пути внедрения ИИ в медицине может встать разрозненность медицинских информационных систем и протоколов.

По словам основателя консалтинговой группы VvCube Вадима Ткаченко, в целом препятствий для реализации проекта не только в Москве, но и в России нет, так как давно существует приказ Минздрава, в соответствии с которым осуществляется оказание медуслуг в рамках цифровой медицины.

«Главное условие — соблюсти правила передачи персональных данных, подписать все согласия и документы о медицинских вмешательствах», — заявил Ткаченко, добавив, что юридические вопросы всегда будут оставаться одними из главных в медицине: кто отвечает за лечение, насколько успешно оно проходит, и это тесно связано с качеством оказания медуслуг.

31 октября Ракова заявила о запуске в Москве нового комплексного сервиса на основе искусственного интеллекта, способного выявлять несколько заболеваний на компьютерной томограмме. Как сообщили в информационном центре правительства столицы, новый сервис комплексно определяет семь заболеваний органов грудной клетки.

По словам Раковой, ИИ обучили выявлять на снимках признаки семи патологий, в том числе пневмонии, остеопороза позвоночника, легочной гипертензии, ишемической болезни сердца. Нейросеть уже проанализировала более 10,5 млн медицинских снимков.

14 ноября 2023 года первый заместитель председателя правительства Московской области Светлана Стригункова заявила, что с начала 2023 года в регионе провели более 1,7 млн телемедицинских консультаций.

«На сегодняшний день благодаря телемедицине можно проконсультироваться с врачом по итогам диспансеризации или пройденного лечения, закрыть больничный лист, продлить электронный рецепт на льготное лекарство. Также получить онлайн-консультации могут беременные женщины и дети», — сказала Стригункова.

Тем временем в применении ИИ в медицине засомневались за границей.

Исследователи из университета Флиндерса в Австралии увидели срочную необходимость в разработке правительственных и отраслевых мер, защищающих пользователей сетей от дезинформации в сфере здоровья, которую злоумышленники легко могут сгенерировать в огромном объеме с помощью ИИ. Как сообщила пресс-служба вуза 14 ноября, генеративный искусственный интеллект, способный генерировать идеи, создавать текст, изображения и видео, был использован командой исследователей из Аделаиды для проверки возможности производить и распространять ложную информацию о здоровье и медицинских проблемах.

В ходе исследования команда попыталась с помощью такого ИИ создать дезинформацию о вейпинге и вакцинах. В результате за час было создано более 100 блогов с дезинформацией, с 20 вводящими в заблуждение изображениями, а также убедительное видео с фейковой информацией о здоровье.

Результаты исследования ученые представили в статье «Пример использования дезинформации в сфере здравоохранения, подчеркивающий острую необходимость бдительности в области искусственного интеллекта», опубликованной в журнале JAMA Internal Medicine. Первый автор статьи, фармацевт и исследователь из университета Флиндерса Брэдли Менц заявил о своей серьезной обеспокоенности полученными результатами: «Последствия наших выводов очевидны: общество в настоящее время стоит на пороге революции искусственного интеллекта, однако при ее реализации правительства должны обеспечить соблюдение правил, чтобы минимизировать риск злонамеренного использования этих инструментов с целью ввести сообщество в заблуждение».

В России с критикой введения искусственного интеллекта в медицинской сфере выступила телеведущая Анна Шафран 15 ноября в своем Telegram-канале.

Шафран напомнила о закрытии двух стартапов в Великобритании, которые занимались внедрением искусственного интеллекта в медицине. «Пока инвесторы обоих стартапов подсчитывают убытки, отечественные чиновники, напротив, с гордостью отчитываются о внедрении ИИ в больницах. Мол, и диагнозы поможет ставить, и рутинные процедуры на себя возьмет. Быть мудрыми у наших чиновников от медицины уже не получилось. Они явно хотят совершить те же ошибки, которые уже совершили англосаксы», — заявила телеведущая.

Отметим, в Великобритании и США в 2023 году практически синхронно обанкротились два стартапа в области медицинского искусственного интеллекта — Babylon Healthcare и Olive.

Что касается в целом проблемы цифровизации в России, Шафран напомнила о принятии закона о едином регистре населения России, вокруг которого в 2020 году развернулись серьезные баталии. Она указала на то, что в Британии, а также Франции и Италии подобные законы отменили. По ее словам, это произошло, поскольку невозможность безопасного хранения данных очевидна, а утечка информации из любой базы — это лишь вопрос времени.

«Может быть, нашим горе-цифровизаторам все-таки стоит изучить опыт чужих ошибок? Потому что свои будут стоить очень дорого, особенно в условиях, когда Запад объявил нам тотальную войну», — заявила телеведущая.

О возможности создания специального органа по этическому кодексу в сфере искусственного интеллекта (ИИ) в сентябре 2023 года на «Саммите будущего» объявил посланник генерального секретаря ООН по вопросам технологий Амандип Сингх Гилл 16 ноября. Как указал Сингх Гилл, выступая на форуме этики в сфере ИИ «Поколение GPT. Красные линИИ» в Москве, внедрение кодекса необходимо для международной координации в борьбе со злоупотреблениями в использовании ИИ, а также для заполнения пробелов в законодательствах различных стран.

Ранее в рамках данного форума, организованного при поддержке администрации президента России, комиссии по этике в сфере ИИ, а также Министерства экономического развития РФ, около 20 организаций подписали «Кодекс этики в сфере искусственного интеллекта». Целью форума является привлечение новых организаций к следованию Кодексу, организация круглого стола на тему межкультурного взгляда на глобальные вызовы развития ИИ и ряд других мероприятий.

Буквально за день до решения Росздравнадзора о приостановке работы системы ИИ Botkin.AI во Владимирской области был запущен сервис по автоматической обработке искусственным интеллектом всех маммографий с подключенных к Центральному архиву медицинских изображений.

Для реализации этого проекта во Владимирской области к информационной подсистеме «Центральный архив медицинских изображений» были подключены 22 цифровых маммографических аппарата и 20 медицинских организаций региона.

Стоит отметить, что 21 ноября 2023 года Росздравнадзор впервые приостановил применение медизделия с искусственным интеллектом (ИИ) — и это первый такой прецедент.

Ведомство посчитало, что разработка, созданная за счет вложений пула венчурных фондов, в том числе «Росатома», Минпромторга, «Р-Фарм», «Ташира», может «причинить вред здоровью» пациентов. Еще три года назад разработчик системы — «Интеллоджик» — заявлял о ее интеграции в медучреждения Москвы, но в мэрии утверждают, что не используют ее.

Чтобы обучить ИИ выявлять патологии, требуются серьезные технические решения, на что пока клиники не готовы, говорят эксперты. Росздравнадзор приостановил применение Botkin.AI «в связи с угрозой причинения вреда жизни и здоровью граждан».

Соответствующее письмо от 8 ноября появилось в реестре ведомства. СМИ стало известно, что в Росздравнадзоре проводится проверка производителя.

Глава Росздравнадзора Алла Самойлова на форуме Novamed заявляла, что ведомство впервые приостановило обращение медизделия с ИИ из-за «отсутствия клинического эффекта и неоднократно выявленных дефектов функционирования».

В качестве причин такого решения в «Юникорн Кэпитал Партнерс» пояснили, что «Интеллоджик» находится «в процессе технической реорганизации», чем и обусловлена приостановка действия регудостоверения. По мнению сотрудников «Интеллоджик», какая-либо угроза причинения системой вреда жизни и здоровью граждан «полностью исключена».

В минздраве Тульской области, где Botkin.AI тестировалась в трех медучреждениях, при этом сейчас система не применяется. «В ходе тестирования выявлен ряд недостатков, обратная связь передана разработчикам», — сообщили в минздраве региона.

В сети «Открытая клиника», по словам ее основателя Филиппа Мироновича, применение Botkin.AI «поставлено на паузу в ожидании разъяснения от разработчика». Схожие продукты на основе ИИ, зарегистрированные Росздравнадзором, есть у «Третьего мнения», «Кэременторэйай» и «Сайберии».

Так как в медицине делаются только первые шаги для обучения ИИ, для внедрения ИИ в практику нужны серьезные технические решения, к которым готовы далеко не все медучреждения. Эксперты уверены, что на качестве работы ИИ сказывается и дефицит кадров в этой области.

Есть и другой вопрос: не приведет ли тотальная цифровизация в медицине к резкому снижению качества медицинских кадров, ведь на профессионализм медиков прямо влияет постоянная концентрация и напряженная работа по принятию правильных решений, которая в случае применения ИИ почти целиком может быть возложена на машины.