Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra

Имей при себе молоток и гвоздь и воздвигни город.

А. К. Гастев

Быстрый прогресс технологий искусственного интеллекта после 2010 г. связан с развитием вычислительной инфраструктуры, сделавшей использование математических моделей весьма доступным; с эволюцией математических методов, прежде всего нейронных сетей, методик машинного обучения; с накоплением массивов цифровых данных, с одной стороны, пригодных для обучения искусственного интеллекта, а с другой – требовавших обработки и анализа с его помощью.

Указанная ситуация в полной мере наблюдалась и в медицине. Лучевая диагностика, будучи лидером цифровизации, вполне справедливо рассматривалась как наиболее перспективная область для внедрения ИИ. Вместе с тем погоня за самопиаром отдельных «айти-гуру» приводила к одиозным заявлениям о полной замене врачей технологиями ИИ, о необходимости вовсе прекратить подготовку рентгенологов как представителей более неактуальной специальности и прочем. Очевидно, что особое влияние подобные «выкрики» оказывали прежде всего на немедицинскую аудиторию, слабо представляющую реальность медицинской помощи и организации здравоохранения. Впрочем, строго по правилам диалектики, и в этих событиях были положительные результаты – значительное количество математиков, инженеров и ИТ-специалистов заинтересовались разработкой ИИ для медицины и буквально «пришли в отрасль».

Наглядной иллюстрацией этих событий служит всплеск публикационной активности в биомедицинских журналах. Например, по данным библиографической системы Pubmed, в 2010—2015 гг. количество статей об ИИ в рецензируемых медицинских журналах плавно нарастало от 4500 до 6800 в год, а в 2016 г. начался стремительный рост этого показателя с практически удвоением ежегодного числа публикаций в 2019—2020 гг. (порядка 16 400 и 22 600 статей в год соответственно). В 2024 г. на тему ИИ в биомедицинских журналах, индексируемых Pubmed, опубликована почти 51 тысяча статей.

Вместе с тем за истекшие 10 лет «ИИ-революции» в здравоохранении не произошло. Нейросети не заменили врачей, в большинстве экономически развитых стран мира применение технологий ИИ в медицине носит довольно ограниченный характер (во всяком случае принципиально меньший, чем предрекали всяческие «айти-гуру»).

Хайп искусственного интеллекта привел в отрасль здравоохранения новых специалистов и множество больших и малых научных групп, что проявилось колоссальным ростом научной продукции, но минимальным внедрением реально работающих продуктов. В чем же причина такого диссонанса?

Ответ очевиден – низкое качество научных исследований и игнорирование принципов доказательной медицины. Огромный энтузиазм пришедших в отрасль немедицинских специалистов сочетался с игнорированием ими всех устоев медицинской науки. Принцип Noli Nocere! воспринимался исключительно как ретроградный подход «вечно консервативных врачей». Необходимость доказывать безопасность, качество и эффективность предлагаемых инструментов на основе ИИ (по аналогии со всеми иными средствами, применяемыми в медицине) не воспринималась, а нередко и прямо высмеивалась.

Очевидно, что в такой ситуации отношение профессионального медицинского сообщества к технологиям ИИ оставалось настороженным, а пенный поток хайпа только добавлял в это отношение еще и предвзятости. Объективным подтверждением сказанного служат статьи совершенно независимых авторов.

В 2019 г. научная группа из Южной Кореи опубликовала анализ 516 научных статей о применении ИИ для анализа медицинской визуализации (как наиболее перспективной области для внедрения ИИ). Включенные статьи были изданы в 2018 г., фактически – на самой волне ажиотажа под лозунгом «заменим всех рентгенологов на ИИ!».

Проанализировав 516 публикаций в рецензируемых биомедицинских журналах, ученые установили, что 99,0% из них представляют собой доказательства концепции (proof-of-concept study) и технические обоснования (feasibility study). Нелишним будет подчеркнуть, что с позиций доказательности такие публикации представляют для врачебного сообщества фактически нулевую ценность. Только 1,0% статей написан в дизайне диагностического исследования в соответствии с принципами доказательной медицины. Но и здесь были колоссальные проблемы: в 94,0% случаев авторы статей и разрабатывали, и тестировали свои алгоритмы на одних и тех же наборах данных. В свою очередь, 97,0% использованных датасетов формировалось из данных только одной медицинской организации. В целом внешняя валидация ИИ на незнакомых данных была проведена только в 6,0% исследований7.

Таким образом, для медицинского сообщества огромный массив публикаций был совершенно неинформативен, а жалкий 1,0% диагностических исследований содержал колоссальные методические недостатки. Более того, воспроизводимость результатов работы ИИ вообще не изучалась. На закономерный и спокойный вопрос врача: «Как ваш ИИ будет работать на данных из другой больницы?» многочисленным «айти-гуру» оставалось только хвастаться инвестициями в свой стартап и ругать консервативных врачей.

В 2020 г. научная группа из Великобритании опубликовала статью с систематическим анализом дизайна, стандартов отчетности, рисков предвзятости, а также доказательности результатов исследований, сравнивающих эффективность и точность алгоритмов ИИ и опытных врачей. Областью применения ИИ вновь стала медицинская визуализация.

В исследование включены 236 статей, опубликованных с 2010 по 2019 гг. и позиционируемых как «клинические исследования». Углубленный анализ показал, что 96,0% из них выполнены в ретроспективном дизайне, то есть представляли собой тестирование алгоритмов на эталонных наборах данных. Действительно, дизайн рандомизированного клинического исследования (ценного и информативного с позиций доказательной медицины) имели всего лишь 4,2% статей. И даже из этого крошечного числа многие работы были выполнены в «экспериментально-лабораторных условиях». Лишь 2,5% статей содержали результаты работы ИИ в реальных условиях практического здравоохранения. Во многих включенных статьях утверждалось преимущество ИИ над врачом, при этом алгоритмы сравнивали в среднем с 4 специалистами (количество включенных врачей колебалось от 2 до 9)8. Таким образом, и «клинические исследования» точности ИИ были откровенно слабы, а их результаты неубедительны.

Невзирая на бурную публикационную активность, явно ощущаемый потенциал технологий ИИ оставался совершенно нераскрытым для медицины и здравоохранения. Ценность и убедительность доказательств качества и преимуществ ИИ были мизерными. Отдельную проблему составляли манипуляции со статистикой, полностью обесценивавшие публикации об ИИ для врачей. Очевидно, что использование ограниченных наборов данных (авторам этого текста встречалась работа, выполненная на 5 МРТ!) не позволяло получать адекватные показатели точности. Недобросовестные авторы пытались это скрывать путем манипуляций со статистическими показателями, внесением изменений в стандартные формулы чувствительности и специфичности, необоснованным вводом неких новых критериев, совершенно не принятых в биомедицинской статистике. При этом те критерии, которые позволили бы прямо сопоставить заявленную точность с иными опубликованными данными, полностью игнорировались. Пропасть непонимания между врачебным и математическим, ИТ-сообществами нарастала…

В целом, эта ситуация наглядно иллюстрирует описанную К. Боулдингом (K. Boulding; 1910—1993) «глухоту специализации» в научной работе9, когда понятийный и методологический аппарат жестко ограничивается рамками строго конкретной научной дисциплины. В современной науке такой подход в принципе безнадежно устарел, и слепое следование ему искусственно и атавистично, тем более, если речь идет о научно обоснованной цифровизации медицины и здравоохранения.

Колоссальный рост интереса со стороны настоящих профессионалов в области математики, компьютерных наук, инженерии к проблематике медицины, обусловленный шумихой вокруг ИИ, нельзя и недопустимо было игнорировать. Как тут не вспомнить слова выдающегося ученого в области научной организации труда, стандартизации и менеджмента Алексея Капитоновича Гастева (1882—1939): «Свой бешеный энтузиазм сохрани, но введи его в график расчета»10. Требовался системный научный междисциплинарный подход, который позволил бы решить проблемы качества, стандартизации и доступности наборов данных, единства и точности методик оценки ИИ, а также объективно (в том числе сравнительно) оценить точность и воспроизводимость результатов работы ИИ, его безопасность и качество в условиях практического здравоохранения. Ответом на этот запрос науки и практики и стал Московский эксперимент, реализуемый на научных принципах доказательной медицины.

Эксперимент задуман и реализован как исследование со смешанными методами, но ключевой его составляющей является именно проспективное многоцентровое клиническое исследование точности и качества технологий ИИ при анализе результатов пяти основных видов лучевых исследований (рентгенографии, флюорографии, маммографии, компьютерной и магнитно-резонансной томографии).

Московский эксперимент как научное исследование одобрен Независимым этическим комитетом МРО РОРР (протокол 2/2020 от 20.02.2020).

Для представления результатов Московского эксперимента на международном уровне (включая публикации в высокорейтинговых научных изданиях) он зарегистрирован как научное исследование в базе данных Clinical Trials с присвоением идентификационного номера ID Clinical Trials NCT04489992.

Амбициозные цели Московского эксперимента требовали ведения научных изысканий сразу по нескольким направлениям, каждое из которых весьма объемно. В течение 5 лет в рамках каждого направления велись многочисленные исследования. За счет постоянного притока новых знаний появлялись новые гипотезы, требовавшие проверки, соответственно уточнялись и дополнялись конкретные задачи. Общая научная программа отличалась большой динамичностью. Кроме того, появлялись и «ответвления» от основных тематик, из которых зачастую формировались самостоятельные исследования (радиомика, ИИ для контроля качества лучевых исследований, синтетические наборы данных и т.д.).

Сводная научная программа Московского эксперимента за период 2020—2024 гг.:

1. Обосновать клинический контекст, задачи и сценарии применения технологий ИИ в лучевой диагностике.

2. Разработать, внедрить и валидировать методологию создания наборов данных для обучения и тестирования технологий ИИ с учетом этапов жизненного цикла и клинического контекста применения.

3. Разработать, внедрить и валидировать методологию комплексного тестирования и контроля качества технологий ИИ на этапах жизненного цикла.

4. Разработать и реализовать организационно-методические мероприятия по внедрению технологий компьютерного зрения в работу отделений лучевой диагностики.

5. Оценить целесообразность и применимость технологий компьютерного зрения в системе здравоохранения (в том числе с позиций технологического качества).

6. Комплексно изучить качество технологий ИИ при анализе результатов лучевых исследований и при решении организационных задач лучевой диагностики.

7. Изучить влияние технологий ИИ на удовлетворенность и производительность труда врачей-рентгенологов, оценить в динамике отношение врачей к ИИ.

8. Комплексно оценить диагностическую точность ИИ-сервисов при анализе результатов лучевых исследований, в том числе с учетом клинического контекста, сравнительно и в динамике.

9. Оценить возможность применения автоматизированного анализа результатов лучевых исследований для решения задач медицинской профилактики и управления общественным здоровьем.

10. Обосновать подходы к принятию управленческих решений при выборе продукта на основе технологий искусственного интеллекта.

11. Обосновать, внедрить и оценить результативность концепции автономного применения технологий ИИ в лучевой диагностике.

12. Обосновать возможность цифровой трансформации (на основе технологий ИИ) производственных процессов медицинских организаций в аспекте взаимодействия врачей-рентгенологов и врачей клинических специальностей.

13. Изучить медицинскую, социальную и экономическую эффективность технологий искусственного интеллекта (компьютерного зрения) в лучевой диагностике с учетом клинического контекста применения.

14. Обосновать и разработать комплекс стандартов, обеспечивающих единство применения всех компонентов системы обеспечения качества технологий искусственного интеллекта на этапах жизненного цикла.

Формальное структурирование научно-исследовательской работы в рамках Московского эксперимента прошло несколько этапов.

Первоначально сформирован перечень научных и методологических задач с закреплением ответственного исполнителя из числа руководителей научных подразделений и наиболее опытных научных сотрудников. Соответственно ситуативно формировались научные группы. Задачи и ответственные лица были зафиксированы внутренним приказом по учреждению, несколько раз актуализированным.

По итогам 2020 г., то есть первого года эксперимента, сформирован объемный отчет о научно-исследовательской работе, практически полностью опубликованный в виде монографии «Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента»11.

В 2021 и 2022 гг. отчеты формировались в сокращенном варианте с обобщением основных годовых результатов и отражением критичных динамических изменений. На этом фоне обширные именно научные результаты содержались в отчете о НИР №3 «Научное обоснование методологии применения и способов оценки качества интеллектуальных технологий („искусственного интеллекта“) в диагностике» (срок выполнения – 2020—2022 гг., финансирование за счет средств государственного задания). Также часть материала в виде отдельных глав, разделов и подразделов входила в отчеты по нескольким иным научно-исследовательским работам, проводимым НПКЦ ДиТ ДЗМ. С одной стороны, представление результатов было несколько «диссеминированным», а с другой – НИР №3 была посвящена не только проблематике Московского эксперимента, что негативно сказывалось на системности формирования ее результатов.

В 2023 г. этот недостаток был устранен: все основные исследования в рамках Московского эксперимента объединены в новой НИР №3 «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике», финансируемой за счет средств государственного задания (срок выполнения – 2023—2025 гг.). Подготовка работы по этой теме закреплено за отделом медицинской информатики, радиомики и радиогеномики НПКЦ ДиТ ДЗМ, что также фиксировалось внутренним приказом по учреждению. Вместе с тем подчеркнем, что научная работа в рамках Московского эксперимента ведется сотрудниками всех научных подразделений учреждения на принципах проектного управления. Научные «ответвления» по вопросам искусственного интеллекта теперь входят только в иные НИР. Отметим, что проспективное исследование автономного искусственного интеллекта в 2024 г. проведено в рамках специального Постановления Правительства Москвы12, а его результаты оформлены отдельным отчетом о научно-исследовательской работе.

Сквозной характер работ, связанных с Московским экспериментом, а также потребность эффективно и с соблюдением сроков решать не только плановые, но и срочные научные задачи в его рамках обусловили необходимость применения специальных управленческих приемов. Таковым стало проектное управление научной деятельностью, подробно представленное в следующем разделе

Научная проблематика ИИ в медицине чрезвычайно масштабна и многогранна; она действительно «не вмещается ни в одну конкретно-научную дисциплину»13. Поэтому важной особенностью Московского эксперимента, как неопровержимо лидирующего научного исследования, стал его целенаправленно сформированный междисциплинарный характер.

«Естественная междисциплинарность», по меткому определению Ю. М. Батурина (р. 1949), «может возникать и развиваться как динамическая система, способная к самоорганизации и стремящаяся к экономному решению проблемы, для понимания которой она возникла»14. Однако в НПКЦ ДиТ ДЗМ междисциплинарный характер научной работы в рамках Московского эксперимента формировался целенаправленно и последовательно, включая реструктуризацию и развитие кадрового состава, создание «экосистемы» научно-исследовательской работы, постоянное повышение требований к качеству и признанию научных результатов, наставничество, нормирование труда как фактор обеспечения преемственности его результатов, переход к проектному управлению.

В 2019—2020 гг. научная группа НПКЦ ДиТ ДЗМ, занимавшаяся соответствующей научно-исследовательской работой, примерно на 90,0% состояла из врачей-рентгенологов. В последующем ситуация изменилась, к 01.01.2025 г. удельный вес рентгенологов сократился до 35,0—40,0% за счет наращивания в коллективе числа специалистов с математическим, инженерным и иным немедицинским образованием. Совершенно особый научный вклад вносят специалисты медицинской кибернетики, био- и медицинской физики, биоинформатики – профессий, изначально находящихся на стыке областей знаний. Отметим, что в 2023—2024 гг. произошло структурное отделение врачей-рентгенологов, обеспечивающих процедуры Московского эксперимента (рутинно проводящих мониторинги, разметку данных), от их коллег, непосредственно участвующих в научно-исследовательской работе. Соответственно, в указанном выше показателе учтены лишь те врачи, которые участвуют именно в научных изысканиях.

Научным исследованиям НПКЦ ДиТ ДЗМ в рамках Московского эксперимента изначально был присущ интегративный тип междисциплинарного взаимодействия (по Э. М. Мирскому; 1935—2012), так как здесь образование новых знаний очевидно происходило за счет «интеграции заимствованных из разных дисциплин представлений и способов исследований»15.

В учреждении сложилась классическая галисоновская «зона обмена» – социальное и интеллектуальное пространство, в котором связываются воедино прежде разобщенные традиции экспериментирования, теоретизирования и изготовления научных инструментов16. Отметим, что ранее в области лучевой диагностики уже фиксировалось и описывалось формирование таких «зон обмена» при взаимодействии инженерного и медицинского персонала в процессе усовершенствования и клинико-экономического обоснования магнитно-резонансной томографии17.

Субкультуры теоретиков, экспериментаторов и создателей инструментария, выявленные П. Галисоном (P. Galison, р. 1955), объединены в НПКЦ ДиТ ДЗМ в одном научном коллективе, а в его составе – в ситуативные научные группы. Благодаря созданию общей «экосистемы» научной работы, а также применению определенных управленческих подходов все три субкультуры непрерывно взаимодействуют. Их галисоновские «периоды локальной непрерывности» при этом сдвинуты друг относительно друга совершенно минимально. Тем самым реализована максимальная преемственность, эффективное взаимное дополнение и усиление. Результаты деятельности каждой из субкультур не теряются и не «зависают», а моментально включаются в работу коллег, применяются, уточняются, переосмысливаются и развиваются.

По истечении 5 лет отмечается переход от междисциплинарного характера научных исследований НПКЦ ДиТ ДЗМ к трансдисциплинарному, то есть к формированию у врачей разных специальностей, кибернетиков, математиков, инженеров, физиков, социологов и руководителей (то есть представителей всех включенных во взаимодействие дисциплин) в условиях постоянных коммуникаций «общей системы аксиом»18. Под этой «системой» мы понимаем совокупность понятий и терминологии, концепций, подходов, методов, материалов в области научного изучения технологий искусственного интеллекта в медицине, лишенных характерных особенностей, присущих каждой из специальности. Таким образом, в научном коллективе НПКЦ ДиТ ДЗМ, занятом проблематикой Московского эксперимента, сформирована новая «научная реальность на основе теорий и методов, утративших свою дисциплинарную определенность»19. Этим обеспечивается высокая продуктивность научного коллектива НПКЦ ДиТ ДЗМ при проведении Московского эксперимента.

1.1. Краткая история, прогресс и результаты Московского эксперимента

Подготовка и начало работ (2019—2020 гг.). Московский эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы – научное клиническое исследование. В нем принимают участие юридические лица – резиденты Российской Федерации, разработавшие или имеющие права на предоставление сервисов на базе технологий компьютерного зрения для анализа медицинских изображений (в дальнейшем они именуются ИИ-сервисами). Использование термина «сервис» было целенаправленным, так как концептуально решения на основе ИИ должны были предоставлять конечному пользователю стандартизированные результаты своей работы, будучи при этом бесшовно интегрированными не только в профессиональные информационные системы в сфере здравоохранения, но и в производственные процессы лучевой диагностики.

Организационная, научная и методическая работа в эксперименте осуществляется Департаментом здравоохранения города Москвы и конкретным уполномоченным учреждением – Научно-практическим клиническим центром диагностики и телемедицинских технологий ДЗМ. Технологическая составляющая обеспечивается Департаментом информационных технологий города Москвы. Для поддержки и мотивации юридических лиц, представляющих ИИ-сервисы, Правительство города Москвы осуществляет выделение грантов.

Нормативно-правовое обеспечение Московского эксперимента представлено постановлениями Правительства Москвы и приказами Департамента здравоохранения города Москвы.

Положения о начале Московского эксперимента, основные требования к участникам-разработчикам ИИ, порядки предоставления и рассмотрения заявок на получение грантов, механизмы расчета объемов и условия соответствующих выплат приведены в Постановлении Правительства Москвы от 21 ноября 2019 г. №1543-ПП.

Во исполнение Постановления в IV квартале 2019 года коллективом научных подразделений (дирекции «Наука») НПКЦ ДиТ ДЗМ под патронатом Департамента здравоохранения города Москвы и при участии отдельных сотрудников Департамента информационных технологий города Москвы разработаны:

– проект приказа ДЗМ с детальным описанием всех аспектов эксперимента;

– основные производственные процессы;

– методологии обеспечивающих процедур.

Приказ Департамента здравоохранения города Москвы от 19.02.2020 №142 «Об утверждении Порядка и условий проведения эксперимента на использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» устанавливал конкретные цели и задачи эксперимента; регламентировал процессы (в том числе работу комиссии, рассматривающей организационно-финансовые вопросы) и применяемые методологии, устанавливал пороговые значения диагностической точности ИИ; распределял зоны ответственности, права и обязанности всех участвующих сторон; также определял формы заявки на участие в эксперименте и соответствующее типовое соглашение.

За период 2020—2024 гг. было издано несколько сменявших друг друга версий постановлений Правительства Москвы и приказов ДЗМ, последовательно отражающих преобразование и качественное развитие самого Московского эксперимента как уникальной научной платформы.

Организационное обеспечение. Организацию проведения и сопровождение Московского эксперимента осуществляет Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы.

В 2019—2020 гг. НПКЦ ДиТ ДЗМ выполнена комплексная организационно-методическая подготовка к проведению Московского эксперимента, которая включила в себя:

1. Разработку нормативно-правового обеспечения.

2. Участие в организации и проведении комплекса работ по технологической интеграции ИИ-сервисов в ЕРИС ЕМИАС (включая разработку детальной концепции и технического задания, выполнение обязанностей функционального заказчика).

3. Методическую разработку, организацию и проведение процедур отбора, оценки, включения, мониторинга ИИ-сервисов – участников Эксперимента, а также выплаты предусмотренных грантов.

4. Организацию информирования и вовлечения компаний-разработчиков ИИ-сервисов в эксперимент.

5. Организацию информирования, обучения и вовлечения врачей-рентгенологов.

6. Разработку специальных методологий и процедур (как для операционных, так и для научных задач эксперимента).

7. Обеспечение эффективной системы коммуникаций со всеми участниками Московского эксперимента; информирование профессиональной аудитории и широкой общественности о его ходе.

В 2019—2020 гг. силами сотрудников научных подразделений (дирекция «Наука») НПКЦ ДиТ ДЗМ организована бесперебойная работа по организации и проведению процедур привлечения, информирования, получения и обработки заявок, отбора и оценки, входного тестирования, включения, регулярного мониторинга, поддержки, научного анализа участников Московского эксперимента. Также организационно-технически была обеспечена работа комиссии Департамента здравоохранения города Москвы, ведение соответствующего документооборота, в том числе для выплаты предусмотренных грантов. Все перечисленные работы были сопряжены с выстраиванием и формальным структурированием целого ряда новых производственных процессов. Причем некоторые из них были новыми лишь для данного учреждения (например, деятельность по выдачи грантов), а другие – были принципиально новыми и не имели прямых аналогов (например, ежемесячный мониторинг технического и медицинского качества ИИ-сервисов).

Налажена эффективная система коммуникаций со всеми сторонами, вовлеченными в эксперимент, включая списки рассылок, выделенные телефонные номера, тематические чаты и группы в интернет-мессенджерах, а также разработан и запущен официальный веб-сайт Эксперимента www.mosmed.ai и электронный почтовый ящик.

Интенсивность коммуникаций наглядно иллюстрирует следующий факт. Ежедневно на официальный электронный адрес эксперимента поступало от 30 до 50 обращений. В результате анализа коммуникации с компаниями было выявлено 120 типовых вопросов, подготовлены и опубликованы на сайте www.mosmed.ai стандартные справочные ответы.

Для информирования профессиональной аудитории и широкой общественности о ходе Эксперимента осуществлялся план публикаций в средствах массовой информации и социальных медиа. Примечательно, что в 2020 г. суммарно было выпущено 2742 тематических материала новостного, научно-популярного и публицистического характера о Московском эксперименте, что составило 57,0% от общего объема публикаций в масс-медиа по проблематике ИИ и смежным темам. Ряд публикаций и сообщений были сделаны ТАСС и РИА Новости. Общий охват превысил 110 миллионов аудитории.

Для развития у врачей-рентгенологов Московского референс-центра лучевой диагностики, а также иных медицинских организаций ДЗМ компетенций по применению ИИ-сервисов разработано учебно-методическое обеспечение и реализована трехэтапная схема обучения. На первом этапе в формате вебинаров проведены 6 дистанционных лекций общей длительностью 10 академических часов. На втором этапе врачам предоставлен свободный доступ к 21 оригинальному видеоуроку, содержание которых в последствие неоднократно актуализировалось и дополнялось. Также для врачей была подготовлена короткая визуальная инструкция по использованию результатов работы ИИ-сервисов. На третьем этапе проведены 2 очные рабочие встречи при участии наиболее активных и заинтересованных врачей. На основании накопленных материалов научного, учебно-методического и практического характера в конце 2020 г. сформирована программа дополнительного профессионального образования, рассчитанная на 18 академических часов.

Особым направлением работы было широкое информирование и вовлечение компаний-разработчиков: в ходе информационной кампании обеспечен охват потенциального рынка в 100,0% в РФ и 65,0% на международном уровне20.

Для мониторинга общего процесса и основных метрик Московского эксперимента разработан отдельный дашборд (онлайн-табло)21.

Технологическое обеспечение. Технологической средой для проведения Московского эксперимента, как было сказано выше, стал ЕРИС (централизованный архив медицинских изображений) ЕМИАС (государственная информационная система в сфере здравоохранения субъекта РФ).

Сервисы на основе искусственного интеллекта, включенные в эксперимент, проходили процедуру интеграции с ЕРИС ЕМИАС для обеспечения бесшовных производственных процессов отделений лучевой диагностики. Методически для этого процесса были разработаны стандартизированные минимальные технические условия – базовые функциональные требования для ИИ-сервисов (подробнее о них будет сказано далее).

Для проведения интеграции в составе ЕРИС была специально разработана подсистема «Продукт управления моделями (ПУМ)» – «точка входа» для ИИ-сервисов. В ЕМИАС применялась подсистема «Единая система уведомлений для внешних взаимодействий (ЕСУВВ)», построенная на продукте Apache Kafka (распределенный программный брокер сообщений).

В составе ЕРИС была сформирована тестовая среда – так называемый тестовый программно-аппаратный комплекс (ТПАК). Это «точка» первоначального подключения ИИ-сервисов для выполнения инженерно-технических работ, настройки, функционального и калибровочного тестирования. Фактически в тестовом контуре ИИ-сервис «адаптируется» к работе в государственной информационной системе в сфере здравоохранения субъекта РФ, причем в условиях бесшовной интеграции.

Для непосредственной работы с потоком результатов лучевых исследований в составе ЕРИС сформирован так называемый продуктивный программно-аппаратный комплекс (ППАК). Из ТПАК в ППАК ИИ-сервис «переключается» по факту успешного завершения тестовых процедур.

Интеграция и работа ИИ-сервисов в ЕРИС ЕМИАС осуществляется в строгом соответствии с действующим законодательством в сфере государственных информационных систем, информационной безопасности, защиты персональных данных.

Организацию и проведение комплекса работ по интеграции ИИ-сервисов, технической поддержке и сопровождению разработчиков, обеспечению информационной безопасности на высоком профессиональном уровне выполняет коллектив Департамента информационных технологий города Москвы.

Научно-методологическое обеспечение. Систематизация общемирового и собственного практического опыта продемонстрировала необходимость научной разработки ряда оригинальных, специфических методологий и процедур, предназначенных для обеспечения контроля и мониторинга безопасности и качества ИИ-сервисов на этапах жизненного цикла. Чрезвычайно важно отметить, что по состоянию на 2019—2020 гг. большинства требуемых методик не существовало, а значит их следовало изобрести, создать «с нуля». Лишь по отдельным аспектам (например, разметке данных) имелось некое количество разрозненных, неунифицированных способов и приемов, как минимум требовавших вдумчивой научной систематизации и приведения к единообразию.

Исходя из сказанного, в рамках Московского эксперимента сотрудниками научных, медицинских и иных подразделений НПКЦ ДиТ ДЗМ были разработаны:

1. Принципы клинического целеполагания при разработке ИИ-сервисов.

2. Стандартизированные базовые функциональные и диагностические требования к ИИ-сервисам.

3. Методология создания наборов данных (в том числе схема жизненного цикла; унифицированные требования к структуре наборов; классификации самих наборов, а также способов разметки данных; стандарты описания датасета, технического задания; формализованные производственные процессы).

4. Методологии и процедуры тестирования ИИ-сервисов на этапах интеграции в тестовом контуре ЕРИС ЕМИАС для определения качества, точности и возможности работы в условиях реальной информационной системы в сфере здравоохранения:

– функционального (проверка технологического качества интеграции ИИ-сервиса);

– калибровочного (проверка диагностической точности ИИ-сервиса на эталонных наборах данных, сравнение результатов с метриками точности, заявленными разработчиком);

– контрольно-технического (проверка корректности маршрутизации и обмена данными между каждым диагностическим устройством и ИИ-сервисом).

5. Методологии и процедуры мониторинга ИИ-сервисов в процессе их работы в условиях реального потока результатов лучевых исследований в промышленном контуре ЕРИС ЕМИАС:

– технологического (проспективный контроль с оценкой в динамике сроков обработки данных, технической надежности путем проверки результатов работы ИИ-сервиса на наличие категоризированных технологических дефектов);

– клинического (проспективная проверка диагностической точности ИИ-сервисов с оценкой в динамике).

6. Методология оценки зрелости технологий ИИ для здравоохранения (интегральная оценка технологического и медицинского качества ИИ-сервисов в динамике).

7. Рекомендации по проведению испытаний ИИ-сервисов на этапах жизненного цикла с описанием конкретных методологий, инструментов и процедур:

– самостоятельного тестирования разработчиком;

– предварительных клинико-технических испытаний;

– клинических испытаний.

Ряд методик, процедур и процессов были разработаны в 2019 – начале 2020 гг., непосредственно к старту Московского эксперимента. Иные были созданы позже, исходя из полученных новых знаний о работе технологий искусственного интеллекта в практическом здравоохранении, а также на фоне развития требований к ИИ-сервисам. Детальнее об этом будет сказано далее; также в последующих главах будут представлены сами методологии.

В рамках Московского эксперимента сотрудниками НПКЦ ДиТ ДЗМ научно разработана и внедрена система обеспечения качества технологий искусственного интеллекта на этапах жизненного цикла.

Процесс Московского эксперимента. Общий ход эксперимента в 2020 г. представлен на рисунке 1.1. В последующие годы логическая структура и последовательность процедур в целом не изменились; развивались и дополнялись методологии контроля и мониторинга, эволюционировали подходы маршрутизации, общему менеджменту, решались новые актуальные научные задачи.

Рисунок 1.1 – Общий ход Московского эксперимента в 2020 г.

Нормативное обеспечение и методика Московского эксперимента предусматривали наличие строго установленных клинических задач, которые должны были решать ИИ-сервисы в рамках процесса анализа, интерпретации и описания результатов лучевых исследований врачом-рентгенологом. Изначально описание клинических задач включало: модальность (вид исследования), анатомическую область, целевую патологию (рентгенологический признак, синдром или нозологию в соответствии с МКБ-10). Позднее к этому перечню добавились стандартизированные базовые диагностические требования к результатам работы ИИ-сервисов при решении данной задачи. В рамках Московского эксперимента клинические задачи для ИИ именуются «направлениями Эксперимента».

Первоначально в 2019 г. были определены 3 направления Московского эксперимента:

1. Компьютерная томография и низкодозная компьютерная томография (КТ/НДКТ) органов грудной клетки с целью выявления рака легких.

2. Маммография (ММГ) с целью выявления рака молочных желез.

3. Рентгенография (РГ) /флюорография (ФЛГ) легких с целью определения наиболее распространенных патологий.

Несмотря на наличие на потенциальном рынке определенного количества решений на основе ИИ по данным направлениям, их разработчики не спешили принимать участие в Эксперименте. Во многом это объясняется субъективными причинами – страхом и опасениями, связанными с публичным представлением своего продукта и независимым контролем его качества; иногда встречалось и необоснованное оспаривание стандартизированных требований к результатам работы ИИ-сервисов. Среди объективных причин со стороны разработчиков часто фигурировала техническая неготовность к интеграции с реальной информационной системой в сфере здравоохранения, к работе с данными в форматах и стандартах, принятыми в лучевой диагностике. Надо особо отметить, что по итогам 2020 г. только 46,0% из общего числа начавших интеграцию ИИ-сервисов смогли успешно ее завершить. Это прямое свидетельство низкого уровня готовности компаний-разработчиков технологий ИИ к работе с реальными информационными системами в сфере здравоохранения. К счастью, в последующие годы эта ситуация принципиальным образом изменилась в лучшую сторону; случаи критичных проблем технической интеграции в ЕРИС ЕМИАС стали единичными.

11 марта 2020 года Всемирная организация здравоохранения объявила вспышку нового типа коронавируса 2019-nCoV (COVID-19) пандемией. Последовавшие за этим события нанесли колоссальный вред в социально-экономическом, медицинском, а также демографическом аспектах. Наглядным доказательством сказанного служит следующий факт: на протяжении десятилетий стандартной «триадой» основных причин смертности населения всегда были злокачественные новообразования, болезни системы кровообращения и травмы. В период пандемии травмы были вытеснены COVID-19, уверенно занявшим третье место в структуре смертности от всех причин22.

Оценка итогов пандемии с позиций диалектики указывает на наличие и положительных сторон. Одной из таковых, несомненно, является принципиальное изменение отношения к цифровым технологиям в здравоохранении, особенно к телемедицине. В Московском эксперименте пандемия стала своеобразным триггером:

– в число направлений были включены КТ/НДКТ и рентгенография органов грудной клетки с целью выявления признаков коронавирусной инфекции (COVID-19)23;

– сотрудниками НПКЦ ДиТ ДЗМ был подготовлен и выложен в открытый доступ набор данных КТ органов грудной клетки, в котором были представлены результаты поражения легких COVID-19 с классификацией тяжести поражения по шкале «КТ0—4»;

– сразу несколько компаний в очень короткие сроки подготовили ИИ-сервисы для указанного выше направления;

– необходимость сортировки и маршрутизации пациентов в условиях массового поступления буквально вынудила взглянуть на технологии ИИ и Московский эксперимент не только как на отвлеченное научное изыскание, но и на прикладной инструмент, востребованный «прямо сейчас».

В результате в июне 2020 г. процесс входа новых продуктов в Московский эксперимент кардинальным образом интенсифицировался. Один за другим ИИ-сервисы интегрировались в тестовый контур, проходили входное тестирование и начинали работу с потоком исследований в промышленном контуре ЕРИС ЕМИАС. Соответственно, стартовали и выплаты Правительством Москвы грантов за обработанные исследования.

Пример первых успешных участников оказался мощным стимулом для многих разработчиков: в Эксперимент начали входить ИИ-сервисы и по другим направлениям.

Организационное обеспечение. С учетом высокого уровня ответственности, сложности и комплексности перечисленных процессов с IV кв. 2020 г. начался переход на новую форму их организации на принципах проектного управления. В структуре НПКЦ ДиТ ДЗМ создан проектный офис как структура, непосредственно ответственная за проведение Московского эксперимента. Улучшено структурирование задач и соответствующих им процессов; в частности, более четко обозначены административные, научно-исследовательские, технические, образовательные, вспомогательные процессы. Из состава сотрудников всех подразделений учреждения сформированы соответствующие рабочие группы. Задачи и зоны ответственности установлены локальными нормативными актами.

Итоги первого года Московского эксперимента были противоречивы. С одной стороны, реализованы процессы масштабного научного исследования, впервые в масштабе мегаполиса технологии компьютерного зрения внедрены в практическое здравоохранения. С другой стороны – качество и ценность для врача первых ИИ-сервисов были откровенно низкими. Именно поэтому итогам этого первого периода, опубликованным в виде монографии24, предшествовал эпиграф в виде высказывания К. Э. Циолковского: «Чем грандиознее идея и ее польза, тем слабее бывает первое исполнение. Причина понятна. Это – трудность ее реализации»25.

На пути истинной науки крайне редко встречается быстрая победа. Результат дают вера, упорство и скрупулезный, системный труд. Подтверждением этого тезиса служат положительная динамика, успешность и общественное признание научных достижений Московского эксперимента в последующие годы.

Динамика эксперимента (2020—2024 гг.). В 2020 г. в Московском эксперименте приняли участие 39 ИИ-сервисов от 21 компании-разработчика; 18 продуктов успешно интегрировались в ППАК ЕРИС ЕМИАС и работали в условиях реального потока результатов лучевых исследований.

На анализ направлялись результаты исследований по четырем модальностям, проведенные в медицинских организациях Департамента здравоохранения Москвы, оказывающих медицинскую помощь взрослому населению.

Для ИИ-сервисов были определены 4 направления (клинических задачи), в том числе внепланово установленное, имеющее целью выявление признаков и определение объема поражения легких при COVID-19.

Всего ИИ-сервисами проанализированы результаты 1 468 872 лучевых исследований, в том числе результаты КТ и НДКТ – 56,0% (818 296), ММГ – 4,0% (61 497), РГ – 18,0% (270 965), ФЛГ – 22,0% (318 114).

Впервые разработаны и введены базовые функциональные и диагностические требования.

Маршрутизация результатов исследований на ИИ-сервисы осуществлялась двумя способами: первоначально – весь поток исследований данного направления на каждый из ИИ-сервисов по данному направлению; позднее введена «шахматная маршрутизация» с формированием отдельных потоков для каждого ИИ-сервиса данного направления и периодическим «переключением» потоков между собой (благодаря этому каждый ИИ-сервис мог поработать с результатами исследований от всех диагностических устройств).

В 2021 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 23 ИИ-сервиса от 21 компании-разработчика.

Количество направлений эксперимента (клинических задач для ИИ-сервисов) возросло до 9.

Всего ИИ-сервисами проанализированы результаты 2 917 095 лучевых исследований, в том числе результаты КТ и НДКТ – 31,0% (902 002), ММГ – 9,0% (257 065), РГ – 24,0% (713 882), ФЛГ – 36,0% (1 044 146).

Произошло развитие принципов маршрутизации результатов исследований на ИИ-сервисы:

1. Процесс работы ИИ-сервиса в ППАК разделен на два этапа – апробации и опытной эксплуатации. Апробация – ограниченная по времени поочередная работа ИИ-сервиса со всеми медицинскими организациями (диагностическими устройствами по данному направлению) ДЗМ. Опытная эксплуатация – неограниченная по времени работа с медицинскими организациями, которые самостоятельно (по результатам ежеквартального опроса) выбрали данный ИИ-сервис.

2. Появление так называемого «маркетплейса» – каталога ИИ-сервисов и функции отправки результатов лучевого исследования на дополнительный автоматизированный анализ. «Маркетплейс» доступен на рабочем месте каждого врача-рентгенолога и может быть использован, исходя из предпочтений и по усмотрению специалиста, проводящего описание результатов данного исследования.

Наиболее важными достижениями 2021 г. стали:

– выполнение научных исследований по определению объема выборки для ежемесячного технического мониторинга качества работы ИИ-сервисов;

– создание открытой библиотеки наборов данных (https://mosmed.ai/datasets/);

– организация и проведение постоянных семинаров между разработчиками и врачами-рентгенологами;

– привлечение компаний-разработчиков к процессу формирования тарифов на анализ исследований, что повысило прозрачность процессов Московского эксперимента и объективность предоставляемых грантов;

– включение НПКЦ ДиТ ДЗМ в единый реестр уполномоченных организаций, имеющих право проводить исследования (испытания) медицинских изделий, благодаря чему в стенах Центра также в 2021 г. начались официальные технические и клинические испытания программного обеспечения на основе технологий искусственного интеллекта (https://telemedai.ru/uslugi/ispytaniya-medicinskih-programmnyh-produktov).

В 2022 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 43 ИИ-сервиса от 20 компаний-разработчиков.

Количество направлений эксперимента вновь возросло до 16, в том числе появились задачи для автоматизированного анализа результатов магнитно-резонансной томографии. Параллельно начался процесс создания «комплексных ИИ-сервисов» путем объединения отдельных задач для данного вида исследований. Прежде всего, были объединены в комплексный ИИ-сервис отдельные задачи для анализа результатов исследований органов грудной клетки.

Всего ИИ-сервисами проанализированы результаты 4 104 505 лучевых исследований, в том числе результаты КТ и НДКТ – 24,4% (1 001 051), ММГ – 12,2% (501 051), МРТ – 0,1% (4164), РГ – 29,0% (1 188 908), ФЛГ – 34,3% (1 409 331).

Наиболее важные достижения 2022 г.:

– научная разработка методологии и внедрение ежемесячного клинического мониторинга (теперь регулярно оценивалась не только техническая надежность, но и диагностическая точность, медицинское качество ИИ-сервисов);

– масштабирование Московского эксперимента в виде подключения медицинских организаций Ямало-Ненецкого автономного округа;

– развитие базовых диагностических требований по маммографии в виде перехода на шкалу BI-RADS из пяти степеней.

В 2023 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 57 ИИ-сервисов от 24 компаний-разработчиков.

Количество направлений эксперимента продолжило увеличиваться и составило 29.

Всего ИИ-сервисами проанализированы результаты 3 246 277 лучевых исследований, в том числе результаты КТ и НДКТ – 24,0% (778 937), ММГ – 10,0% (316 236), МРТ – 1,0% (37 015), РГ – 37,0% (1 189 980), ФЛГ – 28,0% (924 109).

Наиболее важные достижения 2023 г.:

– научная разработка и внедрение методологии интегральной оценки качества ИИ-сервисов – матрицы зрелости;

– полноценное внедрение научных результатов Московского эксперимента в практическое здравоохранение – введение в системе здравоохранения г. Москвы медицинской услуги, оказываемой с применением медицинских изделий на основе технологий искусственного интеллекта и финансируемой за счет средств обязательного медицинского страхования;

– научная разработка и первичная проверка гипотезы о возможности автономной сортировки результатов лучевых исследований ИИ-сервисами, настроенными на максимальную чувствительность;

– совместные проекты с врачами клинических специальностей.

В 2024 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 59 ИИ-сервисов от 26 компаний-разработчиков.

Количество направлений эксперимента уменьшилось до 12 за счет объединения отдельных задач в комплексные (соответствующее развитие комплексных ИИ-сервисов для анализа результатов КТ органов грудной клетки, головного мозга).

Всего ИИ-сервисами проанализированы результаты 2 603 669 лучевых исследований, в том числе результаты КТ и НДКТ – 34,0% (890 145), ММГ – 8,0% (213 528), МРТ – 5,0% (120 713), РГ – 49,0% (1 264 614), ФЛГ – 4,0% (114 669).

Наиболее важные достижения 2024 г.:

– масштабирование возможностей Московского эксперимента на общегосударственном уровне; создание и запуск платформы «МосМедИИ» для обеспечения работы всех медицинских организаций Российской Федерации с лучшими и постоянно контролируемыми ИИ-сервисами;

– организация и проведение проспективного научного исследования медицинской и экономической эффективности автономного искусственного интеллекта;

– научное развитие методологий матрицы зрелости, формирования выборок для регулярных контрольных мероприятий, клинического мониторинга;

– закрытие входа в Эксперимент для моносервисов по направлениям, где на опытной эксплуатации есть три и более комплексных ИИ-сервиса.

Рисунок 1.2 – Динамика участников и направлений Московского эксперимента (учтены только ИИ-сервисы, успешно прошедшие входное тестирование и интегрированные в промышленный контур ЕРИС ЕМИАС)

Всего за период 2020—2024 гг. в Московском эксперименте приняли участие 39 компаний, представившие 204 ИИ-сервиса. Подавляющее большинство продуктов (77,5%) были созданы разработчиками из Российской Федерации. Зарубежные ИИ-сервисы, в соответствии с нормативно-правовым обеспечением Московского эксперимента, участвовали через своих официальных представителей в РФ; за 5 лет 10 компаний из Австрии, Республики Беларусь, Израиля, Индии, Китая, Франции, Южной Кореи представили для участия в Московском эксперименте 46 ИИ-сервисов по разным направлениям.

За период 2020—2024 гг. из 204 ИИ-сервисов 57,0% (116) работали в промышленном контуре ЕРИС ЕМИАС, то есть осуществляли анализ потока результатов лучевых исследований в условиях практического здравоохранения.

По состоянию на 01.01.2025 г. статистика ИИ-сервисов выглядит следующим образом:

– работают в промышленном контуре ЕРИС ЕМИАС – 52 (26,0%);

– проходят входное тестирование в тестовом контуре ЕРИС ЕМИАС – 43 (21,0%);

– приостановлено участие – 5 (2,0%);

– полностью прекратили участие – 72 (35,0%);

– прекратили участие как отдельный продукт (включены в состав комплексных ИИ-сервисов) – 32 (16,0%).

За период 2020—2024 гг. ИИ-сервисами в рамках Московского эксперимента обработаны результаты 14 228 378 лучевых исследований (рисунок 1.3). По состоянию на 01.01.2025 г. эта самая крупная в мире выборка клинических случаев с результатами работы технологий искусственного интеллекта. В структуре модальностей лучевых исследований преобладали рентгенография – 32,0%, компьютерная томография – 31,0% и флюорография – 27,0%.

Рисунок 1.3 – Структура модальностей лучевых исследований, прошедших анализ ИИ-сервисами в рамках Московского эксперимента в 2020—2024 гг. (n=14 228 378)

По состоянию на 01.01.2025 в РФ допущены к обращению 39 медицинских изделий на основе технологий ИИ, среди них 18 ИИ-сервисов – участников Московского эксперимента. Подчеркнем, что среди всех медицинских изделий этой категории, предназначенных для лучевой диагностики (n=22), удельный вес участников Московского эксперимента составляет 82,0%.

В 2020 г. рынок медицинских изделий и услуг, связанных с применением технологий искусственного интеллекта в здравоохранении, в России отсутствовал. Спустя 5 лет в Программе государственных гарантий бесплатного оказания гражданам медицинской помощи на 2025 год и на плановый период 2026 и 2027 годов (утверждена Постановлением Правительства РФ от 27.12.2024 № 1940) «средние нормативы финансовых затрат на единицу объема медицинской помощи за счет средств обязательного медицинского страхования установлены с учетом в том числе расходов, связанных с использованием систем поддержки принятия врачебных решений (медицинских изделий с применением искусственного интеллекта, зарегистрированных в установленном порядке) (при проведении маммографии, рентгенографии или флюорографии грудной клетки, компьютерной томографии органов грудной клетки)». Таким образом, можно констатировать успешное выполнение одной из целей Московского эксперимента, состоящей в создании нового рынка в области искусственного интеллекта.

14 февраля 2024 г. Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ посетил Президент Российской Федерации Владимир Владимирович Путин, где ознакомился с работой референс-центра лучевой диагностики и опытом применения технологий искусственного интеллекта26. Результаты Московского эксперимента получили признание на общегосударственном уровне и были масштабированы на всю систему здравоохранения Российской Федерации.

Визит Президента Российской Федерации В. В. Путина и Мэра Москвы С. С. Собянина в Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы (14 февраля 2024 г.).

2.1. Внедрение систем искусственного интеллекта: принципы, этапы, стандартизация требований к результатам работы

Национальная стратегия развития искусственного интеллекта на период до 2030 года27 предусматривает следующее определение: искусственный интеллект – комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе то, в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений.

В здравоохранении «искусственный интеллект» целесообразно рассматривать как очередное поколение инструментов автоматизации трудовых операций и производственных процессов. Только такой материалистический взгляд позволяет трезво и рационально подойти к внедрению и применению соответствующих технологий. В действительности, автоматизация в отдельных медицинских отраслях чрезвычайно высока и давно стала рутиной. Машинный анализ данных с оценкой физиологических и морфологических показателей, определением патологических проявлений уже на протяжении десятилетий является составной частью многих медицинских приборов. Самый «древний» пример – это электрокардиография, более «современный» – лабораторная диагностика.

Безусловно, актуальные технологии («компьютерное зрение, обработка естественного языка, распознавание и синтез речи, интеллектуальная поддержка принятия решений и перспективные методы искусственного интеллекта»28) открывают принципиально новые возможности, по сравнению с уже реализованными решениями. Однако принципы их изучения и внедрения в практическое здравоохранение остаются прежними: системный научный подход, Noli Nocere, методология доказательной медицины.

Искусственный интеллект – это инструменты автоматизации трудовых операций и производственных процессов в здравоохранении, применение которых осуществляется в определенном клиническом контексте, на принципах материализма, доказательности, эффективности, осознанности, объяснимости, прозрачности.

Клинический контекст – единый дискретный комплекс информации о цели, задачах, конкретных процессах и операциях, нозологиях, видах биомедицинских и иных данных, функциях медицинского персонала и технических устройств, связанных с организацией и оказанием медицинской помощи.

Принцип материализма – отказ от гуманизации технологий искусственного интеллекта в здравоохранении, отказ от стереотипов и предубеждений, связанных с отождествлением разума человека и математического аппарата электронно-вычислительной машины.

Принцип доказательности – разработка, апробация, внедрение и применение технологий искусственного интеллекта осуществляются только на научной основе, с использованием подходов и методик доказательной медицины. Носит сквозной характер, так как все элементы и этапы проектирования, разработки, применения, оценки эффектов и проч. технологий ИИ в здравоохранении базируются исключительно на научном подходе – хайпу нет места в медицине.

Принцип эффективности – применение технологий искусственного интеллекта для достижения конкретной измеримой цели; научное обоснование результативности такого применения.

Принцип осознанности – адаптация применения технологий искусственного интеллекта к конкретному клиническому контексту, понимание возможностей и ограничений таких технологий, научное формирование показаний и противопоказаний к их применению.

Принцип объяснимости – функциональная возможность программного обеспечения на основе ИИ объяснить человеку свое решение, процесс его достижения и степень уверенности в нем.

Принцип прозрачности – недискриминационный доступ пользователей продуктов, которые созданы с использованием технологий искусственного интеллекта, к информации о применяемых в этих продуктах алгоритмах работы искусственного интеллекта.

Отдельно выводить принцип безопасности и качества не имеет смысла, так как любое медицинское изделие или применяемое в медицине средство должно ему соответствовать. Каких-либо особенностей и исключения для ИИ здесь нет. В этом контексте попытки этически ограничить «автономность» технологий искусственного интеллекта выглядят довольно натянуто, так как, например, при объективном рассмотрении довольно трудно проследить грани автономности и неавтономности при проведении клинико-лабораторных исследований в современной автоматизированной лаборатории.

Клинический контекст представляет собой комплекс специфической базовой информации, необходимой для эффективного применения искусственного интеллекта в практическом здравоохранении на основе перечисленных принципов.

Другим критичным аспектом является адекватное, обоснованное целеполагание в соответствии с принципами осознанности и эффективности.

В период подготовки Московского эксперимента в 2019 г. были осуществлены действия для целеполагания.

На первом этапе изучены запросы системы здравоохранения Российской Федерации с позиций того, что перспективное становление технологий искусственного интеллекта должно быть согласовано с общим направлением развития отечественной системы охраны здоровья, целями и задачами национальных проектов в данной области. При этом учтены также эпидемиологический и социальные аспекты в плане борьбы с социально значимыми заболеваниями, состояния и проблематики массовых профилактических осмотров, основных проблем служб лучевой диагностики и т. д. Также с социологической точки зрения изучены ожидания врачебного сообщества от внедрения технологий ИИ. Определены наиболее перспективные направления для масштабного внедрения искусственного интеллекта:

– анализ результатов массовых профилактических осмотров лучевыми методами;

– выявление признаков онкологических заболеваний, особенно – на ранних стадиях;

– поддержка врачебных решений по оптимальной, предписанной маршрутизации пациентов;

– оппортунистический поиск предикторов или проявлений особо значимых патологий;

– влияние на производительность труда врача-рентгенолога путем автоматизированного формирования проектов описаний с использованием стандартизированных систем протоколирования и классификаций.

Установлено требование по точности и сбалансированности технологий искусственного интеллекта; категорической недопустимости создания дополнительной необоснованной нагрузки на систему здравоохранения (за счет избыточной генерации ложноположительных или клинически нецелесообразных результатов).

Подробно эти материалы изложены в монографии о результатах первого года Эксперимента29.

На втором этапе стандартизирован, описан и проанализирован основной производственный процесс службы лучевой диагностики, включающий взаимодействие лечащего врача, пациента, рентгенолаборанта, врачей-рентгенологов, экспертов посредством общей информационной системы. Выявлены ключевые проблемы и риски процесса; соответственно установлены конкретные трудовые операции в его составе, автоматизация которых потенциально позволит снизить риски дефектов и ошибок, повысить производительность труда, увеличить скорость постановки диагноза и начала специального лечения30.

Детально проработан актуальный на момент начала Московского эксперимента (2019—2020 гг.) клинический контекст, в котором осуществляется основной производственный процесс.

На третьем этапе введено понятие «направление», по сути, представляющее собой конкретную клинико-диагностическую задачу – выявление на результатах определенного вида лучевого исследования рентгенологических признаков, ассоциируемых с конкретным синдромом или заболеванием, с учетом клинического контекста. Среди критичных факторов клинического контекста, прежде всего, выделяли вид, форму и условия оказания медицинской помощи, а также характер исследования – профилактическое или диагностическое. Очевидно, что таких задач может быть множество, поэтому была осуществлена приоритизация по следующему алгоритму:

1. Анализ частоты выполнения исследований в сети медицинских организаций государственной системы здравоохранения г. Москвы за год.

2. Определение наиболее часто выполняемых видов исследований (как модальностей, так и конкретных медицинских услуг).

3. Определение наиболее часто выявляемых патологий на результатах этих исследований.

4. Исключение патологий с нетипичной (неспецифичной) рентгенологической картиной и/или не имеющих четких клинических рекомендаций по дальнейшей маршрутизации пациента.

5. Формирование клинико-диагностической задачи – конкретного направления Московского эксперимента.

По этому принципу первыми направлениями стали выполняемые в амбулаторных условиях диагностическая компьютерная томография органов грудной клетки для выявления признаков пневмонии (в том числе вирусной), злокачественных новообразований; профилактическая рентгенография (флюорография) органов грудной клетки для выявления туберкулеза, воспалительной и онкологической патологии и т. д. Именно массовость и социально значимый характер этих и ряда иных исследований обусловили их лидерство среди направления Московского эксперимента, тем самым технологиям ИИ были «гарантированы» не только медицинская результативность, но и масштабность применения (таким образом заложены еще и основы нового сегмента рынка).

Из клинического контекста проистекают стандартизированные требования к способам применения конкретной технологии искусственного интеллекта, видам и формам представления результатов ее работы, измеримым метрикам качества.

Поэтому на четвертом этапе концептуально определено, что программное обеспечение на основе технологий ИИ при обработке результатов лучевых исследований должно осуществлять 3 основные функции:

1. Приоритизировать в рабочем списке врача-рентгенолога результаты исследований, содержащих признаки патологии.

2. Маркировать патологические находки на диагностическом изображении, предоставленном в виде дополнительной серии (не изменяя и не влияя при этом на исходное изображение).

3. Предоставлять проект текстового описания результатов исследования и обнаруженных патологических проявлений.

Для развития этих концептуальных положений на пятом этапе разработаны базовые диагностические требования (БДТ) – стандартизированные требования к результатам работы ИИ при решении данной клинико-диагностической задачи (то есть при работе по конкретному направлению Московского эксперимента). Требования включают:

1) вид лучевого исследования (модальность, анатомическая область, проекция и т.д.);

2) клиническую задачу для ИИ (целевой синдром или заболевание);

3) рентгенологические признаки целевого патологического состояния, для которых ожидается положительный и/или отрицательный ответ ИИ;

4) содержание ответа ИИ – форма (терминология, классификации, системы репортировния, единицы измерений и т.д.) и структура (обязательные и опциональные компоненты);

5) формат ответа (каждому элементу содержания ответа соответствует определенный формат: число, контур/маска, текст и т.д.);

6) техническая форма ответа (Apache Kafka Message, DICOM, DICOM SR и т.д.).

Подчеркнем, что БДТ прямо проистекают из клинического контекста: ИИ должен предоставить врачу-рентгенологу тот результат, которые необходим именно в конкретной ситуации. Например, при интерпретации профилактического рентгеновского исследования молочных желез (маммографии) результат работы ИИ должен представлять собой не абстрактную тепловую карту или дифференциальную диагностику выявленных образований, а классификацию по стандартизированной системе BI-RADS.

В основе БДТ лежат клинические рекомендации Министерства здравоохранения Российской Федерации, а также иные научные и методические материалы с высоким уровнем достоверности и убедительности. Ссылки на использованные при подготовке документы и публикации обязательно размещаются в БДТ по каждому направлению Московского эксперимента.

Разработка и периодическая актуализация базовых диагностических требований ведется группой врачей-экспертов с последующим их утверждением научно-проблемной комиссией НПКЦ ДиТ ДЗМ. БДТ публикуются на сайте Московского эксперимента (https://mosmed.ai/ai/docs/) и периодически издаются в формате методических рекомендаций, утвержденных Департаментом здравоохранения Москвы31.

Для медицинского работника – непосредственного пользователя технологий искусственного интеллекта – именно благодаря базовым диагностическим требованиям реализуется принцип объяснимости ИИ.

Также на данном этапе установлены единые требования к скорости машинной обработки данных. Определено и включено в правила Московского эксперимента максимальное время, которое ИИ-сервис может затратить на прием, анализ и обратную передачу результатов. Методически требовалось, чтобы результат работы ИИ-сервиса оказывался в ЕРИС ЕМИАС до того, как врач начнет работу с данным исследованием. Очевидно, что выполнение требований к скорости описаний зависит не только от характеристик и возможностей серверного обеспечения ИИ-сервиса, но и от каналов связи. Однако предоставление результатов от СИИ во время или, тем более, после описания исходного изображения снижает шансы их использования врачом-рентгенологом до нуля. Поэтому требования были установлены достаточно жесткие, впрочем, как показала дальнейшая практика, они оказались полностью выполнимыми. Более того, длительность обработки стала одним из параметров технологического мониторинга (см. параграф 2.6). Стандартизация длительности обработки данных СИИ предотвратила как изменения временных норм по оказанию медицинских услуг, так и негативное влияние на упорядоченные рабочие процессы врача-рентгенолога.

Шестой этап был связан с решением технических задач. При изучении запросов системы здравоохранения Российской Федерации было установлено, что в соответствии с действующим законодательством программное обеспечение на основе технологий ИИ должно быть интегрировано с информационными системами в сфере здравоохранения субъектов РФ и/или медицинскими информационными системами32. Поэтому в рамках Московского эксперимента была изначально предусмотрена бесшовная интеграция искусственного интеллекта. Это означает, что соответствующее программное обеспечение должно быть интегрировано с государственной информационной системой в сфере здравоохранения субъекта РФ, вести обмен данными с централизованным архивом медицинских изображений, получать и направлять данные в электронную карту пациента. Медицинский работник при этом должен работать с одним, привычным интерфейсом медицинской информационной системы. Для реализации сказанного проводится интеграция программного обеспечения на основе технологий искусственного интеллекта с Единым радиологическим информационным сервисом автоматизированной информационной системы города Москвы «Единая медицинская информационно-аналитическая система города Москвы» (ЕРИС ЕМИАС). Соответствующие технические положения и стандарты обобщены в базовых функциональных требованиях (БФТ). Они содержат унифицированную терминологию, технические требования к передаваемым данным (прежде всего – к ответу с результатами работы ИИ), к документированию, форматам и содержанию сообщений, маркировки изображений, описания тегов, положения по стандартизации и управлению рисками. БФТ также доступны на официальном сайте Московского эксперимента (https://mosmed.ai/ai/docs/).

Отдельным важнейшим аспектом технической и методической подготовки, тесно связанным с предыдущими этапами, стала стандартизация настроек диагностических устройств. В тесном взаимодействии с производителями оборудования унифицированы номенклатура, протоколы, заполнение DICOM-тегов. Тем самым обеспечен единый стандарт лучевых исследований в сети медицинских организаций ДЗМ.

Первые версии БФТ и БДТ опубликованы в монографии с обобщением результатов первого года Московского эксперимента33.

Таким образом, основным методологическим подходом при внедрении ИИ в практическое здравоохранение служит триада стандартизированных документов:

1. Перечень обоснованных клинико-диагностических задач (направлений), решаемых в рамках стандартизированного производственного процесса в актуальном клиническом контексте.

2. Базовые диагностические требования.

3. Базовые функциональные требования.

Надо подчеркнуть, что решение каждой клинико-диагностической задачи представляет собой автоматизацию определенной трудовой операции в рамках стандартизированного производственного процесса, а также дает измеримый результат, пригодный для интегральной оценки результативности и эффективности внедрения технологий искусственного интеллекта.

Процесс практического использования ИИ должен сопровождаться тестированием и мониторингом безопасности и качества; подробно эти вопросы изложены далее, в параграфе 2.4.

2.2. Методология создания наборов данных

2.2.1. Определения и общие положения

Набор данных – состав данных, которые структурированы или сгруппированы по определенным признакам, соответствуют требованиям законодательства Российской Федерации и необходимы для разработки программ для электронных вычислительных машин на основе искусственного интеллекта34.

Разметка данных – этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием методов машинного обучения35.

Наборы данных (НД)36 – основа функционирования искусственного интеллекта. Они необходимы при создании моделей (обучение, тестирование, дообучение), на этапе использования (клинические испытания, внешняя валидация, первичные и повторные тестирования), а также в научных исследованиях. В Национальной стратегии развития искусственного интеллекта на период до 2030 года наборам данных уделено особое внимание37:

– формирование НД определено одним из направлений повышения доступности инфраструктуры для СИИ;

– регламенты работы с наборами данных выбраны одними из основных направлений внедрения доверенных технологий искусственного интеллекта в органах публичной власти и организациях;

– законодательное обеспечение возможности доступа разработчиков технологий искусственного интеллекта к различным видам данных указано одним из основных направлений создания комплексной системы нормативно-правового регулирования общественных отношений, связанных с развитием и использованием технологий искусственного интеллекта, и обеспечения безопасности применения таких технологий;

– создание библиотек наборов данных входит в основные направления оказания поддержки организациям – разработчикам технологий искусственного интеллекта, а также в основные направления укрепления международного сотрудничества в области использования ТИИ.

С 2015 г. в НПКЦ ДиТ ДЗМ начаты системные научные исследования в области создания и применения наборов данных для обучения и тестирования искусственного интеллекта. Для научного тестирования СИИ эмпирически сформирован и размечен ряд наборов данных, четыре из которых получили официальное свидетельство о государственной регистрации базы данных. К 2018 г. научно обоснован оригинальный метод разметки очагов в легких сферическими кластерами; созданы алгоритмическая основа и программный комплекс, позволяющие проводить разметку компьютерных томограмм ОГК; подготовлен набор данных деперсонализированных размеченных компьютерных томограмм органов грудной клетки CTLungCa-500. Для помощи многочисленным разработчикам этот набор данных впервые в Российской Федерации размещен в свободном доступе. Он был скачан несколько десятков раз и использован для самотестирования и обучения несколькими научными группами разработчиков и компаниями38.

В ходе подготовки и реализации Московского эксперимента потребовалось создание большого количества эталонных (валидированных) наборов данных, поэтому был организован непрерывный процесс их формирования (рисунок 2.1), в первую очередь для тестирования ИИ-сервисов, а также для научных исследований, нацеленных на изучение качества работы и потенциала развития СИИ, поиск новых направлений их применения39.

Рисунок 2.1 – Динамика количества наборов данных, созданных в ГБУЗ «НПКЦ ДиТ ДЗМ» в 2018—2024 гг.

В процессе накопления опыта возникали новые задачи, и наборы данных создавались уже для обучения собственных моделей ИИ. Так были созданы инструменты контроля качества рентгенографии органов грудной клетки40, анализа результатов компьютерной томографии печени CT HepatoScan Наличие богатого опыта формирования НД позволило сделать их самих объектом научного интереса и сформировать методологию их создания41, принципы организации42 и инструменты работы с данными43.

Путем систематизации эмпирического опыта и результатов экспериментально-лабораторной работы научно обоснованы и реализованы на практике:

– унифицированные основные характеристики наборов данных для разработки и тестирования СИИ в здравоохранении;

– понятие и требования к эталонным наборам данных;

– практико- и клинически ориентированная классификация наборов данных;

– обобщенная методология формирования наборов данных;

– мероприятия по организации разметки и контролю ее качества;

– формализованный производственный процесс создания наборов данных.

Все перечисленные разработки носят универсальный характер и могут применяться в разных клинических направлениях.

Научно-практическая ценность методологии описания, сбора и разметки данных, разработанной коллективом авторов, была подтверждена оценке независимыми группами исследователей. В первую волну пандемии COVID-19 по оригинальной методологии создан крупнейший в мире набор данных результатов компьютерной томографии органов грудной клетки у пациентов с ПЦР-подтвержденной новой коронавирусной инфекцией («MosMedData: результаты исследований компьютерной томографии органов грудной клетки с признаками COVID-19» (MosMedData-CT-COVID19-type VII-v 2)44). Этот набор был размещен в открытом доступе, благодаря чему использован для обучения и тестирования алгоритмов ИИ учеными из разных стран мира. Данное утверждение подтверждается 11 статьями, индексируемыми системой Pubmed (в т.ч. авторских коллективов из Китая – 3, США – 2, Ирана – 1, международных групп ученых – 5)45.

Благодаря Московскому эксперименту впервые в Российской Федерации реализована библиотека наборов данных для сферы здравоохранения (https://mosmed.ai/datasets/). В библиотеке размещены свыше 250 наборов данных, по состоянию на 01.01.2025 зафиксировано 4709 скачиваний и десятки тысяч просмотров конкретных наборов. В пятерке лидеров по используемости – «MosMedData-CT-COVID19-type VII-v 2» (1093 скачиваний), «MosMedData-CT_XR_MMG-MULTI-type II» (481 скачивание), «MosMedData-CT-HEMORRHAGE-type VIII» (364 скачивания), «MosMedData-ECG-MULTI-type VII» (311 скачиваний), «MosMedData-MRI-MS-type II» (284 скачивания). Разработанные методологии целеполагания, стандартизации, работы с данными используются при создании технологий искусственного интеллекта, а также стали основой национальных стандартов.

2.2.2. Принципы классификации и организации наборов данных в лучевой диагностике

В лучевой диагностике набор данных представляет собой упорядоченную совокупность:

– диагностических изображений одной модальности и/или однотипных медицинских документов (например, протоколов описаний результатов исследований);

– сведений о наличии, характере и локализации патологических изменений на изображениях; для текстовых документов – библиотеки ключевых слов, словосочетаний и их критичных сочетаний;

– сведений о верификации диагноза (опционально).

В ходе Московского эксперимента установлено, что набор данных должен содержать следующие сведения описательного характера:

1) номер свидетельства о государственной регистрации базы данных в качестве результата интеллектуальной деятельности (рекомендательно);

2) характеристику популяции (возрастно-половые показатели, этнический состав, регионы проживания и т.д.); сведения о деидентификации; сведения о медицинских организациях, послуживших источниками для формирования базы данных; сведения о факторах риска;

3) характеристику диагностических исследований: анатомическая область (и), модальность, проекции, типы медицинских изделий – диагностических приборов, виды и характеристики протоколов исследования;

4) целевую патологию согласно Международной классификации болезней 10 версии (либо наименование феноменов в соответствии с клиническими рекомендациями, национальными стандартами, рекомендациями профильных ассоциаций врачей-специалистов);

5) общее количество клинических случаев, исследований, изображений, документов и их распределение по диагностическим группам;

6) соотношение случаев «норма»/«патология» (случаи «патология» могут быть разделены на несколько подклассов);

7) сведения о верификации (патогистологическом или ином окончательном диагнозе);

8) методологию разметки.

На международном уровне сформирован рекомендательный список метаданных для верифицированного набора медицинских изображений46:

1. Тип изображения: вид исследования (компьютерная томография, рентгеновское исследование и т.п.); разрешение; общее число изображений и по сериям.

2. Число исследований.

3. Источники исследований: оборудование; типы оборудования; медицинская организация.

4. Параметры сканирования изображений.

5. Параметры хранения изображений: формат данных; уровень и тип сжатия данных.

6. Аннотация (разметка): тип; что и как описано; привлеченная экспертная группа.

7. Контекст.

8. Как определена истинная �