Microsoft открыла GigaPath-Flash и GigaTIME-Flash — AI-модели для цифровой патологии

Microsoft Research совместно с Университетом Вашингтона и медицинской сетью Providence выпустила две облегчённые модели для вычислительной патологии — GigaPath-Flash и GigaTIME-Flash. Веса и код опубликованы для исследователей по лицензии Apache 2.0. Модели помогают обрабатывать цифровые изображения биопсии и изучать микроокружение опухолей, но не валидированы для диагностики, выбора лечения или других решений о пациентах.

GigaPath-Flash: целый слайд с меньшими затратами

Гистологический whole-slide image может содержать больше миллиарда пикселей, поэтому его делят на тысячи фрагментов. GigaPath-Flash сначала извлекает локальные признаки из каждого фрагмента с помощью 22-миллионного ViT-S-энкодера, а затем объединяет их в представление всего слайда при помощи 21-миллионного LongNet-энкодера. Оба компонента формируют векторы размерностью 384.

Компактный энкодер был дистиллирован из исходного GigaPath с миллиардным ViT-g. По данным Microsoft, новая модель сохраняет 97% средней точности GigaPath в задачах классификации слайдов, но требует примерно в 50 раз меньше вычислений. На тестах PANDA для оценки рака простаты и EBRAINS для классификации опухолей мозга результат оказался в пределах 3% от исходной модели.

GigaTIME-Flash: виртуальная пространственная протеомика

GigaTIME-Flash использует тот же облегчённый энкодер и свёрточный декодер, чтобы преобразовывать обычные окрашенные гематоксилином и эозином изображения в виртуальные карты мультиплексной иммунофлуоресценции. На вход модель принимает фрагменты 256×256 пикселей, а на выходе формирует 23 канала: 21 белковый и два фоновых.

В сравнении с исходной CNN-версией GigaTIME новая модель работает примерно в шесть раз быстрее, использует примерно в восемь раз меньше видеопамяти и, по данным авторов, не уступает ей по качеству предсказаний. Проверка включала образцы опухолей мозга, молочной железы, толстой кишки и лёгких. На одной NVIDIA A100 обработка 1000 слайдов оценивается примерно в два GPU-часа, 100 тысяч — в семь GPU-дней, а миллиона — в 70 GPU-дней. Расчёт предполагает около 10 тысяч фрагментов на слайд и batch size 128; реальное время зависит от оборудования и данных.

Ограничения исследовательского релиза

Авторы называют выпуск ранним исследовательским релизом. Оценки охватывают ограниченный набор задач, когорт и сканеров, поэтому результаты могут меняться между медицинскими учреждениями, популяциями и типами тканей. Для клинического применения нужны дополнительные многоцентровые и проспективные исследования.

Карточки моделей отдельно запрещают использовать их как медицинское устройство, диагностический инструмент или замену решению врача. Код, данные и контрольные точки предназначены для воспроизведения работы и дальнейших исследований; развёрнутые коммерческие и клинические сценарии разработчики относят к использованию вне заявленной области.

Где попробовать

Веса GigaPath-Flash и GigaTIME-Flash размещены в официальных репозиториях на Hugging Face. Для скачивания нужно войти в аккаунт, принять условия доступа и использовать read-only токен. Эталонный код GigaPath доступен в официальном репозитории GitHub; полный пример GigaTIME-Flash находится в тестовом ноутбуке проекта. Перед работой необходимо проверить ограничения карточек моделей и использовать только исследовательские обезличенные данные.