Blog

Nvidia делает ставку на то, что физический ИИ может решить проблему данных в медицинской робототехнике

*Обложка создана ИИ-моделью gpt-image-2 через сервис от KolerskyAI


← Все статьи на KolerskyAI

Физический ИИ - это термин, который Nvidia и большая часть индустрии робототехники сейчас используют для описания машин, которым приходится узнавать, как ведет себя окружающий мир, посредством контакта, силы и последствий, а не только с помощью текста или изображений.
Языковая модель обучается на основе текста. Система физического ИИ обучается на основе того, что происходит, когда катетер соприкасается со стенкой сосуда или когда рука робота оказывает слишком сильное давление на мягкие ткани. Для такого обучения обычно требуется либо физическое тело, действующее в физическом мире, либо симуляция, достаточно подробная, чтобы заменить его.
В медицинской робототехнике физические тела, участвующие в реальных процедурах, ограничены, жестко регулируются и медленно генерируют диапазон сценариев, которые роботу действительно нужно увидеть. Моделирование медицинской физики - это попытка Nvidia создать этот воплощенный опыт с помощью вычислений.
Анонсированный как дополнение с открытым исходным кодом к платформе Isaac для здравоохранения компании, фреймворк генерирует физические взаимодействия, для которых хирургическому или диагностическому роботу в противном случае потребовались бы годы клинического опыта: зацепление провода за кальцинированную стенку сосуда, почечный камень, застрявший под необычным углом, или реакция мягких тканей, которая проявляется лишь в небольшой части процедур.
Ни один из этих крайних случаев не поступает в операционную по расписанию. Моделирование позволяет разработчикам генерировать их по запросу.

Развивайте физическую интуицию до того, как в дело вступит скальпель

Фреймворк сочетает в себе два способа моделирования поведения устройств внутри организма.
Моделирование классической физики учитывает механические правила, которые уже хорошо изучены: как изгибается катетер, какое сопротивление оказывает стенка сосуда, как меняются контактные силы при прохождении инструмента через ткани. Генеративный ИИ обрабатывает ту часть, которая сложнее для ручного программирования: динамика визуальных сцен, полученная на основе процедурных данных, передается с помощью компонента, который Nvidia называет Cosmos-H Dreams.
Эта комбинация является предложением физического ИИ в миниатюре. Классическое моделирование дает роботу физическую политику, которой он должен подчиняться. Генеративное моделирование дает ему диапазон визуальных и анатомических вариаций, необходимых для обобщения. Собранный и масштабируемый на графических процессорах с использованием библиотек Nvidia Warp и Newton, фреймворк может выполнять большое количество параллельных обучающих сред вместо одной сцены одновременно.
Nvidia заявляет, что тест, работающий в 8192 параллельных средах, сократил время обучения с более чем пяти часов до менее чем двух минут. Однако это демонстрирует пропускную способность, а не клиническую надежность, и ничего не говорит о том, как разработанная таким образом политика работает в условиях неполного изображения, запаздывающих показаний датчиков и даже анатомии, которая выходит за рамки того, что было смоделировано симуляцией.
Языковая модель, которая не работает в пограничном случае, дает плохой ответ, но физическая система искусственного интеллекта, которая не работает в пограничном случае, работает внутри пациента. Подход параллельного моделирования - это реальный шаг вперед в том, насколько быстро разработчики могут исследовать режимы сбоев. Соответствуют ли эти моделируемые режимы сбоев тому, что на самом деле выходит из строя в хирургическом отделении, - это отдельный вопрос.

Где тестируется подход воплощения

Организации, которые Nvidia называет первыми разработчиками, применяют подход физического ИИ на разной глубине, и этот список стоит прочитать с учетом этого, а не рассматривать как единый список внедрений.
CMR Surgical и Cambridge Consultants, инженерная фирма, принадлежащая Capgemini, продвинулись дальше всех в области обработки данных. CMR передала около 500 часов анонимизированных клинических данных из своей хирургической роботизированной системы Versius в набор данных Open-H, охватывающий процедуры холецистэктомии, простатэктомии, грыжесечения и гистерэктомии, и пара использует Cosmos-H Dreams для моделирования физики взаимодействия мягких тканей и создания симуляций для конкретных пациентов.
“Модели с открытым исходным кодом позволяют нам опираться на общие знания, ускоряя ответственные инновации и, в конечном счете, дают нам потенциал для обеспечения более последовательного ухода и лучших результатов для пациентов по всему миру”, - сказал Крис Фрайер, технический директор CMR Surgical.
Johnson & Johnson MedTech использует фреймворк наряду с базовой моделью Cosmos для создания цифрового двойника своей платформы endoluminal MONARCH, ориентированной на сценарии возникновения камней в почках в урологии.
XCath применяет его для обучения политике автономии эндоваскулярных систем, обучая систему физическому поведению при перемещении по кровеносным сосудам без участия человека на пульте управления. Inner Logic генерирует синтетические данные для проверки механики устройства и заявляет, что намерена представить доказательства in silico в поддержку нормативных документов, хотя ни одно представление, основанное на этих доказательствах, не было подтверждено публично.
Medtronic Structural Heart работает первым в группе, исследуя имитацию рентгеновского зондирования для исследования навигации по катетеру.
Фото создано моделью Nano Banana 2 через сервис от KolerskyAI
Каждое из этих действий является тренировочным упражнением или вкладом в набор данных. Ни одна из них не является развернутой системой, работающей на пациенте с изученными таким образом правилами, и Nvidia не утверждает иного.

Пример с открытым исходным кодом для систем физического ИИ

Робототехника здравоохранения сопряжена с требованиями к управлению, с которыми большинство приложений с физическим ИИ, включая промышленные и складские роботы, сталкиваются в разной степени: регулирующим органам и комиссиям по клинической проверке необходимо видеть, как система начала работать, а не просто подтверждать, что при тестировании поведение выглядело приемлемым.
Платформа с открытым исходным кодом позволяет разработчикам проверять физические допущения в рамках моделирования, воспроизводить результаты для различных анатомий и создавать цепочку доказательств, подходящую для подачи в FDA или эквивалентный орган.
Это более веский аргумент в пользу открытости физического ИИ, чем в большинстве категорий программного обеспечения, где закрытый конвейер поставщиков скрывает предположения, которые команде в противном случае пришлось бы отстаивать перед регулирующим органом. Он не решает вопрос проверки сам по себе.
Открытый код позволяет сторонним экспертам проверять логику модели, но он не подтверждает, что физическое поведение модели соответствует тому, что происходит в организме, и это подтверждение еще должно быть получено в результате тестирования, которое ни одна из этих компаний еще не опубликовала.
Nvidia создала инфраструктуру, которая может сократить предаппаратный этап разработки физического ИИ для хирургических и диагностических роботов, и параллельное проведение обучения в таком масштабе является отходом от перестройки пользовательской сцены моделирования для каждого рабочего процесса.
← Все статьи на KolerskyAI
2026-07-23 16:02 Main