Сочетание генеративного ИИ с физикой для создания личных вещей, которые работают в реальном мире

У вас когда-нибудь появлялась идея чего-то, что выглядело бы круто, но не сработало бы на практике? Когда дело доходит до проектирования предметов декора и личных аксессуаров, модели генеративного искусственного интеллекта (genAI) могут иметь отношение к делу. Они могут создавать креативные и сложные 3D-проекты, но когда вы пытаетесь превратить такие чертежи в объекты реального мира, они обычно не выдерживают повседневного использования.

Основная проблема заключается в том, что моделям genAI часто не хватает понимания физики. В то время как такие инструменты, как система TRELLIS от Microsoft, могут создавать 3D-модель из текстовой подсказки или изображения, дизайн стула, например, может быть нестабильным или иметь несвязанные детали. Модель не до конца понимает, для чего предназначен ваш предполагаемый объект, поэтому, даже если ваше сиденье можно напечатать на 3D-принтере, оно, скорее всего, развалится от того, что кто-то сядет.

В попытке заставить эти конструкции работать в реальном мире исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) проверяют модели генеративного ИИ на практике. Их система “PhysiOpt” дополняет эти инструменты физическим моделированием, благодаря чему чертежи личных вещей, таких как чашки, держатели для ключей и подставки для книг, работают так, как задумано, когда они напечатаны на 3D-принтере. Он быстро проверяет жизнеспособность структуры вашей 3D-модели, аккуратно изменяя меньшие формы, обеспечивая сохранение общего внешнего вида и функциональности конструкции.

Вы можете просто ввести то, что вы хотите создать, и для чего это будет использоваться, в PhysiOpt или загрузить изображение в пользовательский интерфейс системы, и примерно через полминуты вы получите реалистичный 3D-объект для изготовления. Например, исследователи CSAIL побудили его создать ”стакан для питья в форме фламинго", который они напечатали на 3D-принтере в виде стакана для питья с ручкой и основанием, напоминающими лапку тропической птицы. По мере создания дизайна PhysiOpt вносила небольшие усовершенствования, чтобы гарантировать, что дизайн будет конструктивно обоснованным.

Такой подход позволяет создать “умный дизайн”, когда генератор ИИ создает ваш предмет на основе спецификаций пользователей с учетом функциональности. Вы можете подключить свою любимую 3D-модель генеративного ИИ и, введя то, что вы хотите создать, указать, какую силу или вес должен выдерживать объект. Это удобный способ имитировать реальное использование, например, предсказать, будет ли крючок достаточно прочным, чтобы удержать ваше пальто. Пользователи также указывают, из каких материалов они будут изготавливать предмет (например, из пластика или дерева) и как он будет поддерживаться — например, чашка стоит на земле, а подставка для книг опирается на коллекцию книг.

Учитывая специфику, PhysiOpt начинает итеративную оптимизацию объекта. Под капотом он запускает физическое моделирование, называемое “анализом конечных элементов”, для стресс-тестирования конструкции. Это комплексное сканирование предоставляет тепловую карту вашей 3D-модели, которая показывает, где ваша схема не поддерживается должным образом.

Если вы создавали, скажем, скворечник, вы можете обнаружить, что опорные балки под домом были окрашены в ярко-красный цвет, что означает, что дом рухнет, если его не укрепить.
PhysiOpt может создавать еще более смелые изделия. Исследователи воочию убедились в этой универсальности, когда изготовили брелок в стиле стимпанк (стиль, сочетающий викторианскую и футуристическую эстетику) с замысловатыми, роботизированными крючками и “столик-жираф” с плоской спинкой, на которую можно класть предметы. Но откуда он узнал, что такое "стимпанк” или даже как должен выглядеть такой уникальный предмет мебели?

Примечательно, что ответ заключается не в обширном обучении — по крайней мере, не со стороны исследователей. Вместо этого PhysiOpt использует предварительно обученную модель, которая уже видела тысячи форм и объектов. “Существующие системы часто требуют большого дополнительного обучения, чтобы иметь семантическое представление о том, что вы хотите видеть”, - добавляет соавтор Клеман Жамбон, который также является аспирантом MIT EECS и исследователем CSAIL. “Но мы используем модель, в которой уже заложено то, что вы хотите создать, поэтому PhysiOpt не требует обучения”.

Работая с предварительно обученной моделью, PhysiOpt может использовать “априорные данные о форме”, или знания о том, как должны выглядеть формы, основанные на более раннем обучении, для создания того, что хотят видеть пользователи. Это похоже на то, как художник воссоздает стиль известного художника. Их опыт основан на тщательном изучении различных художественных подходов, поэтому они, вероятно, смогут отразить эту конкретную эстетику. Аналогичным образом, знакомство предварительно обученной модели с формами помогает ей создавать 3D-модели.

Исследователи CSAIL заметили, что визуальное ноу-хау PhysiOpt помогло ему создавать 3D-модели более эффективно, чем “DiffIPC”, аналогичный метод, имитирующий и оптимизирующий формы. Когда перед обоими подходами стояла задача создания 3D-дизайнов для таких предметов, как стулья, система CSAIL работала почти в 10 раз быстрее за итерацию, создавая при этом более реалистичные объекты.

PhysiOpt представляет собой потенциальный мост между идеями и реальными личными вещами. Например, то, что вам может показаться отличной идеей для кофейной кружки, вскоре может переместиться с экрана вашего компьютера на ваш рабочий стол. И хотя PhysiOpt уже проводит стресс-тестирование для дизайнеров, вскоре он может быть способен прогнозировать ограничения, такие как нагрузки и границы, вместо того, чтобы пользователям нужно было предоставлять эти детали. Этот более автономный подход, основанный на здравом смысле, может стать возможным благодаря внедрению языковых моделей vision, которые сочетают понимание человеческого языка с компьютерным зрением.

Более того, Чжан и Джамбон намерены удалить артефакты или случайные фрагменты, которые время от времени появляются в 3D-моделях PhysiOpt, сделав систему еще более ориентированной на физику. Ученые Массачусетского технологического института также рассматривают возможность моделирования более сложных ограничений для различных технологий изготовления, таких как минимизация выступающих компонентов для 3D-печати.

Чжан и Джамбон написали свою статью совместно с главным научным сотрудником лаборатории искусственного интеллекта MIT-IBM Watson Кенни Нг ’89, SM ’90, PhD ’00 и двумя коллегами из CSAIL: аспирантом Эваном Томпсоном и доцентом Миной Конакович Лукович, которая является главным исследователем лаборатории. 
Работа исследователей была частично поддержана Лабораторией искусственного интеллекта MIT-IBM Watson и корпорацией Wistron. Они представили это в декабре на конференции и выставке SIGGRAPH Ассоциации вычислительной техники по компьютерной графике и интерактивным техникам в Азии.