Нейросеть научилась копировать в виртуальный мир реальные комнаты

Исследователи из США разработали систему DRAWER, которая превращает короткое видео в интерактивную трехмерную симуляцию комнаты. Пользователи могут открывать шкафы, перемещать предметы и взаимодействовать с цифровой копией реального пространства. Об этом пишет hightech.fm.

Создание реалистичных 3D-моделей помещений традиционно требовало дорогостоящего оборудования и сложных процедур сканирования. Существующие методы компьютерного зрения хоть и способны воспроизвести внешний вид пространства с разных углов, но редко позволяют полноценно взаимодействовать с виртуальной средой.

Технология DRAWER решает эту проблему с помощью нескольких минут видеосъемки. Пользователю достаточно пройти по комнате с iPhone или другим смартфоном — взаимодействовать с предметами не нужно. Система анализирует видео и создает точную цифровую копию помещения.

Во время презентации на конференции IEEE/CVF по компьютерному зрению разработчики сообщили, что главной сложностью стала интеграция разных моделей ИИ в единую систему. Исследователи объединили два метода рендеринга: один отвечает за визуальную реалистичность, другой — за точность размеров и геометрии.

Ключевой компонент DRAWER — модуль восприятия, который определяет подвижные элементы сцены и предсказывает механику их движения. Например, система автоматически распознает, как должна открываться дверца холодильника или выдвигаться ящик стола. Дополнительная модель генерирует содержимое скрытых частей мебели, воссоздавая наполнение ящиков и шкафов.

Технология пригодится в игровой индустрии для создания реалистичных локаций. В тестовой игре, созданной для проверки работы модели, игрок сбивал предметы на виртуальной кухне шариками — сцена была создана на основе обычного видео. При этом DRAWER совместим с популярными игровыми движками.

Другое направление — обучение роботов в виртуальной среде. Исследователи натренировали систему управления роборукой в цифровом двойнике кухни, после чего робот повторил те же действия в реальном мире. Это может стать основой для подготовки бытовых роботов: пользователь просто загрузит видео своего дома, и робот заранее освоит пространство.

Пока DRAWER работает только с жесткими объектами: мебелью, посудой и техникой. Команда планирует расширить возможности системы для работы с мягкими и хрупкими материалами, такими как текстиль и стекло. Также в планах масштабирование до целых зданий и даже открытых пространств: чтобы использовать в архитектуре, городском планировании и сельском хозяйстве.

Ещё кое-что из новостей прогресса:

• Китайцы провели первый футбольный матч между полностью автономными роботами
• В России готовят замену для Apple Pay