Передать движения человека в высококачественном 3D-изображении – непростая задача, одной из проблем которой является правильное освещение. Новый проект специалистов компании Google помещает людей в центр сферы, по форме напоминающей призматическое LED-яйцо, создавая удивительные 3D-модели, которые можно переносить в виртуальные миры с разным окружением и освещением.
Технологический прием под названием объемный захват (volumetric capture) использует большое количество камер, позволяя поймать изображение с чрезвычайно высоким разрешением. В результате получаются фотореалистичные модели персонажей, максимально приближенные к реальным людям не только в выражениях лиц и движениях, но и в мелких деталях, таких как складки одежды или движение волос.
Тем не менее, у технологии имеется два серьезных недостатка – во-первых, получаемое изображение больше напоминает 3D-фильм, нежели модель, поскольку человека нельзя поставить в определенную позу или изменить детали его одежды. Второй недостаток является продолжением первого и относится к невозможности изменить способ освещения.
Проект под названием «The Relightables» представляет собой попытку специалистов команды Google AI решить вторую проблему. Предлагаемая ими система не только создает высоко-детализированную 3D-модель движущегося человека, но и обеспечивает реалистичное освещение модели в условиях виртуальных источников света. Это позволяет использовать такие модели в компьютерных играх, фильмах и других ситуациях, подразумевающих изменение освещения.
Новая система стала возможной, благодаря вышеупомянутой сфере в виде призматического яйца (и, конечно же, нескольким строкам кода). Конструкция оснащена 42 камерами высокого разрешения, 331 светодиодными лампами и несколькими сенсорами захвата глубины. При создании изображения лампы меняют свет при помощи специальной структурированной схемы, в результате чего получается модель, не зависящая от реального освещения.
Полученные 3D-модели можно помещать в любую виртуальную среду. При этом они будут отражать не тот свет, который присутствовал при их создании, а свет искусственного мира, в котором эти модели будут использоваться.
Система «The Relightables» будет представлена командой Google AI на проходящей сейчас в Австралии выставке компьютерной графики SIGGRAPH Asia.