Китайские ученые представили новый метод Deblur-GS, который на основе 3D Gaussian Splatting восстанавливает размытые видеоролики. Нейросеть оптимизирует каждый кадр и выдает идеально плавный результат.
Ученые из Китая разработали инновационный метод восстановления размытых видео, получивший название Deblur-GS. В основе него лежит техника 3D Gaussian Splatting (3DGS), которая обычно применяется для визуализации объемных данных, например медицинских снимков.
Исследователи применили принцип 3DGS для моделирования эффекта размытия, возникающего при движении камеры. Они выбрали ключевой кадр видеоролика и, используя взвешивание, просуммировали изображения, полученные при рендеринге вдоль траектории движения камеры.
Для восстановления градиента фотометрических потерь и оптимизации параметров гауссовой сцены специалисты применили дифференцируемый растеризатор с рассеиванием.
Эксперименты, проведенные как на синтетических, так и на реальных наборах данных, продемонстрировали превосходство Deblur-GS над предыдущими подходами. Новый метод обеспечивает высокую производительность и качество рендеринга.
За счет простоты метода нейросеть на базе Deblur-GS быстро обучается и качественно оптимизирует каждый кадр, предоставляя идеально плавный результат.