Информация

Gaussian Splatting из рендеров: что это и как получить

Gaussian Splatting (гауссовы сплаты) показывает сцену как набор миллионов мягких цветных пятен. Картинка близка к исходным кадрам, а по помещению можно свободно ходить. Ниже коротко и без лишней теории: как это устроено, откуда берутся кадры, чем отличается от 360°-тура и объёмного 3D-тура и где у метода границы.

Коротко

Gaussian Splatting в трёх строках

Принцип

Как это работает

  1. 1

    Кадры и позиции камеры

    Берётся набор изображений сцены с разных точек. Для каждого нужно знать позицию камеры. У фотографий и видео её вычисляют по самим кадрам, у рендеров она известна точно, потому что камеру ставите вы.

  2. 2

    Подбор сплатов

    Программа раскладывает в пространстве миллионы маленьких полупрозрачных пятен и подбирает им положение, размер, цвет и прозрачность, пока картинка из тех же точек не совпадёт с исходными кадрами.

  3. 3

    Показ в браузере

    Готовый набор сплатов рисуется на видеокарте зрителя в реальном времени. Можно свободно смотреть по сторонам и идти по помещению.

Это не нейросеть, которая что-то придумывает: пятна подбираются расчётом под реальные кадры. Поэтому результат повторяет то, что было на исходных изображениях.

Исходные данные

Откуда берутся кадры

Если вы визуализатор, вам подходит третий путь: исходники у вас уже есть. Как это делает VPplay, описано на странице для студий визуализации. Про сами рендеры и 360°-туры из них есть отдельная страница тур из рендера.

Сравнение

Чем отличается от 360°-тура и объёмного 3D-тура

Сравнение 360°-тура, объёмного 3D-тура и VPplay-тура
Параметр360°-турОбъёмный 3D-турVPplay-тур (сплаты)
Как двигаетесьПереход от точки к точкеПлавный переход между точками по моделиСвободная прогулка по помещению
Из чего состоитСферические панорамыМодель и панорамыОблако сплатов
Вид картинкиКак исходное фото или рендер, из точки съёмкиЗависит от модели и панорамБлизок к исходным кадрам вблизи точек съёмки
Объём данныхЗависит от числа панорамЗависит от модели и панорамКак правило больше: в нашем примере десятки мегабайт
Когда выбиратьБыстро показать объектВажна структура здания, этажи, мини-картаВажно впечатление от пространства

Это три разных инструмента для разных задач, а не «лучше» и «хуже». Подробнее об объёмном варианте: объёмный 3D-тур.

Честно

Ограничения метода

Вопросы

Частые вопросы

Что такое Gaussian Splatting простыми словами?

Это способ хранить сцену как множество мягких цветных пятен в пространстве. Из любой точки они складываются в изображение, похожее на исходные кадры. В отличие от полигональной модели, здесь нет сетки и текстур в привычном смысле.

Это нейросеть?

Нет в том смысле, в каком обычно говорят о генерации картинок. Пятна подбираются расчётом под ваши кадры, ничего не придумывается. Рисуется результат обычной графикой на видеокарте.

Можно ли получить сплаты из рендеров, если объекта ещё нет?

Да, если у вас есть сферические панорамы и модель, из которых известны позиции камеры. Именно так работает vpplay. VPplay для студий

Чем это отличается от обычного объёмного 3D-тура?

Объёмный 3D-тур строится на модели и переходах между точками. Сплаты передают картинку, близкую к исходным кадрам, и позволяют свободно ходить по помещению. Какой вариант лучше, зависит от задачи. Объёмный 3D-тур

Откроется ли такой тур у зрителя без установки программ?

Да, VPplay-тур открывается в браузере по ссылке. Нужен современный браузер с WebGL2.

Где посмотреть пример?

Откройте страницу VPplay: на ней встроен пример, по которому можно пройтись. VPplay

Что дальше

Посмотрите, как выглядит прогулка по такой сцене, или узнайте, как студия получает её из своих рендеров.