Информация
Gaussian Splatting (гауссовы сплаты) показывает сцену как набор миллионов мягких цветных пятен. Картинка близка к исходным кадрам, а по помещению можно свободно ходить. Ниже коротко и без лишней теории: как это устроено, откуда берутся кадры, чем отличается от 360°-тура и объёмного 3D-тура и где у метода границы.
Коротко
Способ показать сцену как набор миллионов мягких цветных пятен (сплатов) вместо полигонов и текстур.
Картинка близка к исходным кадрам: свет и материалы выглядят близко к рендеру или фотографии.
Набор кадров, для которых известно или можно рассчитать, откуда они сняты. Это могут быть фотографии, видео или ваши рендеры.
Принцип
1
Берётся набор изображений сцены с разных точек. Для каждого нужно знать позицию камеры. У фотографий и видео её вычисляют по самим кадрам, у рендеров она известна точно, потому что камеру ставите вы.
2
Программа раскладывает в пространстве миллионы маленьких полупрозрачных пятен и подбирает им положение, размер, цвет и прозрачность, пока картинка из тех же точек не совпадёт с исходными кадрами.
3
Готовый набор сплатов рисуется на видеокарте зрителя в реальном времени. Можно свободно смотреть по сторонам и идти по помещению.
Это не нейросеть, которая что-то придумывает: пятна подбираются расчётом под реальные кадры. Поэтому результат повторяет то, что было на исходных изображениях.
Исходные данные
Классический путь: снять реальный объект с разных сторон. Нужен доступ на объект и аккуратная съёмка.
Отдельный путь без кадров: цветное облако точек показывается сплатами напрямую. Подходит, когда объект уже отсканирован.
Сферические панорамы и модель из 3ds Max и V-Ray. Фотографировать не нужно, поэтому подходит и интерьер, которого ещё нет.
Если вы визуализатор, вам подходит третий путь: исходники у вас уже есть. Как это делает VPplay, описано на странице для студий визуализации. Про сами рендеры и 360°-туры из них есть отдельная страница тур из рендера.
Сравнение
| Параметр | 360°-тур | Объёмный 3D-тур | VPplay-тур (сплаты) |
|---|---|---|---|
| Как двигаетесь | Переход от точки к точке | Плавный переход между точками по модели | Свободная прогулка по помещению |
| Из чего состоит | Сферические панорамы | Модель и панорамы | Облако сплатов |
| Вид картинки | Как исходное фото или рендер, из точки съёмки | Зависит от модели и панорам | Близок к исходным кадрам вблизи точек съёмки |
| Объём данных | Зависит от числа панорам | Зависит от модели и панорам | Как правило больше: в нашем примере десятки мегабайт |
| Когда выбирать | Быстро показать объект | Важна структура здания, этажи, мини-карта | Важно впечатление от пространства |
Это три разных инструмента для разных задач, а не «лучше» и «хуже». Подробнее об объёмном варианте: объёмный 3D-тур.
Честно
Вопросы
Это способ хранить сцену как множество мягких цветных пятен в пространстве. Из любой точки они складываются в изображение, похожее на исходные кадры. В отличие от полигональной модели, здесь нет сетки и текстур в привычном смысле.
Нет в том смысле, в каком обычно говорят о генерации картинок. Пятна подбираются расчётом под ваши кадры, ничего не придумывается. Рисуется результат обычной графикой на видеокарте.
Да, если у вас есть сферические панорамы и модель, из которых известны позиции камеры. Именно так работает vpplay. VPplay для студий
Объёмный 3D-тур строится на модели и переходах между точками. Сплаты передают картинку, близкую к исходным кадрам, и позволяют свободно ходить по помещению. Какой вариант лучше, зависит от задачи. Объёмный 3D-тур
Да, VPplay-тур открывается в браузере по ссылке. Нужен современный браузер с WebGL2.
Откройте страницу VPplay: на ней встроен пример, по которому можно пройтись. VPplay
Посмотрите, как выглядит прогулка по такой сцене, или узнайте, как студия получает её из своих рендеров.