实时渲染前沿研究:开篇介绍 | 杨元超的世界

大家好,本研究的目的在于研究和实现实时渲染路径追踪中的难点,感谢大家一起来研究学习,谢谢!

本研究偏向于结合深度学习和图形学,目前,我们已经完成了下面的工作:

本培训班的课程是基于”路径追踪“技术的离线渲染器零基础实战开发的基础课程。

我们介绍相关的图形学和数学基础,给出详细的数学推导、伪代码和实现代码,最终带领大家使用最新的RTX光线追踪管线以及计算管线的计算着色器,做出一个可以运行的路径追踪离线渲染器。

实现了LBVH、使用Ray Packet加速

本课程带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序

本课程基于全连接和卷积神经网络,学习LBF、KPCN、WSPK等深度学习降噪算法,实现了WSPK实时蒙特卡洛降噪算法,介绍了深度学习降噪算法的实现思路,演示了实现的效果

我们预计将会在本次研究中,完成下面的研究和实现:

DLSS

通过毫秒级时间使图像清晰16倍,Facebook提出的DLSS算法介绍,提出了在实时渲染中使用深度学习实现超采样,从而能够只渲染低分辨率的图片,然后超采样为高分辨率的图片

参考资料

https://github.com/timmh/neural-supersampling

https://github.com/INTEW/NSRR

改进的论文:

新的采样方法:ReSTIR

该采样方法是针对有大量光源的优化(少数光源的话就直接用NEE,进行随机光源采样)

可以将其进一步改进为ReSTIR PT

我们应该至少基于ReSTIR计算直接光照,并考虑使用ReSTIR GI或者ReSTIR PT(优先)来计算间接光照

ReSTIR的参考资料

文末有推荐的代码实现

ReSTIR GI/PT的参考资料

Real-time Neural Radiance Caching for Path Tracing

本论文提出了使用神经网络实现Radiance Caching,可从中获得间接光照

用这个方法的好处是:

因为间接光照可从中直接获得,不需要射线再进行bounce来计算

不需要预训练,直接在线训练

神经网络就是一个简单的MLP(全连接网络)

这个方法可以跟ReSTIR结合,即:

1.使用ReSTIR针对the first path vertex进行直接光照采样

2.间接光照从神经网络中获得

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

Real-time Neural Radiance Caching for Path Tracing可结合本论文提出的输入编码的方法,进一步提升最终的渲染质量

本论文提出对输入进行多分辨率的Hash编码,从而让很小的网络(如MLP)也能学到很高的质量

本文貌似主要适用于MLP网络

GPU构建BVH

目标:

参考资料

https://meistdan.github.io/publications/bvh_star/paper.pdf

https://trepo.tuni.fi//bitstream/handle/10024/126597/paper.pdf?sequence=1

https://meistdan.github.io/publications/ploc/paper.pdf

https://meistdan.github.io/publications/prbvh/paper.pdf

https://github.com/meistdan/ploc

https://github.com/madmann91/bvh

其它

参考资料

感觉这文章很牛:浅析ToG2021论文Vectorization for Fast, Analytic, and Differentiable Visibility

https://www.yuque.com/u1408899/zd393l/bbtshg?singleDoc

我实现的步骤

1.实现NSRR,从而实现DLSS

2.实现Real-time Neural Radiance Caching for Path Tracing

3.实现Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

4.基于已有的资料,使用WebGPU开发path tracer,支持随机光源采样+LBVH+多重重要性采样+IBL

5.path tracer结合WSPK降噪

6.path tracer结合NSRR

7.path tracer使用disney BRDF+简单的BSDF

8.发布path tracer(只支持静态场景,但相机可移动;面积光+IBL,光源数量<4)

9.使用ReSTIR,支持多光源的优化

需要实现LightBVH?

10.使用PLOC,支持动态场景的BVH构建