深度学习降噪专题课:实现WSPK实时蒙特卡洛降噪算法 | 杨元超的世界

大家好~本课程基于全连接和卷积神经网络,学习LBF等深度学习降噪算法,实现实时路径追踪渲染的降噪

本课程偏向于应用实现,主要介绍深度学习降噪算法的实现思路,演示实现的效果,给出实现的相关代码

线上课程资料:

本节课录像回放

代码

加QQ群,获得相关资料,与群主交流讨论:106047770

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本课程系列文章可进入合集查看:

深度学习降噪专题课系列文章合集

回顾上节课内容

回顾“深度学习蒙特卡洛降噪的基本思想”

介绍WSPK算法整体思想

WSPK针对KPCN,做了下面的优化:

这样做的好处是减少了最后一个RepVGG输出的范围,加快了训练输出

网络结构如下图所示(只显示了最后两层):

image

介绍整体实现思路

1.使用pytorch实现训练,保存weight

2.使用WebNN实现推理,读取weight

演示训练、推理

使用webgl后端,场景大小为256*256

耗时为:

2015年的macbook pro:600ms

RTX2060s:60ms

补充:

使用webgl后端,场景大小为1280*720

耗时为:

2015年的macbook pro:2000ms

目前遇到的问题

input with big image error for webgl backend: context lost

WebGPU backend error: Binding size is smaller than the minimum binding size

已得到答复:目前不支持WebGPU backend

参考资料