【USparkle专栏】即使你深怀绝技，爱“搞点琢磨”，笑于分享也博采多长，咱们希望你的参预，让聪敏的火花碰撞交错，让学问的转达生生不息！
这是侑虎科技第1754篇作品，感激作家AKG4e3供稿。迎接转发分享，未经作家授权请勿转载。即使您有任何独到的看法或者发明也迎接合联咱们，沿途考虑。（）
正在上一篇作品中，咱们从0到1实行了一套完美的软件光追管线。咱们应用零落的体历来存储场景的Material消息和Radiance，体素的色彩并不直接操纵到屏幕像素上，由于体素的精度仅能表达粗粒度的Lighting消息。要念得到像素级此表光照频率，咱们必需从屏幕像素先河发射后光举办Final Gather。
纵然隔断场追踪仍然足够敏捷了，为了知足及时这一命题，咱们的预算仍旧是1/4SPP（半辞别率1SPP），巧妇难为无米炊，正在如斯紧巴的后光预算下，根基的蒙特卡罗积分会形成广大的BIAS，因而本篇作品的重心将放正在若何从低SPP的图像重修出明晰整洁的信号。
正在先河编写降噪器之前，咱们要为降噪器供应初始样本行动输入信号，咱们履行最平时的蒙特卡洛采样即可。为了得到像素级此表细节，同时避免了体素追踪的自遮挡形象，咱们需求先从屏幕空间欺骗Depth Buffer举办追踪。对待屏幕追踪腐臭的像素咱们才回退到隔断场追踪。
咱们的后光SPP，和SSAO相似，正在先河追踪之前咱们也要先对G-Buffer举办降采样。咱们沿用SSAO的代码，按照深度加权计划法线的均匀值到RGB通道，同时将深度沿途存储到A通道。正在后续的Pass中咱们一次采样就能够得到采样点的法线和天下坐标。
正在UE引擎中仍然实行了基于HZB的射线追踪，而且网上也有许多相应的教程，这里笔者就不反复了。对待屏幕追踪，咱们将掷中点重投影回上一帧，从上一帧的Scene Color中获取Hit Radiance。
咱们要点合切若何组合屏幕追踪与隔断场追踪。咱们当然能够正在屏幕追踪着色器内直接举办隔断场追踪，可是每个Wavefront内各个Pixel屏幕追踪的掷中处境各纷歧致，这会形成广大的Divergence。和上一篇作品中的Voxel Lighting个别相似，对待屏幕追踪腐臭的像素，咱们独立将它们挑选出来摆列到紧凑的Buffer中独立举办隔断场追踪。
咱们将屏幕分为8x8的Tile并配套一个线程组，每个Tile内的每个像素分拨一个线程举办屏幕追踪。每个线程将屏幕追踪的凯旋与否写入到Shared Memory，然后由第一个线程统计并担负正在紧凑Buffer中开拓空间，结尾各个线程将追踪腐臭的像素写入Buffer。
隔断场追踪是一个Indirect Dispatch，咱们按照屏幕追踪中确认的追踪腐臭的像素数量来断定调派多少组线程组。对每个像素咱们从紧凑Buffer中读取其PixelCoord，然后从Mini G-Buffer中重修其天下坐标以及射线宗旨，按照World Normal等消息断定一个BIAS将后光的开始点偏移，结尾先河隔断场追踪。
有了隔断场的追踪行动兜底，咱们能有用地补充Screen Trace几何消息亏欠的题目。可是此时的Hit Radiance还亏欠以直接拿来应用，这就轮到降噪器退场了。
ReSTIR是由NVIDIA提出的先验的降噪算法，中央绪途是为每个像素尽大概地保存“最杰出”的样向来低浸图像的整个方差，ReSTIR先随机采样获得一堆“平时样本”，正在平时样本落选出1个“最优样本”行动降噪器的输出样本。备选的平时样本数目越多，选出的最优样本就越好。
ReSTIR将每个“平时样本”的亮度行动其被选中的概率，通过重采样要紧性采样（RIS）抽样手腕，正在平时样本中抽出“最优样本”，并无偏地臆想其对蒙特卡洛抽样的奉献。实质上是从平时样本的散布（Source PDF）中，天生了适应边缘情况光照的最优样本的散布（Target PDF）。
直观地懂得，依照这个计谋咱们抽到的最优样本都是很亮的，更适应样本点边缘情况光照（Target PDF）散布纪律的，相当于正在
选出N个平时样本意味着N次Trace，没有要领每帧举办，ReSTIR退而求其次将平时样本的采样分摊到时域举办。通过蓄水池抽样（WRS）算法渐进式地从史书样本数据流里采选最佳样本，这能够保障每像素每帧只形成一个新样本（光追一次）的预算，以般配Realtime这个命题。
除了史书帧的样本，统一帧内边缘邻人像素形成的样本也能够举办复用，实质上是重修了一条眼前像素到邻人像素后光掷中点的光途。有了时期和空间上的复用，咱们只用每像素一条后光的价格就得到了成百上千后光的后果。
正在笔者的实行中，蓄水池齐全沿用了NVIDIA论文的实行。个中后光天生点、掷中点的法线都进程了八面体映照编码，如许咱们通过2张RGBA16的贴图和两张RGBA32的贴图就能存储全盘的数据。
来看一下整个的管线幼结中咱们通过混杂后光追踪天生了初始样本，咱们会测试用这个初始样本去更新Temporal Reservoir，再将其行动眼前帧Spatial Reuse的输入，以及下一帧的Temporal Reuse的输入，如许确保Temporal Reservoir的样本都来自统一个像素拥有一致的Domain。结尾咱们从Spatial Reservoir中按照RIS estimator的公式计划蒙特卡洛积分的结果，再加上时期空间的Filter举办结尾的降噪。
能够看到全面流程仍是对比简略和明晰的，根本是按部就班地依照NVIDIA论文走下来。可是个中也有少少值得预防的细节，让咱们接着往下走。
时期重采样的第一步是要将眼前像素重投影回上一帧的屏幕空间。而重投影老是存正在少少计划精度偏差，直接用上一帧的UV是无法确切地找到上一帧一致地方的像素。即使贸然应用重投影的UV就会形成如下的Artifact，正在相机搬动时特别显着。
因而这里咱们需正在重投影之后多加一步像素搜求，咱们正在3x3的邻人内查看每个Reservoir的后光开始地方，找到“后光起始天下坐标”与“眼前像素天下坐标”差异最幼的史书帧像素，以此精准地找到重投影后原汁原味的史书帧像素。
精准地找到史书帧像素之后，咱们从中取出Temporal Reservoir并评估Reservoir与眼前帧像素的几何相仿度，以此来断定史书的有用与否。这将正在相机搬动时帮帮咱们敏捷更新掉仍然失效的史书值，裁减了鬼影与延迟。结尾咱们将Initial Sample形成的新样本融入进Reservoir中，并更新其RIS权重。
时期重采样的20个样本行动启动资金，咱们仍然企图好正在空间维度上更进一步，牵连样本数量更多的重采样。
空间重采样的思绪和时期重采样相似，也是将相邻像素的样本团结进眼前像素的Reservoir，由于咱们近邻搜刮的对象是Temporal Reservoir，而每个Temporal Reservoir都是满载20个样本的，因而每次团结相当于浏览了20个样本，服从特殊之高。
咱们仍旧从搜刮边缘的像素先河。开始随机采样UV Offset拿到边缘像素的Reservoir，按照眼前像素的地方和法线计划两个像素之间的几何相仿度，以此断定是否拒绝邻人Reservoir的团结。空间上的复用相当于重修了眼前像素到邻人Reservoir样本点的光途，因而咱们还需求幼心地查抄光途与采样点的半球可见性，以此屏障少少负值极值的处境，由于那种角度不大概存正在对着色点有奉献的光途。
接着咱们按照复用旅途的几何消息计同等个Jacobian队伍式，用来缩放因光途的变换而导致的立体角微元dω的（原论文称为Measurement Density）变换。笔者这里的懂得是，旅途的复用相当于把邻人像素x的光照函数L(x)举办了换元，换成了用当地像素x行动自变量输入的版本L(x)，而Jacobian队伍式恰是用来量度两个坐标系之间举办转换（换元）所带来的积分微元的面积改变。
一个直观的懂得是，如下图所示绿块为2D屏幕上的积分微元dxdy巨细，它的面积正在坐标系发作线性变换之表态应地被拉伸了，而这个线性变换所对应的Jacobian队伍式就形容了其面积的革新。
咱们复用邻人像素的Lighting消息计划陪衬方程的积分，天然而然地会需求计划∫ L(x) dω，而像素之间的dω并不相通，因此需求Jacobian队伍式来举办缩放。
有了Jacobian队伍式，咱们将邻人样本的Target PDF举办缩放，然后按照邻人Reservoir的样本数量计同等个团结权重，这相当于反复Reuse了N次近邻样本，结尾团结Reservoir更新蓄水池样本数量以及RIS estimator权重。这里要预防控造Jacobian的巨细以避免展现Firefly形象。
由于Temporal Reservoir仍然看过了20个样本，假定咱们再举办8次空间重采样，此时每个Reservoir都相当于看过了20x8=160个样本，采样质地有了极大的改观。
正在时期和空间维度上对后光样本举办重采样仍然获得了令人得意的结果，可是其输出并不行直接用于最终图像，咱们仍旧需求老例的降噪器来磨除噪点和震颤。这里笔者直接做了一个最根基的时空滤波，该个此表代码特殊简略就可是多显现。
开始退场的是Temporal Filter，它和TAA的计划流程特殊相似，采样眼前帧像素3x3周围色彩，正在YCoCg空间下计划色彩掩盖盒对史书帧像素的色彩举办钳造，校验像素之间的Geometry Similar断定是否举办史书混杂。
紧接着是Spatial Filter，咱们应用3x3的A-Trous滤波器对图像举办过滤，每一轮次Spatial Filter输入为上一轮次的Spatial Filter的输出。咱们应用逐渐倍增的Filter半径以笼罩更大的区域，对每个采样像素咱们应用深度和法线的相仿度来行动Edge Stopping Function。
正在笔者的实行中通过5次3x3的A-Trous近似了18x18的高斯滤波盒，此时的结果仍然足够光滑行动最终的输出了。
正在第4末节中咱们用了力大砖飞的Spatial Filter来压造图像的噪声，只管咱们成立了Edge Stopping Function，但因为广大的Filter半径，正在近隔断或者Geometry对比高频的地方，咱们遗失了特殊多的细节，搜罗光照的宗旨性、间接光照投射的间接暗影等细节全盘抹平了。
正在本末节中，咱们将欺骗种种妙技测试复原少少Contact Details。纵然有的手腕不是基于物理准确的，可是对待擢升最终的图像质地仍旧有帮帮。
只要深度、法线行动Edge Stopping Function，咱们的Spatial Filter也没有要领辞别这些信号是纯真的噪声仍是因为几何的改变惹起的天然形象，因而咱们需求引入非常的消息行动Guidance。这里笔者参考了Kajiya陪衬器的思绪，正在Spatial Filter的采样权重中非常探讨核心像素与Sample像素的SSAO的数值区别。
这里SSAO的实行笔者做了一个HBAO上去。正在Temporal Filter之前陪衬AO，将AO值存储到Diffuse Irradiance贴图的A通道，然后用Temporal Filter举办降噪。有了Filter Guidance，咱们的Spatial Filter的结果会越发锐利，GI的宗旨性也越强。
留神的读者该当预防到了，正在第3末节咱们实行的Spatial Resampling流程中，笔者正在复用边缘像素时漠视了像素互相之间的可见性，因而Reuse的结果并非无偏。涌现正在画面上即是Indirect的掩饰结果形成了漏光。
漏光的源由正在腾讯HSGI中也有提到，边缘邻人像素的Hit Point，对待眼前像素不必定是可见的。即使贸然连结复用（相当于创办和邻人像素Sample的光途）就会遗失Occlusion消息。
和HSGI相通，咱们正在收场了Spatial Reuse之后，对Spatial Reservoir中仍旧幸存的那一个天选之子Sample举办可见性测试。出于机能探讨，咱们并不发射完美的Hybrid Ray，只正在屏幕空间欺骗半辞别率的Depth Buffer举办简略的线性Ray March。
由于正在第3末节咱们做了厉苛的重投影，因而Temporal Reservoir可能厉苛保障产出自统一个像素，因此获得的结果是无过错的，这极大地缓解了间接遮挡遗失的形象。
固然Spatial Reservoir Validation可能重修准确的间接遮挡，可是咱们尚有Spatial Filter不加任何验证地光滑全豹色彩。对待少少对比细的物体例如椅子腿投下的悠长的Indirect Shadow仍旧会被反对确的Filter掉。
走运的是正在5.2末节咱们举办了Reservoir Validation，而Spatial Reservoir样本中存储的宗旨代表了眼前像素接收光照最强的宗旨。咱们将5.2末节上钩算出的Reservoir置信度（针对近邻像素Sample的可见性测试）直接输出并以为是Indirect Shadow的消息，它和Color沿途正在Temporal和Spatial Filter中接收降噪，正在最终合成阶段操纵正在Irradiance上。
固然不是那么物理准确，可是其带来的视觉后果却越发能凸显场景的光照改变合连。而且咱们只是通过了开销极低的屏幕空间步进实行的，实行注解这是特性价比不错的途径。
Specular可能大大擢升场景切实实感和质感，而除了RTX表主流的Specular计划手腕或多或少都不那么完好。例如SSR匮乏屏幕表的消息，IBL和反射球则依赖烘焙或是只接济Static的场景。对待一个完美的GI计划来说，Specular是不行不品鉴的一个症结。
正在笔者的实行中参考了寒霜引擎的计划，不得不感伤老牌劲旅确实强，差不多十年前的计划到现正在都很见效。由于笔者省略了按照粗燥度做屏幕分块Trace的个别，可是全面流程根本与原PPT相仿。大致分为Initial Sample，Ray Resolve，Temporal和Spatial Filter这四个环节。
话不多说，咱们仍旧从本文实行的软件光追起手（即屏幕空间+隔断场的后光追踪），和Diffuse差异的是咱们的射线是依照GGX散布举办要紧性采样。别的笔者按照寒霜PPT的分享也对BRDF举办了截断，保障正在高粗略度下大个此表后光能收束鸠合到镜面反射宗旨边缘以裁减噪声，正在Screen Trace掷中时咱们按照掷中隔断和Roughness从上一帧的Scene Color的Mip中获取色彩，以补充BRDF截断带来的图像过于明晰。
对待每个全辞别率下的像素，咱们一般选用4个Rray Sample举办连结，充作咱们正在举办4SPP的采样而且形成了4个Sample。如许咱们不单可能得到全辞别率逐像素的Roughness、Normal细节，并且全辞别率每像素4SPP相当于一条Ray咱们掰成了16条来用。
值得预防的是，对待Irradiance的臆想咱们应用的是一个离奇的加权均匀。这正在寒霜的分享中也有提到，是一种叫做Ratio Estimator的抽样方法，它的中央绪途是将陪衬方程中对Lighting的臆想和对BRDF的臆想拆隔离来，对Lighting仍旧应用蒙特卡洛随机抽样举办臆想，对BRDF则应用有解析解（LUT）举办速查表。
BRDF咱们能够通过Image Based Lighting（IBL）中的预积分BRDF图来近似计划，将其FG项独立提出来。由于咱们拆散了陪衬方程，为了仍旧结果切实切咱们要正在分母上同时除以一个FG项。这个FG项本来即是预积分的红绿图，正在最终合成阶段咱们再乘回去。
懂得了数学上的道理，上文代码中权重计划的代码就呼之欲出了。本来即是一个BRDF的计划，咱们按照全辞别率像素的地方行动后光起始，半辞别率的Ray Sample行动后光止境，连结一条光途并用逐像素的Normal和Roughness评估BRDF，结尾加权均匀。
进程复用后的图像仍然初具雏形，可是仍旧存正在少少噪声。正在此根基上咱们也需求举办Temporal和Spatial的Filter来平静最终的图像。
咱们首优秀行Temporal Filter，值得预防的是重投影时咱们不再按照后光开始表貌的坐标举办重投影，由于Filter的信号是倒影中的虚像，咱们要针对虚像的地方举办重投影。
即使应用虚像地方做重投影，能够看到虚像的拖影指示了准确的Motion。这个拖影咱们正在Temporal Filter中加上和TAA相似的近邻色彩掩盖盒对史书色彩举办钳造就能处分，这里没有开启是为了直观的显示重投影的运动宗旨。
原形上咱们同时采用了两种差异的重投影计谋。对待润滑的表貌咱们应用虚像地方举办重投影，对待粗略的表貌咱们和Diffuse信号相似仍旧应用后光开始点举办重投影，结尾按照粗略度来断定两种重投影混杂的比例。
结尾咱们再举办Spatial Filter进一步清除噪点和Firefly，这里的Spatial Filter和Diffuse有点差异。咱们按照粗略度来断定filter的周围，然后正在周围内随机选用像素，用深度法线和UV隔断衰减确定双边滤波的权重，然后累加。
代码特殊简略，独一值得预防的是咱们正在计划相邻像素色彩时要举办ToneMapping，正在累加结果之后再反向ToneMapping回去。由于Specular波瓣式样会形成特殊多的尖峰，进程ToneMapping能极大地低浸结果的闪灼。咱们正在上文Ray Reuse Pass加权均匀色彩时也用到了这个技艺。
别忘了咱们正在Ray Reuse Pass中把预积分的BRDF独立提取出来了，咱们正在最终合成Pass需求把它加回去，如许才是完美的陪衬方程。
咱们仍旧用EPIC店肆的免费场景Modular Asian Medieval City为例，正在半怒放的室表以保障射向天空的Ray行进了足够的隔断。
笔者的电脑为3060 Laptop（挣韭者），陪衬辞别率为1712x1024，后光，别的为了开采简单限造台变量默认开启r.Shaders.Optimize=0，没有试过Cook后的处境。
对待Diffuse流程，机能的大头首假若三块：初始样本天生时的混杂后光追踪，ReSTIR 时空重采样，以及结尾的空间降噪。
当笔者一起登攀认为到达了山顶，却发明Unreal大神早早就站正在了山顶，并给出了完好的GI计划。这种压迫感与湮塞感不禁令我念起俊杰同盟s8 CG中，掌门登攀到了空无一人的山顶，却发明飞神早已恭候多时。诚然，民科笔者业余时期瞎折腾捣胀褴褛轮子，是不大概与EPIC的全职天分工程师们精雕细琢的工业明珠相提并论。重视差异，但不宜妄自浮浅，更要紧的是咱们一起走来从中成效学到了什么。
通过实行ReSTIR、时空降噪等算法，笔者也长远懂得了“绝知此事要躬行”的原因，真正Coding起来仍是有特殊多要预防的地方的。同为降噪计划，笔者以为仅对待Indirect Lighting来说，Lumen Screen Probe Gather + SS Bent Normal的计谋要好于ReSTIR，相对地ReSTIR正在纯光追形式下（相似离线陪衬用NEE，直接+间接光拉一块a了）拥有更好的涌现。结尾，令笔者觉得无意的是，本质用下来UE引擎的图形编程体验也远非网上咨询的那般不胜，正在玩熟玩溜了之后会发明这都不是事儿。
UE引擎之途道阻且长。可是踏上取经途，比抵达灵山越发要紧。回首才发明最难的那一步，即是最初的第一步。途途坚苦却难掩喜悦，笔者将一起走来的所见所闻记载于此，指望与大伙前进共勉。
文末，再次感激 AKG4e3 的分享， 作家主页： ， 即使您有任何独到的看法或者发明也迎接合联咱们，沿途考虑。（QQ群： 793972859 ）。
