dlss3光流估计的paper找到了

我輩樹である

https://drinkingcoder.github.io/publication/flowformer/

发表于ECCV2022。B站推送给我的 ，当然只是推测。

光流估计是很经典的任务，也有很经典的算法，始于上世纪88年。

但这次nv结合了transformer这个明星注意力模型，所以这也是为什么ada lovelace也有(adaptive)transformer engine的原因吧。

另外，其他光流估计算法的排名：

https://paperswithcode.com/task/optical-flow-estimation

第二名的GMA，也是性能比较好（且同时需要矩阵加速的）。

nvidia的线上会议也有讲这个的部分（6分30秒开始）：

https://register.nvidia.cn/flow/ ... 6560928238830016cx4

-----------------------------------------------------------

关于光流估计是否40独占，nv的回应：

Building upon DLSS Super Resolution, DLSS 3 adds Frame Generation to create entirely new frames, and integrates NVIDIA Reflex low latency technology for optimal responsiveness.

DLSS Frame Generation is supported on GeForce RTX 40 Series GPUs. The AI network uses the RTX 40 Series high-speed Optical Flow Accelerator to calculate the motion flow to input into the AI network, then executes the network on 4th Generation Tensor Cores.

qjj2857

膜拜大佬

dyr

能详细的科普（扫盲）一下吗？谢谢了。

我輩樹である

dyr 发表于 2022-9-24 12:27
能详细的科普（扫盲）一下吗？谢谢了。

https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/126672383

可以看看别人的解读。如果不是这方面的专业，很难通过科普说明白。

我唯一能说的就是，transformer是这几年的热门模型。做序列预测的时候，一个确定的事实是：参考的上下文越多性能越好（例如我们人类的大脑就有极强的上下文理解能力），同时，对计算能力的消耗也就越高，那么transformer就是一种可以解决这个权衡的模型之一。

当然了，这个论文里面的flowformer还有很多其他的创新，不可忽视。

evangelion_air

还没看论文

单纯从DLSS3.0宣传页面内容的描述情况来看，光流法只是用在不存在运动向量的部分，例如影子这部分的分辨率提升
让DLSS3.0帧数大幅提升的主要原因应当不是单纯加入光流法实现的，光流法更像是解决错误超分辨率的计算

同时公开信息表示的渲染1/8重建7/8的表述，DLSS3.0实际上是“凭空”造了一帧出来，我觉得这个才是大幅提升帧数的主要原因

PolyMorph

20 30 也有光流计算单元

我輩樹である

PolyMorph 发表于 2022-9-24 13:42
20 30 也有光流计算单元

不是光流加速器。这个应该是要么集成在tensor core内部，要么是tensor core的附件，共享tensor core的缓存。

之前的光流单元也进化了三代了，主要还是处理内容创造领域的离线资源。速度不用很快，规模不用很大，延迟也完全不用考虑。现在是处理内容消费端的在线资源了。

埃律西昂

PolyMorph 发表于 2022-9-24 13:42
20 30 也有光流计算单元

但30系的只有40%性能。

埃律西昂

也就是说用上了发布会上说的"Hopper FP8 xxxxxx"？

我輩樹である

埃律西昂 发表于 2022-9-24 13:45
也就是说用上了发布会上说的"Hopper FP8 xxxxxx"？

是啊，hopper下放的。

我輩樹である

psps3 发表于 2022-9-24 13:53
比较好奇，这个以后能给电影插帧么

理论上肯定可以。

我輩樹である

evangelion_air 发表于 2022-9-24 13:39
还没看论文

单纯从DLSS3.0宣传页面内容的描述情况来看，光流法只是用在不存在运动向量的部分，例如影子这 ...

不是超分，就是生成新的帧数，输入就是4K。

当然了，它只是提供一个像素运动向量的矩阵，并不能直接生成帧数。

可以看这个：
https://developer.nvidia.com/blo ... d-rtx-path-tracing/

现在dlss2.0开始，它的超分流程也是应用时域数据的预测了，和光流估计利用序列数据上的解决思路上是类似的。

线上会议说的蛮清楚的，超分在进入光流加速器前就结束了，它只用于生成新帧：



重建帧之前，motion vector和optical flow field做了个加权。解决了鬼影问题。

lmbh

不懂，举个例子，是不是类似 某个点的运动轨迹，在第一帧处于点1，第二帧处于点3，显卡通过点1点3的位置计算出点2的位置，把点2插到第一帧和第二帧之间？

我輩樹である

lmbh 发表于 2022-9-24 14:34
不懂，举个例子，是不是类似 某个点的运动轨迹，在第一帧处于点1，第二帧处于点3，显卡通过点1点3的位置计 ...

离线资源（比如视频）是这么插的，T-1，T+1预测T。

在线（比如游戏）就是T-2，T-1，预测T。

evangelion_air

我輩樹である 发表于 2022-9-24 14:00
不是超分，就是生成新的帧数，输入就是4K。

当然了，它只是提供一个像素运动向量的矩阵，并不能直接生成 ...

据我所知光流法只能保证像素在时域上的连续性，在空间上是无法保证的，比较直观的一点就是对于发生运动的场景必然出现视差问题，导致后续帧画面出现先前帧不存在的物体，此时光流法就直接寄了，不知道DLSS3.0靠光流插帧的做法效果会怎么样，还是说对于游戏画面这种artificial的场景，内容是可以靠深度学习正确(近似)补偿出来的，然而关于结合深度学习的光流法插帧，这部分在线上会议貌似没有明确说明原理，估计是你发的论文里有相关线索了

evangelion_air

感觉GTC 2020讲DLSS2.0原理的部分就很不错，虽然也是很简化没说详细细节，但是比这次说DLSS3.0的实现过程要详细多了

当时的会议是国人刘诗秋做的报告，还有知乎账号的加成，感觉理解起来比看paper快多了（

我輩樹である

evangelion_air 发表于 2022-9-24 15:03
据我所知光流法只能保证像素在时域上的连续性，在空间上是无法保证的，比较直观的一点就是对于发生运动的 ...

从演讲上看，其实还是在原来dlss的运动矩阵上加权，权重应该是来自于不同管线阶段，比如rt core的部分会在光流场矩阵上有更高的权重，其他部分则是motion vector的权重更高。

其实就像你说的，修正了motion vector的错误。

另外现在的光流估计都是结合深度学习技术，你说的视差问题，不知道是不是指的传统光流法。

当然了只要是向量估计，肯定会有视差问题，就是控制到什么程度的能力了，这个世界是概率的。

风车车

额，Jifeng组这个工作不就是把RAFT前面的correlation的点乘换成了attention，backbone用的还是Twins，后面decoder好像还是三层的GruConv



效果肯定好，毕竟参数是RAFT三倍，要是和RAFT-S比，十几倍的参数



我不认为在volume上搞attention算什么强contribution，3D learning领域用的不少，flow无非是估计per pixel的affine变换也就是2D变换，MVS也就是知道3D的变换卷出来depth，肯定是有contribution，但没有RAFT当年那么大。



这个工作，你让他基于这个去弄一个SLAM，就搞不出来。



Zhaoyang Huang是Xiaowei Zhou的学生来着我记得，他们组挺多人〇



结论：想发三大会就要〇

panzerlied

风车车 发表于 2022-9-28 15:50
额，Jifeng组这个工作不就是把RAFT前面的correlation的点乘换成了attention，backbone用的还是Twins，后面d ...

传下去，风车车是〇

我輩樹である

徐俊平 发表于 2022-9-28 15:40
Nv的回应：
在DLSS超级分辨率的基础上，DLSS 3增加了帧生成功能，以创建全新的帧，并集成了NVIDIA Reflex低 ...

nv reflex减的是光栅流程里面的延迟，40还有个硬件编排器，所以可能30和40也不一样。

我輩樹である

风车车 发表于 2022-9-28 15:50
额，Jifeng组这个工作不就是把RAFT前面的correlation的点乘换成了attention，backbone用的还是Twins，后面d ...

不明觉厉。我觉得挺厉害的。现在大家都在换注意力模型，效果好能发顶会顶刊就行，要搞出attention级别的理论创新才算强贡献么？太苛刻。

transformer本来就是一个框架，只要你用了多头注意力，就可以叫xxformer。

风车车

发错编辑了

YsHaNg

风车车 发表于 2022-9-28 07:50
额，Jifeng组这个工作不就是把RAFT前面的correlation的点乘换成了attention，backbone用的还是Twins，后面d ...

要这么说Conor组人更多 RAPIDS还更赚钱

JUNYI

单看这个paper真没啥
主要还是工程上的contribution大

Illidan2004

我輩樹である 发表于 2022-9-24 13:54
理论上肯定可以。

理论上是不是以后要变成N卡插帧视频了。。。不过目前好像没人做这个插件

我輩樹である

Illidan2004 发表于 2022-10-18 10:33
理论上是不是以后要变成N卡插帧视频了。。。不过目前好像没人做这个插件 ...

老黄的optical flow sdk自带了。svp pro可以选，就是不知道从30到40是不是无缝切换的。

查了下，马上要出了：
https://developer.nvidia.com/blo ... a-ada-architecture/

The NVIDIA Ada Lovelace Architecture has a new optical flow accelerator, NVOFA, that is 2.5x more performant than the NVIDIA Ampere Architecture NVOFA. It provides a 15% quality improvement on popular benchmarks including KITTI and MPI Sintel.

2.5倍性能，15%质量。

Illidan2004

我輩樹である 发表于 2022-10-18 10:37
老黄的optical flow sdk自带了。svp pro可以选，就是不知道从30到40是不是无缝切换的。

查了下，马上要 ...

那SVP以后能提高很多效率了？ 不过就是SVP的玩意 的确是画面变化大的时候瑕疵很多  
AFM这种偏保守的做的很好  取舍非常纠结的  目前还是用了一张560插帧  但是毕竟占一个槽

我輩樹である

Illidan2004 发表于 2022-10-18 10:42
那SVP以后能提高很多效率了？ 不过就是SVP的玩意 的确是画面变化大的时候瑕疵很多  
AFM这种偏保守的做的 ...

画面变化大的时候谁都不好使吧，除了在论文里面。
https://twitter.com/omarsar0/status/1580922597566730240