Neural Gaussian Scale-Space Fields

Felix Mujkanovic, Ntumba Elie Nsampi, Christian Theobalt, Hans-Peter Seidel, Thomas Leimkühler

Max-Planck-Institut

SIGGRAPH 2024

https://neural-gaussian-scale-space-fields.mpi-inf.mpg.de/

Abstract

Gaussian scale spaces are a cornerstone of signal representation and processing, with applications in filtering, multiscale analysis, anti-aliasing, and many more. However, obtaining such a scale space is costly and cumbersome, in particular for continuous representations such as neural fields. We present an efficient and lightweight method to learn the fully continuous, anisotropic Gaussian scale space of an arbitrary signal. Based on Fourier feature modulation and Lipschitz bounding, our approach is trained self-supervised, i.e., training does not require any manual filtering. Our neural Gaussian scale-space fields faithfully capture multiscale representations across a broad range of modalities, and support a diverse set of applications. These include images, geometry, light-stage data, texture anti-aliasing, and multiscale optimization.

高斯尺度空间是信号表示和处理的核心基石，其在过滤、多尺度分析、抗锯齿、以及许多其他应用中的应用广泛。然而，获取这样的一个尺度空间是昂贵且繁琐的，尤其是在连续表示（如神经领域）中，学习一个高斯尺度空间所需的资源和时间远远超过了手动筛选的过程。
本文提出了一种高效的、轻量级的方法来学习一个完全连续、各向异性的高斯尺度空间的模型。基于傅立叶特征模数化和Lipschitz bounding，通过自定义训练任务，即不需要任何人工过滤过程即可完成高斯尺度空间的学习和应用。这种方法具有高度的灵活性和适应性，可以广泛应用于各种信号表示和处理的应用场景中，包括但不限于图像、几何、光谱数据、纹理抗锯齿以及多尺度优化等。

Gaussian scale spaces

Note

对于一个信号 $f : R^{d_{i}} \to R^{d_{o}}$ ，对应的线性高斯尺度空间定义为

f_{Σ} (x) := \frac{1}{\sqrt{(2 π)^{d_{i}} \det (Σ)}} \int_{R^{d_{i}}} f (x - τ) \exp (- \frac{1}{2} τ^{T} Σ^{- 1} τ) d τ

其实也就是 $f$ 和一个由正定矩阵 $Σ$ 定义的高斯核的连续卷积。

a : 原始图像
b : 各向同性滤波
c,d : 各向异性滤波

Position-Encoding

γ (x) = (\begin{matrix} λ_{1} \cos (2 π a_{1}^{T} x) \\ λ_{1} \sin (2 π a_{1}^{T} x) \\ ⋮ \\ λ_{m} \cos (2 π a_{m}^{T} x) \\ λ_{m} \sin (2 π a_{m}^{T} x) \end{matrix}) .

$a_{i} \in R^{d_{i}}$ : frequency vectors
$λ_{i} \in R$ : weights of corresponding Fourier features

Lipschitz continuity

Note

函数的Lipschitz 连续定义了函数变化的快慢，形式上说，存在一个Lipschitz bound $c$

{‖ f (x_{1}) - f (x_{2}) ‖}_{p} \leq c {‖ x_{1} - x_{2} ‖}_{p}

原始 Position-Encoding + MLP架构学习到的 $F$ 基本上就是原始的信号（前提是 Position Encoding 维度无穷，MLP 表示能力足够）
如果只是在 Position-Encoding 中对于高频信号做压制，也就是降低权重，调整高频信号的占比，会产生类似方框中的异常波动
如果对 Position-Encoding Encoding + Lipschitz-bounded MLP 的确可以起到类似于光滑的作用，但是这里Lipschitz 系数往往是难以确定的，也就是说，如果我想要特定的光滑系数 $t$ ，我并不能知道该如何选取 Lipschitz 常数 $c$
本文提出的方法更像将光滑系数 t 嵌入到 Position-Encoding 中，这样就可以计算出不同的 t 对应的“光滑之后的 $F (x, t)$ "至到底差多少，实验说明是一个线性的关系，可以具体计算。

Method

表示

$F (x, \hat{Σ}) = \overset{―}{Ψ_{θ}} (γ (x, \hat{Σ}))$ $λ_{i} (\hat{Σ}) = \exp (- \sqrt{a_{i}^{T} \hat{Σ} a_{i}}) .$ $F (x, Σ) = \overset{―}{Ψ_{θ}} (γ (x, h (Σ)))$ $\hat{Σ} = h (Σ) \approx μ Σ$

Lipschitz-bounded function construction

SVD分解 $$W_k = U_kS_KV_K^T$$

| | W_{k} | |_{2} \leq q $ $ 可 以 通 过 将 $ S_{k} $ 通 过 一 个 S i g m o i d 函 数 控 制! [] (h t t p s : / / c d n . m a t h p i x . c o m / s n i p / i m a g e s / r - v Q U O U m M N 7 F L 57 c 6 m N v 6 F V s U F 25 e x o Q n p O 95 o D a a - M . o r i g i n a l . f u l l s i z e . p n g)

![[dragon.mp4]]
![[bbq.mp4]]