©作者 | 蔡永强

来源 | 量子位

没有算法没有实验，从 2610 篇收录论文中脱颖而出，成为唯一一篇纯理论入选 2024 ICML Spotlight 的论文。 

“Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions（词的万能逼近：从语言角度看映射组合）”，这篇纯理论论文讲了什么，何以入选 Spotlight？

论文标题：

Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions

论文链接：

自然语言与万能逼近的相似之处

认知心理学家和语言学家早已认识到语言对于智能的重要性，而 BERT 和 GPT 等语言模型的流行进一步凸显了这一点。这些基于 RNN 或 Transformer 的模型通过将自然语言处理转化为序列学习问题，彻底改变了自然语言处理的研究方向。它们可以处理文本中的长程依赖性，并根据上下文内容生成连贯的文本，这使它们成为语言理解和生成方面的重要工具。 

这些模型的成功还催生了一种通过将非序列问题转化为序列问题来解决非序列问题的新方法。例如，图像处理可以转化为序列学习问题，将图像分割成小块，将它们按一定顺序排列，然后使用序列学习算法处理得到的序列以实现图像识别。

序列学习算法的使用还可以扩展到强化学习领域，例如 Decision Transformer通过利用因果掩码 Transformer 输出最佳动作，可以取得很好的性能。序列建模为解决各种问题开辟了新的可能性，这种趋势似乎在理论研究领域也得到了体现。

众所周知，人工神经网络具有万能逼近能力，宽或深的前馈网络可以任意逼近紧集上的连续函数。然而，在 AlphaFold、BERT 和 GPT 等实际应用中，残差网络结构比前馈结构更受青睐。据观察，残差网络（ResNet）可以视为动力系统的前向欧拉离散，这种关系催生了一系列基于动力系统的神经网络结构，例如连续情形的 Neural ODE 等。基于动力系统的神经网络结构有望在各个领域发挥重要作用。 

值得注意的是，语言模型和动力系统都与时间序列建模相关，并且已有效地应用于非序列问题。这一观察自然会让我们产生疑问：语言模型和时间序列建模各自的成功之间是否存在内在联系？ 

本文这项研究就是在探究这一问题。

总结来说，研究有以下几个贡献： 

• 证明了通过复合有限集 V 中的一系列映射可以实现万能逼近性质；

• 给出了构造性证明，基于动力系统流映射构造了满足条件的 V；

• 给出了复合映射与自然语言中的单词/短语/句子之间的一个类比，这可以启发逼近理论、动力系统、序列建模和语言学之间的跨学科研究。

主要结论

记号

定理的证明涉及的知识要点罗列如下：

1. 保持定向的微分同胚可以近似连续函数（Brenier & Gangbo, 2003 ）；

2. 保持定向的微分同胚可以用微分方程的流映射来近似（Agrachev & Caponigro, 2010) ；

3. 常微分方程可以使用算子分裂格式来近似求解（Holden et al., 2010）； 

4. 单隐藏层的神经网络可以近似任意连续函数（Cybenko, 1989）；

总结与启发

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧