今天和同学聊天,主要聊了聊目前 AI 发展的现状和可能会出现的问题,以及如何面向这些问题来做我们的科研。

# 引子 —— 文章的 novelty

现在 AI 的许多文章都要求 novelty, 但是怎样是 novelty, 这是所谈论的第一个话题。

目前来看,AI 的大多数文章都是提出了一个新的算法或模型,那么便要求算法或模型具有 novelty. 这里的 novelty 一般来看是算法或者模型在架构上的创新,比如如何修改了 loss 函数,如何将两个基本的模型结合在一起获得了好的效果,如何将一个模型的某个模块进行修改显著降低了时间复杂度等等。总之,AI 文章的 novelty 一般需要在架构上有所创新。

其实之前我应该也总结过,一篇好的文章一般需要做到在内容实验或者写作三者之一上有亮点,不然很难被审稿人所认可。但是在目前 AI 文章 “短平快” 的当下,(学术界的)大多数文章的实验都是在几个固定领域数据集上进行 “刷点”,而没有深入到底层的应用上去。这样就导致许多偏向应用的文章使用的数据集较为偏门,实验需要更大的工作量和更多的 dirty work, 进而导致难以快速迭代发文章,发表的文章也很难有影响力。

那么,只使用类似于 toy dataset 来进行测试是否是一个学科的正常现象呢?

# 从科学史看 AI 的当下

要想理解前面的问题,需要从科学史的角度来进行理解。

一个很有趣的例子是傅里叶分析的发展史。傅里叶分析最早起源于热力学的研究。当时的错误理论认为,热量需要介质才能传播。但是在此基础上,傅里叶发现温度分布曲线可以由一组正弦波组合形成,这样的理论最终形成了傅里叶分析。

# AI 的科学性

是 AI 发展的科学性问题。

现在的 AI, 其实某种程度上还算是处于 “炼金术” 阶段,算不上真正的 “科学”。很多学科的发展都有从愚昧到科学的进步过程,比如星象学到天文学的发展,炼金术到化学的发展等等。如果能找到星象学与天文学之间的分野标志性特征,那么加以类比,或许就可以找到让 AI 变得 “科学” 的途径。

# 使用 AI 解决具体的问题

有效场论 —— 让规则限制在其所处的环境中。

# 物理学不如 AI 的地方

晶格激发 —— 间断点的分析。

统计力学中的粒子数求导。

理不顺了,抽空随缘写吧。