澹台千儿

# 优化算法的分类 零阶优化：只使用函数 f(x)f(x)f(x) 本身 遗传算法 贝叶斯优化 一阶优化：使用函数 f(x)f(x)f(x) 和其梯度 ∇f(x)\nabla f(x)∇f(x) 梯度下降算法 随机梯度下降算法 二阶优化：使用函数 f(x)f(x)f(x)、其梯度 ∇f(x)\nabla f(x)∇f(x) 和其 Hessian 矩阵 ∇2f(x)\nabla^2 f(x)∇2f(x) 牛顿法 拟牛顿法 # 牛顿法 二阶泰勒展开如下： f(xk+dk)=f(xk)+∇f(xk)Tdk+12dT∇2f(xk)dkf(\textbf{x}^k +...

传统分子动力学的缺点： 使用积分需要选择很小的 Δt\Delta tΔt. 从而导致计算量大和误差累积。 传统分子动力学是一个 Markov 过程。但是使用生成模型可以避免这个问题。 time-coarsened: 学习一个 τ≫Δt\tau \gg \Delta tτ≫Δt 的相关关系 P(Xt+τ∣Xt)P(X_{t+\tau}|X_t)P(Xt+τ​∣Xt​). 专用的 domain knowledge 不适合用来做 unified model. 小分子的通用模型直接用原子序数作为词表，这与蛋白质词表（氨基酸或者更细致使用 alpha 碳）不同。因此使用 unified model...

能不能用 LLM 辅助论文写作？ACM 等有明确要求。ACM 的要求包括： LLM 不能列为作者 使用 LLM 生成的文字需要显式声明，即表明哪一段是由 LLM 生成的 可以用来进行基本的文字处理、语法检查、翻译等，无需进行声明。 对于图（如 pipeline），common knowledge 之外，不可以直接 copy, 最好重绘，否则也需要标注引用。 抄袭非正式发表的内容仍然属于抄袭的范围，例如 arXiv, Wikipedia, 一些 tutorials 等。

# Application of NER # NER 的目的 NER 可以有助于下一步的具体任务，包括： natural language understanding—— 解决 “每个字都认识，但是合起来不认识” 的问题。 识别代词的指代关系，用来 entity linking relation extraction Web query understanding question answering cocreference resolution # Evaluation of NER 这里设计到一个 trade off: selected and...

# Outline First-order optimization SGD and its variants # 机器学习回顾 A set of data: X={xn}n=1N⊂XX = \{x_n\}_{n=1}^N \subset \mathcal{X}X={xn​}n=1N​⊂X, optionally, with labels Y={y}n=1N⊂YY = \{y\}_{n=1}^N \subset \mathcal{Y}Y={y}n=1N​⊂Y. A loss function L:Y×Y↦RL : \mathcal{Y} \times \mathcal{Y}...