1.6k 字 1 分钟

# 优化算法的分类 零阶优化：只使用函数 f(x)f(x)f(x) 本身 遗传算法 贝叶斯优化 一阶优化：使用函数 f(x)f(x)f(x) 和其梯度 ∇f(x)\nabla f(x)∇f(x) 梯度下降算法 随机梯度下降算法 二阶优化：使用函数 f(x)f(x)f(x)、其梯度 ∇f(x)\nabla f(x)∇f(x) 和其 Hessian 矩阵 ∇2f(x)\nabla^2 f(x)∇2f(x) 牛顿法 拟牛顿法 # 牛顿法 二阶泰勒展开如下： f(xk+dk)=f(xk)+∇f(xk)Tdk+12dT∇2f(xk)dkf(\textbf{x}^k +...
567 字 1 分钟

传统分子动力学的缺点： 使用积分需要选择很小的 Δt\Delta tΔt. 从而导致计算量大和误差累积。 传统分子动力学是一个 Markov 过程。但是使用生成模型可以避免这个问题。 time-coarsened: 学习一个 τ≫Δt\tau \gg \Delta tτ≫Δt 的相关关系 P(Xt+τ∣Xt)P(X_{t+\tau}|X_t)P(Xt+τ​∣Xt​). 专用的 domain knowledge 不适合用来做 unified model. 小分子的通用模型直接用原子序数作为词表，这与蛋白质词表（氨基酸或者更细致使用 alpha 碳）不同。因此使用 unified model...
212 字 1 分钟

能不能用 LLM 辅助论文写作？ACM 等有明确要求。ACM 的要求包括： LLM 不能列为作者 使用 LLM 生成的文字需要显式声明，即表明哪一段是由 LLM 生成的 可以用来进行基本的文字处理、语法检查、翻译等，无需进行声明。 对于图（如 pipeline），common knowledge 之外，不可以直接 copy, 最好重绘，否则也需要标注引用。 抄袭非正式发表的内容仍然属于抄袭的范围，例如 arXiv, Wikipedia, 一些 tutorials 等。
2.9k 字 3 分钟

# Application of NER # NER 的目的 NER 可以有助于下一步的具体任务，包括： natural language understanding—— 解决 “每个字都认识，但是合起来不认识” 的问题。 识别代词的指代关系，用来 entity linking relation extraction Web query understanding question answering cocreference resolution # Evaluation of NER 这里设计到一个 trade off: selected and...
2.9k 字 3 分钟

# Outline First-order optimization SGD and its variants # 机器学习回顾 A set of data: X={xn}n=1N⊂XX = \{x_n\}_{n=1}^N \subset \mathcal{X}X={xn​}n=1N​⊂X, optionally, with labels Y={y}n=1N⊂YY = \{y\}_{n=1}^N \subset \mathcal{Y}Y={y}n=1N​⊂Y. A loss function L:Y×Y↦RL : \mathcal{Y} \times \mathcal{Y}...