文章列表
深度生成模型(3):变分自编码器
# 混合高斯分布 不管 σ,μ\sigma, \muσ,μ 如何变化,使用高斯分布都是单峰的,因此在概率的估计上具有局限性。一种最简单的想法就是使用混合高斯分布,即多个高斯分布的求和: p(x)=∑k=1KπkN(x∣μk,Σk).p(x) = \sum_{k=1}^K \pi_k \mathcal{N}(x|\mu_k, \Sigma_k). p(x)=k=1∑KπkN(x∣μk,Σk). 其对数似然分布为 logp(D∣π,μ,Σ)=∑n=1Nlog(∑k=1KπkN(xn∣μk,Σk)).\log p(\mathcal{D}|\pi, \mu, \Sigma) =...
more...主文献阅读(3):二阶优化算法和双层优化算法
# 优化算法的分类 零阶优化:只使用函数 f(x)f(x)f(x) 本身 遗传算法 贝叶斯优化 一阶优化:使用函数 f(x)f(x)f(x) 和其梯度 ∇f(x)\nabla f(x)∇f(x) 梯度下降算法 随机梯度下降算法 二阶优化:使用函数 f(x)f(x)f(x)、其梯度 ∇f(x)\nabla f(x)∇f(x) 和其 Hessian 矩阵 ∇2f(x)\nabla^2 f(x)∇2f(x) 牛顿法 拟牛顿法 # 牛顿法 二阶泰勒展开如下: f(xk+dk)=f(xk)+∇f(xk)Tdk+12dT∇2f(xk)dkf(\textbf{x}^k +...
more...未命名
传统分子动力学的缺点: 使用积分需要选择很小的 Δt\Delta tΔt. 从而导致计算量大和误差累积。 传统分子动力学是一个 Markov 过程。但是使用生成模型可以避免这个问题。 time-coarsened: 学习一个 τ≫Δt\tau \gg \Delta tτ≫Δt 的相关关系 P(Xt+τ∣Xt)P(X_{t+\tau}|X_t)P(Xt+τ∣Xt). 专用的 domain knowledge 不适合用来做 unified model. 小分子的通用模型直接用原子序数作为词表,这与蛋白质词表(氨基酸或者更细致使用 alpha 碳)不同。因此使用 unified model...
more...