澹台千儿

# Outline First-order optimization SGD and its variants # 机器学习回顾 A set of data: X={xn}n=1N⊂XX = \{x_n\}_{n=1}^N \subset \mathcal{X}X={xn​}n=1N​⊂X, optionally, with labels Y={y}n=1N⊂YY = \{y\}_{n=1}^N \subset \mathcal{Y}Y={y}n=1N​⊂Y. A loss function L:Y×Y↦RL : \mathcal{Y} \times \mathcal{Y}...

# 数据挖掘 数据挖掘 (data mining) 不强调学习，强调从数据中提取信息并形成可理解的结构的过程。 # 基本的方法 # PCA 最基本的方法，永远的折磨，不再讲了。 # 随机投影 z=1kPx,\bm{z} = \frac{1}{\sqrt{k}}\bm{P}\bm{x}, z=k​1​Px, 其中 P\bm{P}P 是随机投影矩阵，从标准正态分布中采样得到；x∈Rd,z∈Rk\bm{x} \in \mathbb{R}^d, \bm{z} \in \mathbb{R}^kx∈Rd,z∈Rk, 且有 k≪dk \ll dk≪d. （似乎）显然，如果 Pij,∀i,jP_{ij},...

# Physics-informed Leaerning 对一个系统，其建模包括两种方式： Physics-based Modeling: 基于物理方程进行建模。 Deep Learning: 基于数据进行建模。 如果数据不够多，物理方程也不够充分，那么该怎么进行 trade-off? # 动力系统 # 离散动力系统 离散动力系统 (discrete dynamical system) 使用 ODE 进行建模。 最简单的是一阶常微分方程描述的一阶动力系统： y˙=f(y,u).\dot{y} = f(y, u). y˙​=f(y,u). 如果 u=0u=0u=0, 则称为自治系统...

# 推荐系统 # 由来 推荐系统的由来是信息过载，即社会信息超过了个人或系统所能承受的数量。 推荐系统和信息检索的区别： 主动和被动：相比于信息检索，推荐系统的对象一般没有明确的 query, 个性化程度的高低：推荐系统个性化程度更高 快速满足还是持续服务 是否满足文字难以表达的需求 # 定义 推荐系统是对用户偏好进行预测，并向用户推荐其可能感兴趣的信息或物品的系统。 推荐系统的核心是协同过滤。 # 任务 推荐系统的性能评测包括两个任务： 评分预测：给定一个用户和一个项目，预测用户对项目的评分。 top-n 推荐：给定一个用户，预测其最感兴趣的 n...

# 知识图谱 现在还需要显式的 knowledge graph 吗？ 知识图谱 (knowledge graph) 是一个描述实体及其关系的数据库。 数学推理应该是基于自然语言的，还是基于 lean 等结构化表述的？ # 知识图谱的历史 早期的知识图谱包括两个发展阶段： knowledge to data: 将知识使用数据存储。从引文索引中检索文献，是知识图谱最早期的研究。进而研究用文献之间的引证关系，研究知识发展的脉络。 symbolic logic: 符号逻辑 semantic network: 语义网络 expert system: 专家系统 Eg: Japanese 5th...