知识表示与推理(2):命名实体识别
# Application of NER # NER 的目的 NER 可以有助于下一步的具体任务,包括: natural language understanding—— 解决 “每个字都认识,但是合起来不认识” 的问题。 识别代词的指代关系,用来 entity linking relation extraction Web query understanding question answering cocreference resolution # Evaluation of NER 这里设计到一个 trade off: selected and...
more...主文献阅读(2):最优化算法
# Outline First-order optimization SGD and its variants # 机器学习回顾 A set of data: X={xn}n=1N⊂XX = \{x_n\}_{n=1}^N \subset \mathcal{X}X={xn}n=1N⊂X, optionally, with labels Y={y}n=1N⊂YY = \{y\}_{n=1}^N \subset \mathcal{Y}Y={y}n=1N⊂Y. A loss function L:Y×Y↦RL : \mathcal{Y} \times \mathcal{Y}...
more...数据挖掘随记
# 数据挖掘 数据挖掘 (data mining) 不强调学习,强调从数据中提取信息并形成可理解的结构的过程。 # 基本的方法 # PCA 最基本的方法,永远的折磨,不再讲了。 # 随机投影 z=1kPx,\bm{z} = \frac{1}{\sqrt{k}}\bm{P}\bm{x}, z=k1Px, 其中 P\bm{P}P 是随机投影矩阵,从标准正态分布中采样得到;x∈Rd,z∈Rk\bm{x} \in \mathbb{R}^d, \bm{z} \in \mathbb{R}^kx∈Rd,z∈Rk, 且有 k≪dk \ll dk≪d. (似乎)显然,如果 Pij,∀i,jP_{ij},...
more...推荐系统(1):intro
# 推荐系统 # 由来 推荐系统的由来是信息过载,即社会信息超过了个人或系统所能承受的数量。 推荐系统和信息检索的区别: 主动和被动:相比于信息检索,推荐系统的对象一般没有明确的 query, 个性化程度的高低:推荐系统个性化程度更高 快速满足还是持续服务 是否满足文字难以表达的需求 # 定义 推荐系统是对用户偏好进行预测,并向用户推荐其可能感兴趣的信息或物品的系统。 推荐系统的核心是协同过滤。 # 任务 推荐系统的性能评测包括两个任务: 评分预测:给定一个用户和一个项目,预测用户对项目的评分。 top-n 推荐:给定一个用户,预测其最感兴趣的 n...
more...物理驱动机器学习(1):动力系统
# Physics-informed Leaerning 对一个系统,其建模包括两种方式: Physics-based Modeling: 基于物理方程进行建模。 Deep Learning: 基于数据进行建模。 如果数据不够多,物理方程也不够充分,那么该怎么进行 trade-off? # 动力系统 # 离散动力系统 离散动力系统 (discrete dynamical system) 使用 ODE 进行建模。 最简单的是一阶常微分方程描述的一阶动力系统: y˙=f(y,u).\dot{y} = f(y, u). y˙=f(y,u). 如果 u=0u=0u=0, 则称为自治系统...
more...