机器学习之基本术语与理论

说明：

这个世界上有N个西瓜，我们将所有的西瓜的数据全都记录下来

综上所述，包含m个示例的数据集可表示如下：

$D=\{x_{1}, x_{2}, ..., x_{m}\}$

每个实例包含d个属性，该示例可以表示为d维样本空间$\chi$的一个向量$x_{i}$：

$x_{i}=\{x_{i1};x_{i2};...x_{id}\}$

其中，$x_{ij}$是$x_{i}$在第j个属性上的属性值，d为样本$x_{i}$的维数(dimensionality)

学习(learning)/训练(training):

从数据中得到模型的过程
训练数据(training data):

训练过程中使用的数据
训练样本(traing sample):

训练中使用的每一个样本
训练集(training set)：

训练样本的集合
假设(hypothesis)：

训练过程中获得的某种规律
真相/真实(ground-truth):

假设中存在的某种规律自身
模型(model)/学习器(learner):

学习算法在数据和参数空间上的实例化
标记(label)：

关于实例结果的信息
样例(example)：

拥有标记信息的实例
标记空间(label space)/输出空间(output space):

第i个样例可表示为$(x_{i},y_{i})$，其中$y_{j}\in Y$是实例$x_{i}$的标记，$Y$为所有标记的集合
分类(classification):

预测为离散值，例如“真”或者“假”
回归(regression):

预测为连续值，例如0.1,0.2,0.3
二分类(binary classification)：

只涉及两个类别的任务，一为正类(positive class)，另一为负类(negative class)
多分类(multi-class classification)：

涉及多个类别的任务

综上所述，预测任务过程如下：

对训练集

$\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m})\}$

进行学习，建立一个从输入空间$\chi$到输出空间$Y$的映射：

$f:\chi \rightarrow Y$

对于二分类任务，则$Y={-1, +1}或者{0,1}$;

对于多分类任务，则$\lvert y\rvert >2$；

对于回归任务，则$Y=R, R为实数集$。

一种常用的，自然科学研究中最基础的思考原则，或者说原理，即

Do not multiply entities beyond necessity, but also do not reduce them beyond necessity.

切勿浪费较多东西，去做‘用较少的东西，同样可以做好的事情’

换句话说，“若多个假设和观察一致时，选择最简单的那个”

没有优化算法适合于所有优化问题：只能说针对某一类优化问题，某某算法更有优势。而不能笼统的说，某种优化算法比另一种更优。

Basic Terms And Theory Of Machine Learning