机器学习概述

一、朴素贝叶斯分类器（略）

二、监督学习(supervised learning)

机器学习分为：监督学习、无监督学习、半监督学习

第一部分 监督学习

从给定的训练集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括：输入、输出，也可以说是特征和目标。训练集中的目标由人标注。监督学习最常见的分类（注意和聚类区分）问题，通过已有的训练样本（已知数据以及对应的输出）去训练得到一个最优模型（模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就有了对未知数据分类的能力。监督学习的目的往往是让计算机去学习我们已经创建好的分类系统（模型）。

监督学习是训练神经网络和决策树的常见技术。这两种技术高度依赖事先确定的分类系统给出的信息，对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数。对于决策树，分类系统利用它来判断哪些属性提供了最多的信息。

常见的监督学习算法：回归分析和统计分析。最典型的算法是KNN和SVM。

监督学习最常见的就是：regression&classification

Regression：Y是实数vector。回归问题，就是拟合(x,y)的一条曲线，使得价值函数（costfunction）L最小。

L(f,(X,Y)) = ||f(X) - Y||^2

Classification：Y是一个有穷树数(finitenumber)，可以看做类标号，分类问题首先要给定有Label的数据训练分类器，故属于监督学习。分类过程中价值函数（costfunction（X,Y））是属X属于Y类的概率的负对数。

L(f,(X,Y)) = -logfY(X)

其中fi(X) = P(Y=i|X)

fY(X)>=0, fi(X)和为1

第二部分 无监督学习(unsupervised learning)

输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类(聚类，clustering)，试图使类内差距最大化。通俗讲就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原来没有样本标签的样本集开始学习分类器设计。

非监督学习不是告诉计算机怎么做，而是让计算机自己学习怎么做事情。非监督学习有两种思路。第一种是在指导Agent时不为其指定明确分类，而是在成功时采取某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架内，因为它的目标不是为了产生一个分类系统，而是做出最大回报的决定，这种思路很好的概括了现实世界，Agent可以对正确的行为做出激励，而对错误的行为做出惩罚。

无监督学习方法分为两类：

• 基于概率密度函数估值的直接方法：指设法找到各类别的特征空间的分布函数，再进行分类。
• 基于样本间的相似性度量的简洁聚类方法：其原理是设法定出不同类别的核心或初始内核，然后依据样本与核心之间的相似性度量将样本聚集成不同的类别。

利用聚类结果，可以提取数据集中隐藏的信息，对未来数据进行分类预测。应用于数据挖掘，模式识别，图像处理等。

PCA(常用于高维数据的降维,可用于提取数据的主要特征分量)和deep learning中的很多算法都属于无监督学习。

不同点

• 有监督学习方法必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。而非监督学习没有训练集，只有一组数据，在该组数据集内寻找规律。

• 有监督学习的方法就是识别事物，识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。而非监督学习方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。

• 非监督学习方法在寻找数据集中的规律性，这种规律性并不一定要达到划分数据集的目的，也就是说不一定要“分类”。
  这一点是比有监督学习方法的用途要广。 譬如分析一堆数据的主分量，或分析数据集有什么特点都可以归于非监督学习方法的范畴。

• 用非监督学习方法分析数据集的主分量与用K-L变换(用于数据压缩技术)计算数据集的主分量又有区别。后者从方法上讲不是学习方法。因此用K-L变换找主分量不属于无监督学习方法，即方法上不是。而通过学习逐渐找到规律性这体现了学习方法这一点。在人工神经元网络中寻找主分量的方法属于无监督学习方法。