深度学习之美（张玉宏）——第三章 机器学习三重门
2019-06-13 19:39:24 ——读书笔记1 ——机器学习三重门（监督学习，半监督学习，非监督学习）
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。
一、监督学习：
监督学习基本上是“分类”的代名词，用训练数据集合学习得到一个模型，然后再使用这个模型对新样本进行预测。根据目标预测变量的类型不同，监督学习大体可分为回归分析和分类学习。回归分析通常用最小二乘法求解，分类算法中比较著名的有K近邻，支持向量机，朴素贝叶斯分类器，决策树，BP 反向传播算法等。
以KNN为例，KNN属于惰性学习，它没有显式的训练过程，在训练阶段仅仅将样本保存起来 ，所以训练时间开销为零。待收到测试样本时，才开始处理。 与之相反的是，在训练阶段就“火急火燎”地从训练样本中建模型、调参数的学习方法，称为”急切学习“。给定某个待分类的测试样本，基于某种距离（如欧几里得距离），找到训练集合中与其最近的K个训练样本,然后基于这K个最近的“邻居” （K为正整数,通常较小），进行预测分类。
二、非监督学习
非监督学习本质上是”聚类“。如果说分类是指根据数据的特征或属性，分到已有的类当中， 那么，聚类一开始并不知道数据会分为几类，而是通过聚类分析将数据聚成几个群。比较有名的非监督学习算法有：均值聚类， 关联规则分析，主成分分析， 随机森林，受限玻尔兹曼机。目前，用在深度学习里，最有前景的无监督学习算法是 Ian Goodfellow 提出来的“生成对抗网络”。
以K均值聚类为例，聚类的关键是“相似”性度量，不同的相似性标准会产生不同的分类结果。如：同样是人，相似是按年龄还是按性别划分就会有不同的聚类结果。同一个聚类算法只能用一种数据表示，否则无法度量相似性。评估环节是聚类和分类最大的差异之处，分类有明确的外界标准，是猫是狗一目了然，而聚类的评估， 显得相对主观。K均值聚类的目的在于，给定K个期望的聚类个数和包括N个数据对象的数据集合，将其划分为满足距离方差最小的K个类。
三、半监督学习——中庸之道
远离父母、走出校园后（少量监督学习），没有人告诉你对与错，一切都要基于自己早期已获取的知识，从社会中学习扩大并更新自己的认知体系（无监督学习），然后当遇到新事物时，我们能泰然自若处理，而非六神无主。半监督学习就是以“己知之认知（标签化的分类信息），扩大未知之领域（通过聚类思想将未知事物归类为己知事物）”。隐含了一个基本假设一一聚类假设，其核心要义就是 ：相似的样本，拥有相似的输出。常见的半监督学习算法有生成式方法，半监督支持向量机，图半监督学习，半监督聚类等。半监督学习既用到了监督学习的先验知识，也吸纳了非监督学习的聚类思想， 二者兼顾。
四、强化学习
“强化学习”亦称“增强学习”，但它与监督学习和非监督学习有所不同，强化学习强调在一系列的情景之下，选择最佳决策，它讲究通过多步恰当的决策，来逼近一个最忧的目标 因此，它是一种序列多步决策的问题。强化学习的设计灵感源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚剌激下，逐步形成对剌激的预期，从而产生能获得最大利益的习惯性行为。简单地说就是”好孩子是表扬出来的“。强化学习也使用未标记的数据，它可以通过某种方法（奖惩函数）知道你是离正确答案越来越近，还是越来越远。
五、关于人工智能的思考
机器学习的研究还分为三大流派：连接主义、行为主义和符号主义。
连接主义的主要代表形式是人工神经网络，它的处理对象是原始的数据，这部分研究包括深度学习的最新进展。
行为主义的代表形式就是强化学习方法，Alphago zero即为一个成功的例子，但其成功的规则并不能说明可以广泛适用于其他人工智能领域。其一是因为AlphaGo Zero 依靠规则明确的围棋，自动生成了大量的、 训练自己的数据 ，而人类的智能表现，大多是在非明确规则下完成的，也无须大数据来训练自己的智能。举个例子：你一辈子能谈几次恋爱（屈指可数吧），家不是讲理（规则）的地方，谈恋爱也不是吧？其二是因为围棋属于一种彼此信息透明、方案可穷举的全信息博弈游戏 然而，人类的决策，大多是在信息残缺处境下做出的。所以想把它的强化学习经验迁移到信息非完备的场景，还有很长的路要走。
符号主义的代表形式是专家系统和知识图谱。近来又有“老树发新芽”之势，特别是知识图谱，在智能搜索领域有着广泛的应用。
从三大流派处理的对象来看,有某种递进的关系：数据-->信息-->知识。作为小白的我呢，也不期望能给人工智能做出多大贡献，会用就行，如果你也是这条路上的小伙伴，那我们一起加油吧。
注：以上文字借鉴书中内容，详细资料请参见正版图书《深度学习之美》张玉宏。
