2019年人工智能发展报告（395页）

维度约减：顾名思义，是指减少数据维度的同时保证不丢失有意义的信息。 利用特征提取方法和特征选择方法，可以达到维度约减的效果。特征选择是指选 择原始变量的子集。特征提取是将数据从高维度转换到低维度。广为熟知的主成 分分析算法就是特征提取的方法。半监督学习是监督学习与无监督学习相结合的一种学习方法。半监督学习一 般针对的问题是数据量大，但是有标签数据少或者说标签数据的获取很难很贵的 情况，训练的时候有一部分是有标签的，而有一部分是没有的。与使用所有标签 数据的模型相比，使用训练集的训练模型在训练时可以更为准确，而且训练成本 更低。常见的两种半监督的学习方式是直推学习（Transductive learning）和归纳 学习（Inductive learning）。

强化学习从动物学习、参数扰动自适应控制等理论发展而来，基本原理是： 如果 Agent 的某个行为策略导致环境正的奖赏(强化信号)，那么 Agent 以后产生 这个行为策略的趋势便会加强。Agent 的目标是在每个离散状态发现最优策略以 使期望的折扣奖赏和最大。 强化学习在机器人学科中被广泛应用。在与障碍物碰撞后，机器人通过传感 器收到负面的反馈从而学会去避免冲突。在视频游戏中，可以通过反复试验采用 一定的动作，获得更高的分数。Agent 能利用回报去理解玩家最优的状态和当前 应该采取的动作。 下图采用一只老鼠来模拟强化学习中的 Agent，其任务是走出迷宫，每走一 步都有一个方法来衡量其走的好与坏，基本学习过程是当其走得好的时候就给其 一定的奖励（如一块蛋糕）。通过这种方式，Agent 在行动评价的环境中获得知 识，改进行动方案以适应环境。

在线性回归中，输入变量（x）和输出变量（y）之间的关系表示为 y = ax + b 的方程。因此，线性回归的目标是找出系数 a 和 b 的值。这里，a 是直线的斜率， b 是直线的截距。上图显示了数据集的 x 和 y 值，线性回归的目标是拟合最接近 大部分点的线。 分类与回归树（CART） CART 是决策树的一个实现方式，由 ID3，C4.5 演化而来，是许多基于树的 bagging、boosting 模型的基础。CART 可用于分类与回归。 CART 是在给定输入随机变量 x 条件下输出随机变量 y 的条件概率分布，与 ID3 和 C4.5 的决策树所不同的是，ID3 和 C4.5 生成的决策树可以是多叉的，每 个节点下的叉数由该节点特征的取值种类而定，比如特征年龄分为（青年，中年， 老年），那么该节点下可分为 3 叉。而 CART 为假设决策树为二叉树，内部结点 特征取值为“是”和“否”。左分支取值为“是”，右分支取值为“否”。这样 的决策树等价于递归地二分每一个特征，将输入空间划分为有限个单元，并在这 些单元上预测概率分布，也就是在输入给定的条件下输出条件概率分布。 随机森林（Random Forest） 随机森林指的是利用多棵决策树对样本进行训练并预测的一种分类器。它包 含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。 随机森林是一种灵活且易于使用的机器学习算法，即便没有超参数调优，也可以 在大多数情况下得到很好的结果。随机森林也是最常用的算法之一，因为它很简 易，既可用于分类也能用于回归。