决策树决策树是一种决策支持工具，它使用树状图或者树状模型来表示决策过程以及后续得到的结果，包括概率事件结果等。请观察下图来理解决策树的结构。从商业决策的角度来看，决策树就是通过尽可能少的是非判断问题来预测决策正确的概率。这种方法可以帮你用一种结构性的、系统性的方法来得出合理的结论。
朴素贝叶斯分类器朴素贝叶斯分类器是一类基于贝叶斯理论的简单的概率分类器，它假设特征之前是相互独立的。下图所示的就是公式 —— P(A|B)表示后验概率，P(B|A)是似然值，P(A)是类别的先验概率，P(B)代表预测器的先验概率。现实场景中的一些例子包括：检测垃圾电子邮件将新闻分为科技、政治、体育等类别判断一段文字表达积极的情绪还是消极的情绪用于人脸检测软件
最小平方回归如果你学过统计课程，也许听说过线性回归的概念。最小平方回归是求线性回归的一种方法。你可以把线性回归想成是用一条直线拟合若干个点。拟合的方法有许多种，“最小平方”的策略相当于你画一条直线，然后计算每个点到直线的垂直距离，最后把各个距离求和；最佳拟合的直线就是距离和最小的那一条。线性指的是用于拟合数据的模型，而最小平方指的是待优化的损失函数。
逻辑回归逻辑回归模型是一种强大的统计建模方式，它用一个或多个解释性变量对二值输出结果建模。它用逻辑斯蒂函数估计概率值，以此衡量分类依赖变量和一个或多个独立的变量之间的关系，这属于累积的逻辑斯蒂分布。通常来说，逻辑回归模型在现实场景中的应用包括：信用评分预测商业活动的成功概率预测某款产品的收益预测某一天发生地震的概率
支持向量机支持向量机是一种二分类算法。在N维空间中给定两类点，支持向量机生成一个（N-1）维的超平面将这些点分为两类。举个例子，比如在纸上有两类线性可分的点。支持向量机会寻找一条直线将这两类点区分开来，并且与这些点的距离都尽可能远。利用支持向量机（结合具体应用场景做了改进）解决的大规模问题包括展示广告、人体结合部位识别、基于图像的性别检查、大规模图像分类等……
集成方法集成方法是先构建一组分类器，然后用各个分类器带权重的投票来预测新数据的算法。最初的集成方法是贝叶斯平均，但最新的算法包括误差纠正输出编码和提升算法。那么集成模型的原理是什么，以及它为什么比独立模型的效果好呢？它们消除了偏置的影响：比如把民主党的问卷和共和党的问卷混合，从中得到的将是一个不伦不类的偏中立的信息。它们能减小预测的方差：多个模型聚合后的预测结果比单一模型的预测结果更稳定。在金融界，这被称为是多样化 —— 多个股票的混合产品波动总是远小于单个股票的波动。这也解释了为何增加训练数据，模型的效果会变得更好。它们不容易产生过拟合：如果单个模型不会产生过拟合，那么将每个模型的预测结果简单地组合（取均值、加权平均、逻辑回归），没有理由产生过拟合。
聚类算法聚类算法的任务是将一群物体聚成多个组，分到同一个组（簇）的物体比其它组的物体更相似。每种聚类算法都各不相同，这里列举了几种：基于类心的聚类算法基于连接的聚类算法基于密度的聚类算法概率型算法降维算法神经网络/深度学习
主成分分析主成分分析属于统计学的方法，过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析的一些实际应用包括数据压缩，简化数据表示，数据可视化等。值得一提的是需要领域知识来判断是否适合使用主成分分析算法。如果数据的噪声太大（即各个成分的方差都很大），就不适合使用主成分分析算法。
奇异值分解奇异值分解是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广。对于给定的m*n矩阵M，可以将其分解为M = UΣV，其中U和V是m×m阶酉矩阵，Σ是半正定m×n阶对角矩阵。主成分分析其实就是一种简单的奇异值分解算法。在计算机视觉领域中，第一例人脸识别算法使用了主成分分析和奇异值分解将人脸表示为一组“特征脸（eigenfaces）”的线性组合，经过降维，然后利用简单的方法匹配候选人脸。尽管现代的方法更加精细，许多技术还是于此很相似。
独立成分分析独立成分分析是一种利用统计原理进行计算来揭示随机变量、测量值或者信号背后的隐藏因素的方法。独立成分分析算法给所观察到的多变量数据定义了一个生成模型，通常这些变量是大批量的样本。在该模型中，数据变量被假定为一些未知的潜变量的线性混合，而且混合系统也未知。潜变量被假定是非高斯和相互独立的，它们被称为所观察到的数据的独立分量。独立成分分析与主成分分析有关联，但它是一个更强大的技术。它能够在这些经典方法失效时仍旧找到数据源的潜在因素。它的应用包括数字图像、文档数据库、经济指标和心理测量。