大数据分析与可视化相关概念

发表于 分类于
在做大数据分析可视化大作业遇到的一些概念和算法。

前置知识

机器学习

机器学习是人工智能的一个分支，它涉及开发算法和统计模型，使计算机系统能够从数据中学习并做出预测或决策，而无需进行明确的编程

1. 监督学习

在这种学习中，算法从标记的训练数据中学习，每个训练示例都配有正确的输出标签。算法的目标是学习如何预测新数据的标签。

2. 无监督学习

在无监督学习中，算法处理未标记的数据，尝试找出数据中的模式或结构。常见的无监督学习任务包括聚类和降维。

3. 强化学习

强化学习是一种让算法通过与环境交互来学习的方法。算法通过执行动作并接收奖励或惩罚来学习，目标是最大化累积奖励。

机器学习的应用非常广泛，包括但不限于图像识别、语音识别、自然语言处理、推荐系统、自动驾驶汽车、游戏玩家、欺诈检测等。

机器学习的核心在于使用数据来改进系统的性能，而不需要人为地编写特定的规则来处理数据。随着数据量的增加和计算能力的提升，机器学习在许多领域变得越来越重要。

决策树

决策树是一种直观的决策支持工具，广泛应用于数据分析和机器学习中。它通过树状结构来表示决策过程中的分支选择，每个内部节点代表一个属性测试，每个分支代表一个测试结果，每个叶节点代表最终决策结果。

基本概念

  1. 节点（Node）：决策树中的一个点，代表一个决策或属性。
  2. 根节点（Root Node）：决策树的起始点，通常代表整个数据集。
  3. 内部节点（Internal Node）：除了根节点和叶节点之外的其他节点，代表决策过程中的中间步骤。
  4. 叶节点（Leaf Node）：决策树的末端，代表最终决策或分类结果。
  5. 分支（Branch）：从一个节点到另一个节点的连接，代表决策的一个可能路径。
  6. 路径（Path）：从根节点到叶节点的一系列分支。

构建过程

  1. 特征选择：选择一个属性作为节点，该属性能够最好地分类数据。
  2. 分割数据集：根据所选属性的不同结果，将数据集分割成多个子集。
  3. 递归构建：对每个子集重复上述过程，直到满足停止条件（如达到最小节点大小、无法进一步分割等）。
  4. 剪枝（Pruning）：移除一些分支以防止过拟合。

优/缺点

优点

  • 易于理解和解释：决策树的结构清晰，易于可视化和解释，有助于理解决策过程。
  • 自动特征选择：在构建过程中，决策树能够自动选择最有信息量的特征。
  • 适用于分类和回归：决策树既可以用于分类问题，也可以用于回归问题。

缺点

  • 容易过拟合：特别是在数据特征数量很多时，决策树可能会变得非常复杂，导致过拟合。
  • 对噪声和异常值敏感：决策树可能会受到噪声数据和异常值的较大影响。
  • 可能不稳定：小的变化在数据中可能会导致完全不同的决策树结构。

交叉验证

交叉验证（Cross-validation），也称为“k折交叉验证”，是一种在机器学习和统计学中用于评估模型泛化能力的方法。它将数据集分成多个子集，每个子集作为一次独立的测试集，而剩余的子集合并作为训练集。这个过程重复进行多次并计算模型的平均性能指标，从而得到模型的评估结果。

步骤

  1. 数据集划分：将原始数据集随机划分为k个大小相等（或尽可能相等）的子集。
  2. 循环训练和测试：进行k次循环，每次循环中：
    • 将其中一个子集作为测试集（validation set）。
    • 将剩余的k-1个子集合并作为训练集（training set）。
    • 使用训练集训练模型。
    • 使用测试集评估模型的性能。
  3. 计算性能指标：在每次循环中，计算模型的性能指标（如准确率、召回率、F1分数等）。
  4. 求平均值：将k次循环中得到的性能指标求平均，得到模型的最终评估结果。

优/缺点

优点

  • 评估更准确：交叉验证提供了比单次分割训练集和测试集更准确的模型性能估计。
  • 利用全部数据：所有数据点都被用作训练和测试，这有助于充分利用有限的数据。
  • 减少方差：通过多次独立测试，交叉验证减少了模型评估结果的方差。

缺点

  • 计算成本高：由于需要多次训练和测试模型，交叉验证的计算成本较高。
  • 可能存在偏差：如果数据集中的某些类别在划分子集时分布不均匀，可能会导致模型评估结果的偏差。

常见方法

  1. 简单交叉验证：每次只将一个子集作为测试集，其余作为训练集。
  2. 留一法交叉验证（Leave-One-Out Cross-Validation, LOOCV）：对于每个数据点，将其作为测试集，其余所有点作为训练集。这种方法适用于数据量较小的情况。
  3. 分层交叉验证（Stratified Cross-Validation）：在类别不平衡的情况下，确保每个子集中各类别的比例与原始数据集中的比例相同。
  4. 时间序列交叉验证（Time Series Cross-Validation）：对于时间序列数据，按照时间顺序划分子集，以保持数据的时间顺序性。

GridSearchCV 方法

GridSearchCV 是 scikit-learn 库中的一个函数，用于通过遍历给定的参数网格，使用交叉验证来找到最佳的模型参数。

  1. 参数网格定义：首先，你需要定义一个参数字典，其中包含你想要优化的参数以及这些参数的可能值。
  2. 交叉验证：GridSearchCV 将使用交叉验证来评估每一组参数。对于参数网格中的每一个参数组合，它将执行以下操作：
    • 将数据集分成多个子集（通常是k个子集）。
    • 对于每一组参数，使用k-1个子集作为训练集，剩下的1个子集作为验证集。
    • 使用训练集上的参数训练模型。
    • 使用验证集评估模型的性能。
  3. 寻找最佳参数：GridSearchCV 将记录每一组参数的性能，并在所有参数组合中选择平均性能最好的一组参数。
  4. 返回最佳模型：最终，GridSearchCV 返回使用最佳参数训练的模型，以及这些最佳参数。

R^2评分

R2 分数，也称为决定系数，是衡量回归模型性能的指标。它基于模型预测值与实际值之间的相关程度。R2 分数的计算公式如下：

𝑅2=1−∑𝑖=1𝑛(𝑦𝑖−𝑦^𝑖)2∑𝑖=1𝑛(𝑦𝑖−𝑦ˉ)2R2=1−∑i=1n(y**i−yˉ)2∑i=1n(y**i−y^i)2

其中：

  • 𝑦𝑖y**i 是第 i 个观测值的实际响应变量。
  • 𝑦^𝑖y^i 是模型预测的第 i 个响应变量。
  • 𝑦ˉyˉ 是所有观测值的实际响应变量的平均值。
  • 𝑛n 是观测值的总数。

R2 分数的取值范围从 0 到 1：

  • 0 表示模型的预测与实际值之间没有相关性，模型的预测与简单使用均值预测一样好。
  • 1 表示模型的预测与实际值完全相关，模型能够完美地拟合数据。