GitBook官网

6. 特征降维

1 降维

1.1 定义

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程

  • 降低随机变量的个数

  • 相关特征(correlated feature)

    • 相对湿度与降雨量之间的相关

    • 等等

正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大

1.2 降维的两种方式

  • 特征选择

  • 主成分分析（可以理解一种特征提取的方式）

2 特征选择

2.1 定义

数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

2.2 方法

  • Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联

    • 方差选择法：低方差特征过滤

    • 相关系数

  • Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）

    • 决策树:信息熵、信息增益

    • 正则化：L1、L2

    • 深度学习：卷积等

2.3 低方差特征过滤

删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。

  • 特征方差小：某个特征大多样本的值比较相近

  • 特征方差大：某个特征很多样本的值都有差别

2.3.1 API

  • sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

    • 删除所有低方差特征

    • Variance.fit_transform(X)

      • X:numpy array格式的数据[n_samples,n_features]

      • 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

2.3.2 数据计算

我们对某些股票的指标特征之间进行一个筛选，除去'index,'date','return'列不考虑（这些类型不匹配，也不是所需要指标）

一共这些特征

  • 分析

1、初始化VarianceThreshold,指定阀值方差

2、调用fit_transform

返回结果：

2.4 相关系数

  • 主要实现方式：

    • 皮尔逊相关系数

    • 斯皮尔曼相关系数

2.4.1 皮尔逊相关系数(Pearson Correlation Coefficient)

1.作用

反映变量之间相关关系密切程度的统计指标

2.公式计算案例(了解，不用记忆)

公式

r=n∑xy−∑x∑yn∑x2−(∑x)2n∑y2−(∑y)2r=\frac{n\sum xy-\sum x\sum y}{\sqrt{n\sum x^2-(\sum x)^2}\sqrt{n\sum y^2-(\sum y)^2}}

举例

  • 比如说我们计算年广告费投入与月均销售额

那么之间的相关系数怎么计算

最终计算：

10×16679.09−346.2×422.510×14304.52−346.2210×19687.81−422.52\frac{10\times16679.09-346.2\times422.5}{\sqrt{10\times14304.52-346.2^{2}}\sqrt{10\times19687.81-422.5^{2}}}

= 0.9942

所以我们最终得出结论是广告投入费与月平均销售额之间有高度的正相关关系。

3.特点

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

  • 当r>0时，表示两变量正相关，r<0时，两变量为负相关

  • 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系

  • 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱

  • 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

4.api

  • from scipy.stats import pearsonr

    • x : (N,) array_like

    • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

5.案例

结果

2.4.2 斯皮尔曼相关系数(Rank IC)

1.作用：

反映变量之间相关关系密切程度的统计指标

2.公式计算案例(了解，不用记忆)

公式:

RankIC=1−6∑di2n(n2−1)RankIC=1-\frac{6\sum d_i^2}{n(n^2-1)}

n为等级个数，d为二列成对变量的等级差数

举例:

3.特点

  • 斯皮尔曼相关系数表明 X (自变量) 和 Y (因变量)的相关方向。 如果当X增加时， Y 趋向于增加, 斯皮尔曼相关系数则为正

  • 与之前的皮尔逊相关系数大小性质一样，取值 [-1, 1]之间

斯皮尔曼相关系数比皮尔逊相关系数应用更加广泛

4.api

  • from scipy.stats import spearmanr

5.案例

结果

3 主成分分析

3.1 什么是主成分分析(PCA)

  • 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量

  • 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。

  • 应用：回归分析或者聚类分析当中

对于信息一词，在决策树中会进行介绍

那么更好的理解这个过程呢？我们来看一张图

3.2 API

  • sklearn.decomposition.PCA(n_components=None)

    • 将数据分解为较低维数空间

    • n_components:

      • 小数：表示保留百分之多少的信息

      • 整数：减少到多少特征

    • PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]

    • 返回值：转换后指定维度的array

3.3 数据计算

先拿个简单的数据计算一下

返回结果：

Previous5. 算法优化Next7. 案例：探究用户对物品类别的喜好细分降维

Last updated