sklearn 特征选择与特征抽取 —— feature_selection feature_extraction

1. feature_selection

首先，我们以利用 scikit-learn 对数据进行逻辑分析为例，进行说明 scikit-learn 的使用流程。

首先进行特征筛选（feature selection），特征筛选的方法有很多，主要包含在 scikit-learn 的 feature_selection 库中，

GenericUnivariateSelect SelectFprVarianceThreshold f_onewaytestsRFE SelectFwebasef_regression univariate_selectionRFECV SelectKBest chi2from_model variance_thresholdSelectFdrSelectPercentile f_classifrfe

比较简单的有通过 F 检验（f_regression）来给出各个特征的 F 值和 p 值，从而可以筛选变量（选择 F 值大的或者 p 值较小的特征）。

其次有递归消除（Recursive Feature Elimination，RFE）和稳定性选择（Stability Selection）等比较新的方法。

其中稳定性选择中又包括随机逻辑回归。

from sklearn.linear_model import RandomizedLogisticRegression as RLR

2. feature_extraction