10｜模型优化（下）：交叉验证，同时寻找最优的参数

佳哥好，交叉验证会得到多个模型，在预测数据时，是把多个模型的预测值加总求平均值吗？

老师好，我按照下面的设置，跑出的结果，为什么验证集上的分数很低呢？ GridSearchCV(cv=3, estimator=RandomForestRegressor(), n_jobs=10, param_grid={'bootstrap': [True, False], 'criterion': ['mse', 'mae'], 'max_depth': [3, 5, 6, 10, 12, None], 'max_features': ['auto', 'sqrt'], 'min_samples_leaf': [2, 3, 5, 7, 10], 'min_samples_split': [2, 5, 8, 10], 'n_estimators': [50]}, scoring='r2', verbose=1) 训练集上的R平方分数-调参后的随机森林: 0.8541 测试集上的R平方分数-调参后的随机森林: 0.0481

老师你好，关于 CV 有个疑问，CV 是用来评估模型的，而不是用来训练的。如果我们评估出最优的算法，后续用什么方式训练模型呢？把训练集和验证集合并来训练？

老师我的网格搜索报错了，ValueError: Unknown label type: 'continuous'，能帮我看看是什么原因吗 from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.model_selection import train_test_split X = df_LTV.drop(['用户码','年度LTV'],axis=1) #特征集 y = df_LTV['年度LTV'] #标签集 # 拆分成训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state = 0) model_rfr = RandomForestClassifier() # 随机森林模型 # 对随机森林算法进行参数优化 rf_param_grid = {"max_depth": [None], "max_features": [3, 5, 12], "min_samples_split": [2, 5, 10], "min_samples_leaf": [3, 5, 10], "bootstrap": [False], "n_estimators" :[100,300], "criterion": ["gini"]} model_rfr_gs = GridSearchCV(model_rfr, param_grid = rf_param_grid, cv=3, scoring="r2", n_jobs= 10, verbose = 1) model_rfr_gs.fit(X_train, y_train)

作业3的代码： # 创建模型 from sklearn.ensemble import RandomForestRegressor model_rfr = RandomForestRegressor() # 对随机森林算法进行参数优化 rfr_param_grid = {'bootstrap': [True, False], 'max_depth': [10, 50, 100, None], 'max_features': ['auto', 'sqrt'], 'min_samples_leaf': [1, 2, 4], 'min_samples_split': [2, 5, 10], 'n_estimators': [50, 500, 2000]} # 导入 网格搜索 工具 from sklearn.model_selection import GridSearchCV model_rfr_gs = GridSearchCV(model_rfr, param_grid = rfr_param_grid, cv = 3, scoring="r2", n_jobs= 10, verbose = 1) model_rfr_gs.fit(X_train, y_train) # 用优化后的参数拟合训练数据集 print(" GridSearchCV 最佳参数组合:", model_rfr_gs.best_params_) # 导入 随机搜索 工具 from sklearn.model_selection import RandomizedSearchCV model_rfr_rs = RandomizedSearchCV(model_rfr, param_distributions = rfr_param_grid, cv = 3, n_iter = 10, scoring="r2", n_jobs= 10, verbose = 1) model_rfr_rs.fit(X_train, y_train) # 用优化后的参数拟合训练数据集 print(" RandomizedSearchCV 最佳参数组合:", model_rfr_rs.best_params_) from sklearn.metrics import r2_score, median_absolute_error #导入Sklearn评估模块 print("GridSearchCV：") print('训练集上的R平方分数-调参后的随机森林: %0.4f' % r2_score(y_train, model_rfr_gs.predict(X_train))) print('测试集上的R平方分数-调参后的随机森林: %0.4f' % r2_score(y_test, model_rfr_gs.predict(X_test))) print("RandomizedSearchCV：") print('训练集上的R平方分数-调参后的随机森林: %0.4f' % r2_score(y_train, model_rfr_rs.predict(X_train))) print('测试集上的R平方分数-调参后的随机森林: %0.4f' % r2_score(y_test, model_rfr_rs.predict(X_test)))

# 留一法分折 LeaveOneOut loo = LeaveOneOut() for fold_, (train_index, test_index) in enumerate(loo.split(df_LTV)): X_train = df_LTV.iloc[train_index].drop(['年度LTV'],axis=1) #训练集X X_test = df_LTV.iloc[test_index].drop(['年度LTV'],axis=1) #验证集X y_train = df_LTV.iloc[train_index]['年度LTV'] #训练集y y_test = df_LTV.loc[test_index]['年度LTV'] #验证集y model_lr.fit(X_train, y_train) #训练模型 # print(f"第{fold_}折验证集R2分数：{r2_score(y_test, model_lr.predict(X_test))}") print(f"第{fold_}折验证集的真值：{y_test.values[0]} ,预测值：{model_lr.predict(X_test)[0]}") # 留多法分折 LeavePOut lpo = LeavePOut(p=10) for fold_, (train_index, test_index) in enumerate(lpo.split(df_LTV)): X_train = df_LTV.iloc[train_index].drop(['年度LTV'],axis=1) #训练集X X_test = df_LTV.iloc[test_index].drop(['年度LTV'],axis=1) #验证集X y_train = df_LTV.iloc[train_index]['年度LTV'] #训练集y y_test = df_LTV.loc[test_index]['年度LTV'] #验证集y model_lr.fit(X_train, y_train) #训练模型 print(f"第{fold_}折验证集R2分数：{r2_score(y_test, model_lr.predict(X_test))}")

作业2的代码： # 创建模型 from sklearn.linear_model import LinearRegression model_lr = LinearRegression() # 导入K折工具 from sklearn.model_selection import KFold from sklearn.model_selection import RepeatedKFold from sklearn.model_selection import LeaveOneOut from sklearn.model_selection import LeavePOut # 导入R2分数评估工具 from sklearn.metrics import r2_score # 普通的 KFold 方法 kf5 = KFold(n_splits=5, shuffle=False) #5折 for fold_, (train_index, test_index) in enumerate(kf5.split(df_LTV)): # print(train_index, test_index) X_train = df_LTV.iloc[train_index].drop(['年度LTV'],axis=1) #训练集X X_test = df_LTV.iloc[test_index].drop(['年度LTV'],axis=1) #验证集X y_train = df_LTV.iloc[train_index]['年度LTV'] #训练集y y_test = df_LTV.loc[test_index]['年度LTV'] #验证集y model_lr.fit(X_train, y_train) #训练模型 print(f"第{fold_}折验证集R2分数：{r2_score(y_test, model_lr.predict(X_test))}") # 重复 K 折 RepeatedKFold rkf5 = RepeatedKFold(n_splits=5, n_repeats=10) # 5折，重复10次 for fold_, (train_index, test_index) in enumerate(rkf5.split(df_LTV)): X_train = df_LTV.iloc[train_index].drop(['年度LTV'],axis=1) #训练集X X_test = df_LTV.iloc[test_index].drop(['年度LTV'],axis=1) #验证集X y_train = df_LTV.iloc[train_index]['年度LTV'] #训练集y y_test = df_LTV.loc[test_index]['年度LTV'] #验证集y model_lr.fit(X_train, y_train) #训练模型 print(f"第{fold_}折验证集R2分数：{r2_score(y_test, model_lr.predict(X_test))}")

作业1的代码和结果： # 创建模型 from sklearn.linear_model import Lasso model_lasso = Lasso() #创建Lasso回归模型 # 交叉验证 from sklearn.model_selection import cross_validate # 导入交叉验证工具 cv = 3 scores = cross_validate(model_lasso, X, y, cv=cv, scoring=('r2', 'neg_mean_squared_error'), return_train_score=True) for i in range(cv): print(f"第{i+1}折验证集的fit_time：{scores['fit_time'][i]} ") print(f"第{i+1}折验证集的score_time：{scores['score_time'][i]} ") print(f"第{i+1}折验证集的test_r2：{scores['test_r2'][i]} ") print(f"第{i+1}折验证集的train_r2：{scores['train_r2'][i]} ") print(f"第{i+1}折验证集的test_neg_mean_squared_error：{-scores['test_neg_mean_squared_error'][i]} ") print(f"第{i+1}折验证集的train_neg_mean_squared_error：{-scores['train_neg_mean_squared_error'][i]} ") print("\n") -------------------------------------------------------------------- 第1折验证集的fit_time：0.000865936279296875 第1折验证集的score_time：0.0006310939788818359 第1折验证集的test_r2：0.5509442176019284 第1折验证集的train_r2：0.49295429721273365 第1折验证集的test_neg_mean_squared_error：36374278.87442617 第1折验证集的train_neg_mean_squared_error：3931052.5016323677 第2折验证集的fit_time：0.0009672641754150391 第2折验证集的score_time：0.0004417896270751953 第2折验证集的test_r2：-0.547095575701684 第2折验证集的train_r2：0.756077640106148 第2折验证集的test_neg_mean_squared_error：19259422.630117264 第2折验证集的train_neg_mean_squared_error：10686185.198631434 第3折验证集的fit_time：0.000530242919921875 第3折验证集的score_time：0.0004150867462158203 第3折验证集的test_r2：0.0975132893938776 第3折验证集的train_r2：0.6571299228574952 第3折验证集的test_neg_mean_squared_error：2236906.201517424 第3折验证集的train_neg_mean_squared_error：16312807.147477873