홀드 아웃 데이터 세트에 대한 h2o AutoML에서 교차 검증 성능 (AUC)을 검색합니다.

방법은 다음과 같습니다.

import h2o
from h2o.automl import H2OAutoML

h2o.init()

# import prostate dataset
prostate = h2o.import_file("https://h2o-public-test-data.s3.amazonaws.com/smalldata/prostate/prostate.csv")
# convert columns to factors
prostate['CAPSULE'] = prostate['CAPSULE'].asfactor()
prostate['RACE'] = prostate['RACE'].asfactor()
prostate['DCAPS'] = prostate['DCAPS'].asfactor()
prostate['DPROS'] = prostate['DPROS'].asfactor()

# set the predictor and response columns
predictors = ["AGE", "RACE", "VOL", "GLEASON"]
response_col = "CAPSULE"

# split into train and testing sets
train, test = prostate.split_frame(ratios = [0.8], seed = 1234)

# run AutoML for 100 seconds
aml = H2OAutoML(seed=1, max_runtime_secs=100, exclude_algos=["DeepLearning", "GLM"],
                    nfolds=5, keep_cross_validation_predictions=True)
aml.train(x=predictors, y=response_col, training_frame=prostate)

# Get the leader model
leader = aml.leader

교차 검증 된 AUC에 대해 여기서 언급해야 할주의 사항이 있습니다. H2O는 현재 CV AUC의 두 가지 계산을 저장합니다. 하나는 집계 된 버전 (집계 된 CV 예측의 AUC 사용)이고 다른 하나는 교차 검증 된 AUC (k- 폴드 교차 검증에서 얻은 k AUC의 평균)의 "진정한"정의입니다. 후자는 개별 폴드 AUC와 폴드 전체의 표준 편차를 포함하는 개체에 저장됩니다.

왜 우리가이 일을하는지 궁금하다면, 두 가지 버전이있는 역사적, 기술적 이유 와 후자의 모든 보고서에만 공개 된 티켓이 있습니다.

첫 번째는이 작업을 수행 할 때 얻을 수있는 것 (또한 AutoML 리더 보드에 표시되는 것)입니다.

# print CV AUC for leader model
print(leader.model_performance(xval=True).auc())

평균 및 변동성 (표준 편차)을 계산하거나 볼 수 있도록 폴드-와이즈 AUC를 원하는 경우 여기에서 확인할 수 있습니다.

# print CV metrics summary
leader.cross_validation_metrics_summary()

산출:

Cross-Validation Metrics Summary:
             mean        sd           cv_1_valid    cv_2_valid    cv_3_valid    cv_4_valid    cv_5_valid
-----------  ----------  -----------  ------------  ------------  ------------  ------------  ------------
accuracy     0.71842104  0.06419111   0.7631579     0.6447368     0.7368421     0.7894737     0.65789473
auc          0.7767409   0.053587236  0.8206676     0.70905924    0.7982079     0.82538515    0.7303846
aucpr        0.6907578   0.0834025    0.78737605    0.7141305     0.7147677     0.67790955    0.55960524
err          0.28157896  0.06419111   0.23684211    0.35526314    0.2631579     0.21052632    0.34210527
err_count    21.4        4.8785243    18.0          27.0          20.0          16.0          26.0
---          ---         ---          ---           ---           ---           ---           ---
precision    0.61751753  0.08747421   0.675         0.5714286     0.61702126    0.7241379     0.5
r2           0.20118153  0.10781976   0.3014902     0.09386432    0.25050205    0.28393403    0.07611712
recall       0.84506994  0.08513061   0.84375       0.9142857     0.9354839     0.7241379     0.8076923
rmse         0.435928    0.028099842  0.41264254    0.47447023    0.42546       0.41106534    0.4560018
specificity  0.62579334  0.15424488   0.70454544    0.41463414    0.6           0.82978725    0.58

See the whole table with table.as_data_frame()

다음은 리더 보드의 모습입니다 (집계 된 CV AUC 저장). 이 경우 데이터가 너무 작기 때문에 (300 행)보고 된 두 CV AUC 값간에보고 된 두 가지간에 눈에 띄는 차이가 있지만 더 큰 데이터 집합의 경우 훨씬 더 가까운 추정치 여야합니다.

# print the whole Leaderboard (all CV metrics for all models)
lb = aml.leaderboard
print(lb)

그러면 리더 보드 상단이 인쇄됩니다.

model_id                                                  auc    logloss     aucpr    mean_per_class_error      rmse       mse
---------------------------------------------------  --------  ---------  --------  ----------------------  --------  --------
XGBoost_grid__1_AutoML_20200924_200634_model_2       0.769716   0.565326  0.668827                0.290806  0.436652  0.190665
GBM_grid__1_AutoML_20200924_200634_model_4           0.762993   0.56685   0.666984                0.279145  0.437634  0.191524
XGBoost_grid__1_AutoML_20200924_200634_model_9       0.762417   0.570041  0.645664                0.300121  0.440255  0.193824
GBM_grid__1_AutoML_20200924_200634_model_6           0.759912   0.572651  0.636713                0.30097   0.440755  0.194265
StackedEnsemble_BestOfFamily_AutoML_20200924_200634  0.756486   0.574461  0.646087                0.294002  0.441413  0.194845
GBM_grid__1_AutoML_20200924_200634_model_7           0.754153   0.576821  0.641462                0.286041  0.442533  0.195836
XGBoost_1_AutoML_20200924_200634                     0.75411    0.584216  0.626074                0.289237  0.443911  0.197057
XGBoost_grid__1_AutoML_20200924_200634_model_3       0.753347   0.57999   0.629876                0.312056  0.4428    0.196072
GBM_grid__1_AutoML_20200924_200634_model_1           0.751706   0.577175  0.628564                0.273603  0.442751  0.196029
XGBoost_grid__1_AutoML_20200924_200634_model_8       0.749446   0.576686  0.610544                0.27844   0.442314  0.195642

[28 rows x 7 columns]