交差検証を行い、各評価指標(AUC、accuracy、precision、recall)を計算する

交差検証を行い、各評価指標(AUC、accuracy、precision、recall)を計算するためには、交差検証の各分割ごとにそれぞれの指標を計算し、その平均値を求める必要があります。以下は、その手順を示すコードです:

python
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import roc_auc_score, accuracy_score, precision_score, recall_score

# 交差検証を実行し、予測値を取得
y_pred_cv = cross_val_predict(rf_model, combined_features, y_test, cv=5)

# AUCの計算
auc_scores = cross_val_score(rf_model, combined_features, y_test, cv=5, scoring='roc_auc')

# 正解率(accuracy)の計算
accuracy_scores = cross_val_score(rf_model, combined_features, y_test, cv=5, scoring='accuracy')

# 適合率(precision)の計算
precision_scores = cross_val_score(rf_model, combined_features, y_test, cv=5, scoring='precision_macro')

# 再現率(recall)の計算
recall_scores = cross_val_score(rf_model, combined_features, y_test, cv=5, scoring='recall_macro')

# 各評価指標の平均値を計算
mean_auc = np.mean(auc_scores)
mean_accuracy = np.mean(accuracy_scores)
mean_precision = np.mean(precision_scores)
mean_recall = np.mean(recall_scores)

# 結果の表示
print("Mean AUC:", mean_auc)
print("Mean Accuracy:", mean_accuracy)
print("Mean Precision:", mean_precision)
print("Mean Recall:", mean_recall)

このコードでは、cross_val_predictを使用して交差検証による予測値を取得し、cross_val_scoreを使用して各評価指標を計算しています。最後に、それぞれの指標の平均値を計算して表示しています。

未分類

Posted by ぼっち