ぼっち | ページ 48 | ALL Python(オールパイソン)

titanicのcsvなんかもってない

2024年6月8日未分類

了解しました。Titanicデータセットは非常に有名ですので、インターネット上で簡単に見つけることができます。以下のコードでは、Seabornライブラリを使用して、データセットをダウンロードして読み込む方法を示します。

pyth ...

記事を読む titanicのcsvなん ...

Titanicデータセットを使用してランダムフォレストをトレーニングし、生存を予測する

2024年6月8日未分類

2024年6月17日

以下は、Titanicデータセットを使用してランダムフォレストをトレーニングし、生存を予測するサンプルコードです。まずは、データの読み込みから始めます。

pythonimport pandas as pd# データの読み込みti ...

記事を読む Titanicデータセ ...

titanicは、回帰？分類？

2024年6月8日未分類

Titanicデータセットは、通常、分類問題として扱われます。目的は、乗客の属性（性別、年齢、客室クラスなど）から、その乗客がタイタニック号の沈没において生存したか否かを予測することです。生存か死亡かという二つのクラスに分類するタスク ...

記事を読む titanicは、回帰？分類？

分類の有名なデータセットある？

2024年6月8日未分類

はい、いくつか有名な分類用のデータセットがあります。その中には、機械学習のアルゴリズムをテストし、モデルの性能を評価するためによく使用されるものが含まれています。以下にいくつか例を挙げます。

Irisデータセット: フィッ ...

記事を読む分類の有名なデータセットある？

————————————————————————— ValueError Traceback (most recent call last) Cell In[70], line 59 57 # XGBoostモデルの作成とトレーニング 58 xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) —> 59 xgb_model.fit(X_train, y_train) 61 # テストセットでの予測 62 y_pred = xgb_model.predict(X_test) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/core.py:730, in require_keyword_args.<locals>.throw_if.<locals>.inner_f(*args, kwargs) 728 for k, arg in zip(sig.parameters, args): 729 kwargs[k] = arg –> 730 return func(kwargs) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/sklearn.py:1471, in XGBClassifier.fit(self, X, y, sample_weight, base_margin, eval_set, eval_metric, early_stopping_rounds, verbose, xgb_model, sample_weight_eval_set, base_margin_eval_set, feature_weights, callbacks) 1466 expected_classes = self.classes_ 1467 if ( 1468 classes.shape != expected_classes.shape 1469 or not (classes == expected_classes).all() 1470 ): -> 1471 raise ValueError( 1472 f”Invalid classes inferred from unique values of `y`. ” 1473 f”Expected: {expected_classes}, got {classes}” 1474 ) 1476 params = self.get_xgb_params() 1478 if callable(self.objective): ValueError: Invalid classes inferred from unique values of `y`. Expected: [0 1 2 3 4 5], got [ 60 80 100 120 140 160]

2024年6月8日未分類

エラーメッセージによると、XGBoostのfitメソッドに渡された目的変数y_trainに、予想されていないクラスが含まれています。XGBoostは、ラベルを整数の0から始まる連続した数値にエンコードすることを期待していますが、あなた ...

記事を読む ——&# ...

from sklearn.preprocessing import LabelEncoder import xgboost as xgb # LabelEncoderを使用してクラスラベルを変換する label_encoder = LabelEncoder() y_train_encoded = label_encoder.fit_transform(y_train) y_test_encoded = label_encoder.transform(y_test) # XGBoostモデルの作成とトレーニング xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) xgb_model.fit(X_train, y_train_encoded) # テストセットでの予測 y_pred_encoded = xgb_model.predict(X_test) # モデルの評価 accuracy = accuracy_score(y_test_encoded, y_pred_encoded) precision = precision_score(y_test_encoded, y_pred_encoded, average=’weighted’) recall = recall_score(y_test_encoded, y_pred_encoded, average=’weighted’) f1 = f1_score(y_test_encoded, y_pred_encoded, average=’weighted’) roc_auc = roc_auc_score(y_test_encoded, xgb_model.predict_proba(X_test), multi_class=’ovr’) print(“Accuracy:”, accuracy) print(“Precision:”, precision) print(“Recall:”, recall) print(“F1 Score:”, f1) print(“ROC AUC Score:”, roc_auc) ————————————————————————— XGBoostError Traceback (most recent call last) Cell In[66], line 12 10 # XGBoostモデルの作成とトレーニング 11 xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) —> 12 xgb_model.fit(X_train, y_train_encoded) 14 # テストセットでの予測 15 y_pred_encoded = xgb_model.predict(X_test) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/core.py:730, in require_keyword_args.<locals>.throw_if.<locals>.inner_f(*args, kwargs) 728 for k, arg in zip(sig.parameters, args): 729 kwargs[k] = arg –> 730 return func(kwargs) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/sklearn.py:1500, in XGBClassifier.fit(self, X, y, sample_weight, base_margin, eval_set, eval_metric, early_stopping_rounds, verbose, xgb_model, sample_weight_eval_set, base_margin_eval_set, feature_weights, callbacks) 1489 params[“num_class”] = self.n_classes_ 1491 ( 1492 model, 1493 metric, (…) 1498 xgb_model, eval_metric, params, early_stopping_rounds, callbacks 1499 ) -> 1500 train_dmatrix, evals = _wrap_evaluation_matrices( 1501 missing=self.missing, 1502 X=X, … [bt] (6) /usr/lib/python3.8/lib-dynload/_ctypes.cpython-38-x86_64-linux-gnu.so(_ctypes_callproc+0x5b6) [0x7fc1a4d77306] [bt] (7) /usr/lib/python3.8/lib-dynload/_ctypes.cpython-38-x86_64-linux-gnu.so(+0x139dc) [0x7fc1a4d779dc] [bt] (8) /home/share/temp/venv/bin/python(_PyObject_MakeTpCall+0x296) [0x5d6066]

2024年6月8日未分類

エラーメッセージから推測するに、XGBoostのfitメソッドに渡されたy_trainが正しくないようです。XGBoostでは、回帰モデルとして扱われるため、クラスラベルではなく、連続値の目的変数が必要です。

したがって、 ...

記事を読む from sklearn.pre ...

from sklearn.preprocessing import LabelEncoder import xgboost as xgb # LabelEncoderを使用してクラスラベルを変換する label_encoder = LabelEncoder() y_train_encoded = label_encoder.fit_transform(y_train) y_test_encoded = label_encoder.transform(y_test) # XGBoostモデルの作成とトレーニング xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) xgb_model.fit(X_train, y_train_encoded) # テストセットでの予測 y_pred_encoded = xgb_model.predict(X_test) # モデルの評価 accuracy = accuracy_score(y_test_encoded, y_pred_encoded) precision = precision_score(y_test_encoded, y_pred_encoded, average=’weighted’) recall = recall_score(y_test_encoded, y_pred_encoded, average=’weighted’) f1 = f1_score(y_test_encoded, y_pred_encoded, average=’weighted’) roc_auc = roc_auc_score(y_test_encoded, xgb_model.predict_proba(X_test), multi_class=’ovr’) print(“Accuracy:”, accuracy) print(“Precision:”, precision) print(“Recall:”, recall) print(“F1 Score:”, f1) print(“ROC AUC Score:”, roc_auc) from sklearn.preprocessing import LabelEncoder import xgboost as xgb # LabelEncoderを使用してクラスラベルを変換する label_encoder = LabelEncoder() y_train_encoded = label_encoder.fit_transform(y_train) y_test_encoded = label_encoder.transform(y_test) # XGBoostモデルの作成とトレーニング xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) xgb_model.fit(X_train, y_train_encoded) # テストセットでの予測 y_pred_encoded = xgb_model.predict(X_test) # モデルの評価 accuracy = accuracy_score(y_test_encoded, y_pred_encoded) precision = precision_score(y_test_encoded, y_pred_encoded, average=’weighted’) recall = recall_score(y_test_encoded, y_pred_encoded, average=’weighted’) f1 = f1_score(y_test_encoded, y_pred_encoded, average=’weighted’) roc_auc = roc_auc_score(y_test_encoded, xgb_model.predict_proba(X_test), multi_class=’ovr’) print(“Accuracy:”, accuracy) print(“Precision:”, precision) print(“Recall:”, recall) print(“F1 Score:”, f1) print(“ROC AUC Score:”, roc_auc) from sklearn.preprocessing import LabelEncoder import xgboost as xgb # LabelEncoderを使用してクラスラベルを変換する label_encoder = LabelEncoder() y_train_encoded = label_encoder.fit_transform(y_train) y_test_encoded = label_encoder.transform(y_test) # XGBoostモデルの作成とトレーニング xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) xgb_model.fit(X_train, y_train_encoded) # テストセットでの予測 y_pred_encoded = xgb_model.predict(X_test) # モデルの評価 accuracy = accuracy_score(y_test_encoded, y_pred_encoded) precision = precision_score(y_test_encoded, y_pred_encoded, average=’weighted’) recall = recall_score(y_test_encoded, y_pred_encoded, average=’weighted’) f1 = f1_score(y_test_encoded, y_pred_encoded, average=’weighted’) roc_auc = roc_auc_score(y_test_encoded, xgb_model.predict_proba(X_test), multi_class=’ovr’) print(“Accuracy:”, accuracy) print(“Precision:”, precision) print(“Recall:”, recall) print(“F1 Score:”, f1) print(“ROC AUC Score:”, roc_auc) from sklearn.preprocessing import LabelEncoder import xgboost as xgb # LabelEncoderを使用してクラスラベルを変換する label_encoder = LabelEncoder() y_train_encoded = label_encoder.fit_transform(y_train) y_test_encoded = label_encoder.transform(y_test) # XGBoostモデルの作成とトレーニング xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) xgb_model.fit(X_train, y_train_encoded) # テストセットでの予測 y_pred_encoded = xgb_model.predict(X_test) # モデルの評価 accuracy = accuracy_score(y_test_encoded, y_pred_encoded) precision = precision_score(y_test_encoded, y_pred_encoded, average=’weighted’) recall = recall_score(y_test_encoded, y_pred_encoded, average=’weighted’) f1 = f1_score(y_test_encoded, y_pred_encoded, average=’weighted’) roc_auc = roc_auc_score(y_test_encoded, xgb_model.predict_proba(X_test), multi_class=’ovr’) print(“Accuracy:”, accuracy) print(“Precision:”, precision) print(“Recall:”, recall) print(“F1 Score:”, f1) print(“ROC AUC Score:”, roc_auc)————————————————————————— XGBoostError Traceback (most recent call last) Cell In[61], line 12 10 # XGBoostモデルの作成とトレーニング 11 xgb_model = xgb.XGBClassifier(n_estimators=1000, random_state=100) —> 12 xgb_model.fit(X_train, y_train) 14 # テストセットでの予測 15 y_pred = xgb_model.predict(X_test) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/core.py:730, in require_keyword_args.<locals>.throw_if.<locals>.inner_f(*args, kwargs) 728 for k, arg in zip(sig.parameters, args): 729 kwargs[k] = arg –> 730 return func(kwargs) File /home/share/temp/venv/lib/python3.8/site-packages/xgboost/sklearn.py:1500, in XGBClassifier.fit(self, X, y, sample_weight, base_margin, eval_set, eval_metric, early_stopping_rounds, verbose, xgb_model, sample_weight_eval_set, base_margin_eval_set, feature_weights, callbacks) 1489 params[“num_class”] = self.n_classes_ 1491 ( 1492 model, 1493 metric, (…) 1498 xgb_model, eval_metric, params, early_stopping_rounds, callbacks 1499 ) -> 1500 train_dmatrix, evals = _wrap_evaluation_matrices( 1501 missing=self.missing, 1502 X=X, … [bt] (6) /usr/lib/python3.8/lib-dynload/_ctypes.cpython-38-x86_64-linux-gnu.so(_ctypes_callproc+0x5b6) [0x7fc1a4d77306] [bt] (7) /usr/lib/python3.8/lib-dynload/_ctypes.cpython-38-x86_64-linux-gnu.so(+0x139dc) [0x7fc1a4d779dc] [bt] (8) /home/share/temp/venv/bin/python(_PyObject_MakeTpCall+0x296) [0x5d6066] Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings…

2024年6月8日未分類

エラーメッセージを見ると、XGBoostのfitメソッドに渡されたy_trainが正しくないようです。XGBoostでは、y_trainにはクラスラベルではなく、予測したい目的変数の値が渡される必要があります。

具体的には ...

記事を読む from sklearn.pre ...

カテゴリーがデータセットに与える影響が大きいと思う

2024年6月8日未分類

2024年6月17日

カテゴリーがデータセットに与える影響は確かに大きいです。カテゴリーは、データのグループ化やパターンの発見に役立ちます。特に、以下のような場面でカテゴリーは重要です：

特徴量エンジニアリング: カテゴリーは、特徴量エンジニアリング ...

記事を読むカテゴリーがデー ...

やはり、データセットによる、機械学習モデルの性能への影響が一番大きいよね

2024年6月8日未分類

2024年6月17日

はい、確かにデータセットの品質や特性は、機械学習モデルの性能に大きな影響を与えます。不均衡なデータセットは特に挑戦がありますが、以下のような理由から影響が大きいと言えます。

サンプルの数: データセット内の各クラスのサンプル数が ...

記事を読むやはり、データセ ...

オーバーサンプリングやアンダーサンプリングをしても、大きな変化はなかった。

2024年6月8日未分類

オーバーサンプリングやアンダーサンプリングが効果的でなかった場合、他のアプローチを検討することが重要です。以下は、さまざまなアプローチを提案します。

特徴量エンジニアリング:

より意味のある特徴量を作成する
特 ...

記事を読むオーバーサンプリ ...

オーバーサンプリングのみしたい。

2024年6月8日未分類

オーバーサンプリングを行うことで、少数クラスのサンプルを増やすことができます。これにより、モデルが少数クラスをより効果的に学習することができ、モデルの性能を向上させることが期待されます。

具体的な手順は次の通りです：

記事を読むオーバーサンプリングのみしたい。

size 発送件数 60 1559 100 817 120 610 80 593 140 293 160 179 180 30 200 11 極端に件数がすくないものは、除去したほうがいいのかな？

2024年6月8日未分類

データセット内の特定のクラスが極端に少ない場合、そのクラスはモデルのトレーニングにあまり役立たない可能性があります。このような場合、そのクラスを除去することは一般的なアプローチです。ただし、このような決定を行う前に、いくつかの考慮事項 ...

記事を読む size 発送件数 ...

オーバーサンプリング、アンダーサンプリングって、目的変数に対して行うの？

2024年6月8日未分類

はい、オーバーサンプリングとアンダーサンプリングは、主に目的変数（ターゲット変数、クラスラベル）に対して行います。

オーバーサンプリング：少数クラスのサンプルを増やすために行われます。つまり、少数クラスのサンプルを増やすこ ...

記事を読むオーバーサンプリ ...

オーバーサンプリングやアンダーサンプリングをしているが、具体的にどう不均衡が発生しているのか視覚化してみたい

2024年6月8日未分類

不均衡なクラス分布を視覚化するための方法として、クラスごとのデータポイントの数を棒グラフや円グラフで表示することができます。また、オーバーサンプリングやアンダーサンプリングを適用した後のクラス分布も同様に視覚化することができます。

記事を読むオーバーサンプリ ...

RF_ベースモデル_est100ベースモデル_est500商品名の除外メーカー品番をラベルエンコーディング追加商品名の記号置換商品名のラベルエンコーディング追加商品名のCountVectorizerの除外標準化XB_ベースモデル_est=1000XB_ランダムサーチXB_ベイズ最適化XB_ベイズ最適化周辺をグリッドサーチRF_オーバーサンプリングRF_オーバーアンダーサンプリング Accuracy:0.5628815630.560439560.4884004880.5677655680.5567765570.5714285710.5372405370.5677655680.5335775340.5543345540.5457875460.5641025640.5763125760.568986569 Precision:0.5315840.5277868790.4782995730.5402894350.5314114290.5392694230.5214282930.5402894350.5237452480.5215769110.5144864210.5397745430.554801010.541631725 Recall:0.5628815630.560439560.4884004880.5677655680.5567765570.5714285710.5372405370.5677655680.5335775340.5543345540.5457875460.5641025640.5763125760.568986569 F10.5259812770.5214738420.481048240.5319235320.5225131660.5370858670.5254654420.5319235320.5251315840.5190071830.5115733910.5346487760.5467326680.53367793 ROC0.7550416090.7828641750.7191715240.7903844320.7616002680.7545344520.7385223670.7903920030.726494170.8012548850.7742405460.8034846850.7677418510.755179211 大して変わらないなぁ

2024年6月8日未分類

オーバーサンプリングとアンダーサンプリングを組み合わせることで、一般的にはモデルの性能が向上することが期待されますが、すべてのケースで改善が見られるわけではありません。データや問題によって最適なアプローチが異なるため、複数の手法を試す ...

記事を読む RF_ベースモデル_ ...

コードちょうだい

2024年6月8日未分類

以下は、SMOTEとTomekリンクを組み合わせたアンダーサンプリングとオーバーサンプリングの例です。imbalanced-learnパッケージを使用しています。

python
from imblearn.combine ...

記事を読むコードちょうだい

アンダーサンプリングとの組み合わせ: オーバーサンプリングとアンダーサンプリングを組み合わせ

2024年6月8日未分類

アンダーサンプリングとオーバーサンプリングを組み合わせる手法は、トレーニングデータのクラスの不均衡を解消し、モデルの性能を向上させるための有効な方法です。この手法には以下のような方法があります：

SMOTEとTomekリン ...

記事を読むアンダーサンプリ ...

RF_ベースモデル_est100ベースモデル_est500商品名の除外メーカー品番をラベルエンコーディング追加商品名の記号置換商品名のラベルエンコーディング追加商品名のCountVectorizerの除外標準化XB_ベースモデル_est=1000XB_ランダムサーチXB_ベイズ最適化XB_ベイズ最適化周辺をグリッドサーチRF_オーバーサンプリング Accuracy:0.5628815630.560439560.4884004880.5677655680.5567765570.5714285710.5372405370.5677655680.5335775340.5543345540.5457875460.5641025640.576312576 Precision:0.5315840.5277868790.4782995730.5402894350.5314114290.5392694230.5214282930.5402894350.5237452480.5215769110.5144864210.5397745430.55480101 Recall:0.5628815630.560439560.4884004880.5677655680.5567765570.5714285710.5372405370.5677655680.5335775340.5543345540.5457875460.5641025640.576312576 F10.5259812770.5214738420.481048240.5319235320.5225131660.5370858670.5254654420.5319235320.5251315840.5190071830.5115733910.5346487760.546732668 ROC0.7550416090.7828641750.7191715240.7903844320.7616002680.7545344520.7385223670.7903920030.726494170.8012548850.7742405460.8034846850.767741851 これが今までの結果。オーバーサンプリングしたら少しは改善されたけど、まだまだ

2024年6月8日未分類

オーバーサンプリングを行った結果、精度や適合率、再現率、F1スコアは若干向上しましたが、まだまだ改善の余地がありますね。他の手法やハイパーパラメーターの調整などを検討してみることが重要です。

以下は改善のために検討できるい ...

記事を読む RF_ベースモデル_ ...

from imblearn.over_sampling import SMOTE # SMOTEを適用 smote = SMOTE(random_state=42) X_train_resampled, y_train_resampled = smote.fit_resample(X_train_scaled, y_train) # ランダムフォレストモデルの作成とトレーニング rf_model_resampled = RandomForestClassifier(n_estimators=100, random_state=100) rf_model_resampled.fit(X_train_resampled, y_train_resampled) 精度等表示して

2024年6月8日未分類

SMOTEを使用してオーバーサンプリングを行い、ランダムフォレストモデルを再度トレーニングした後、精度などを表示します。以下はそのコードです。

python
from imblearn.over_sampling imp ...

記事を読む from imblearn.ov ...

Exception ignored on calling ctypes callback function: <function ThreadpoolController._find_libraries_with_dl_iterate_phdr.<locals>.match_library_callback at 0x7fc098116040> Traceback (most recent call last): File “/home/share/temp/venv/lib/python3.8/site-packages/threadpoolctl.py”, line 1014, in match_library_callback self._make_controller_from_path(filepath) File “/home/share/temp/venv/lib/python3.8/site-packages/threadpoolctl.py”, line 1184, in _make_controller_from_path lib_controller = controller_class( File “/home/share/temp/venv/lib/python3.8/site-packages/threadpoolctl.py”, line 113, in init self.dynlib = ctypes.CDLL(filepath, mode=_RTLD_NOLOAD) File “/usr/lib/python3.8/ctypes/init.py”, line 373, in init self._handle = _dlopen(self._name, mode) OSError: dlopen() error

2024年6月8日未分類

このエラーメッセージは、threadpoolctl ライブラリでエラーが発生していることを示しています。threadpoolctl は、Pythonスレッドプールに関連するCライブラリを制御するためのものです。

このエラー ...

記事を読む Exception ignore ...

オーバーサンプリングをおこなってみたい。

2024年6月8日未分類

オーバーサンプリングは、少数クラスのサンプルを増やすことでデータセットのクラスの不均衡を解消する方法です。代表的な手法の1つは、SMOTE（Synthetic Minority Over-sampling Technique）です。S ...

記事を読むオーバーサンプリ ...

Accuracy: 0.5335775335775336 Precision: 0.5237452475014479 Recall: 0.5335775335775336 F1 Score: 0.5251315843386484 ROC AUC Score: 0.7264941698664935 結果はこれ、やはり重みづけではだめか？

2024年6月8日未分類

与えられた結果を見ると、クラスの重みづけを行った場合の結果が重みづけを行わなかった場合と比べて若干改善されていますが、まだ十分な改善が得られていないようです。これは、問題が複雑であり、単純にクラスの不均衡だけでなく他の要因も影響してい ...

記事を読む Accuracy: 0.5335 ...