情報利得、ジニ不純度、エントロピー、分類誤差、これらの違い

2024年6月8日

これらの指標は、決定木やランダムフォレストなどの機械学習モデルの分割基準として使用される不純度指標ですが、それぞれ異なる性質を持っています。

1. 情報利得（Information Gain）:

   • 情報利得は、分割前後の不純度の減少量を表します。分割前後のエントロピーの差を計算することで求められます。
   • 情報利得が高いほど、分割後のノードがより純粋になることを示します。
   • 決定木などの分類モデルで広く使用されます。

2. ジニ不純度（Gini Impurity）:

   • ジニ不純度は、分割前後のクラスの混合度を表します。クラスが均等に混合されている場合に高い値を取ります。
   • ジニ不純度が低いほど、分割後のノードがより純粋になることを示します。
   • 決定木やランダムフォレストなどで使用されます。

3. エントロピー（Entropy）:

   • エントロピーは、分割前後のクラスの混合度を表します。クラスが均等に混合されている場合に高い値を取ります。
   • エントロピーが低いほど、分割後のノードがより純粋になることを示します。
   • ジニ不純度と同様に、決定木やランダムフォレストなどで使用されます。

4. 分類誤差（Classification Error）:

   • 分類誤差は、分割前後の誤分類率を表します。つまり、最も多数派のクラスの割合を求め、それを1から引いたものです。
   • 分類誤差が低いほど、分割後のノードがより純粋になることを示します。
   • エントロピーやジニ不純度よりも分割の精度が低いため、あまり広く使用されません。

これらの指標は、分割後のノードの純度を評価するために使用されますが、その計算方法や意味合いが異なります。どの指標を使用するかは、データセットや問題によって異なりますが、一般的には情報利得やジニ不純度がよく使用されます。