正則化
正則化は、過学習を制御し、モデルの汎化性能を向上させるための手法です。ロジスティック回帰などのモデルにおいて、正則化は通常、モデルの複雑さを制限するために、パラメータの値にペナルティを課すことで実現されます。主な正則化手法としては、L1正則化とL2正則化があります。
-
L1正則化（Lasso正則化）:
L1正則化は、モデルのパラメータの絶対値の総和にペナルティを課すことで、不要な特徴の重みを0に近づけることができます。これにより、特徴選択（Feature Selection）が行われ、モデルがより疎な形で学習されます。L1正則化は、一部の重要な特徴のみが残るようにすることができます。 -
L2正則化（Ridge正則化）:
L2正則化は、モデルのパラメータの二乗和にペナルティを課すことで、大きなパラメータ値を抑制します。この結果、モデルの重みが均一になり、特定の特徴が他の特徴よりも優先されることが防がれます。L2正則化は、特徴のスケールの影響を受けにくい特性があります。
これらの正則化手法は、ハイパーパラメータとして正則化パラメータ（λ）を持ちます。λの値が大きいほど、ペナルティの影響が強くなり、モデルの過学習が抑制されます。λの値を適切に調整することで、適切な正則化が行われ、モデルの性能が改善されます。