KNNってなんだっけ
K最近傍法（K-Nearest Neighbors、KNN）は、分類や回帰のための単純で直感的な機械学習手法の1つです。KNNは、特徴空間内の観測値の近傍にある「K」個の最近傍点を見つけ、その点に基づいて新しいデータポイントを分類または予測する方法です。
KNNの手順は以下の通りです：
-
予測したい新しいデータポイントと、トレーニングデータ内の各データポイントとの間の距離を計算します。一般的にはユークリッド距離が使用されますが、他の距離メトリックも使用できます。
-
計算された距離を基に、新しいデータポイントに最も近い「K」個のトレーニングデータポイントを選択します。
-
分類の場合、K個の最近傍点の中で最も多数派のクラスを新しいデータポイントのクラスとして割り当てます。回帰の場合、K個の最近傍点の平均値または加重平均値を新しいデータポイントの予測値として使用します。
KNNの重要なハイパーパラメータはKの値です。Kの値が小さいとモデルはノイズに敏感になり、Kの値が大きいとモデルはより滑らかになりますが、決定境界がより一般化されます。適切なKの値を選択することが重要です。
KNNは、単純で理解しやすいため、初心者にとっては良い出発点となることが多いです。ただし、大規模なデータセットや高次元の特徴空間では計算コストが高くなることがあります。