勾配法、進化的アルゴリズム
勾配法と進化的アルゴリズムは、両方とも最適化アルゴリズムの一種ですが、異なるアプローチを用いて最適化問題を解決します。
-
勾配法（Gradient Descent）:
- 勾配法は、目的関数の勾配（あるいは導関数）を利用して、最小値（あるいは最大値）を探索する手法です。目的関数が微分可能である必要があります。
- 基本的な勾配法では、目的関数の勾配の方向に一定のステップサイズ（学習率）を掛けたベクトルを現在の解から引いて次の解を求めます。これを繰り返すことで解を更新していきます。
- 勾配法は局所的な最適解に収束する可能性がありますが、凸関数であればグローバル最適解に収束することが保証されます。
-
進化的アルゴリズム（Evolutionary Algorithms）:
- 進化的アルゴリズムは、生物の進化のプロセスに着想を得た最適化手法です。個体群を進化させながら最適解を見つけます。
- 進化的アルゴリズムは、解候補を個体とし、遺伝子型（あるいは解の表現）を表現します。個体は、適応度関数（目的関数）によって評価されます。
- 進化的アルゴリズムの基本的な手法には、選択、交叉、突然変異が含まれます。選択は適応度に基づいて個体を選択し、交叉は選択された個体の遺伝子を交換し、突然変異はランダムに遺伝子を変更します。
- 進化的アルゴリズムは、局所的な最適解に陥りにくく、多様な解候補を探索することができるため、非線形で複雑な最適化問題に適しています。
勾配法は、目的関数が微分可能であり、比較的単純な問題や凸関数の最適化に適しています。一方、進化的アルゴリズムは、目的関数の形状や特性を事前に知ることが難しい複雑な最適化問題や、非線形で多峰性の関数に適しています。