アンサンブル学習は、バギングとブースティングに分かれるけど、勾配ブースティングってなに？
勾配ブースティング（Gradient Boosting）は、ブースティングというアンサンブル学習手法の一種です。ブースティングは、弱い学習器（Weak Learner）を組み合わせて強力な学習器を構築する手法であり、勾配ブースティングはその中でも特に有名で効果的な手法の一つです。
勾配ブースティングの基本的なアイデアは、過去の学習器の誤差を修正する新しい学習器を反復的に構築することです。具体的には、勾配降下法を使用して、前の学習器が間違えたデータポイントに対する勾配（勾配ベクトル）を計算し、その勾配に従って新しい学習器を構築します。これにより、モデル全体の誤差を最小化するように学習器が修正されます。
勾配ブースティングは、一度に1つの学習器を追加するため、直列的に学習器を構築するという点で、バギングとは異なります。また、バギングとは異なり、勾配ブースティングは弱い学習器を順番に追加していき、最終的な予測を行う際にそれらを組み合わせます。
勾配ブースティングの代表的なアルゴリズムとしては、Gradient Boosting Machine (GBM)、XGBoost、LightGBM、CatBoostなどがあります。これらのアルゴリズムは、精度や効率性などの観点からさまざまな改良が加えられており、広く使用されています。