ブースティング系を説明変数として使用するのはどうだろうか
ブースティングアルゴリズムを説明変数として使用することも、一般的な手法の一つです。ブースティングアルゴリズムは、複数の弱学習器を組み合わせて強力な学習器を構築する手法であり、その出力は個々のデータポイントに対する予測や予測確率です。そのため、ブースティングアルゴリズムの出力を特徴量として使用し、それを元にメタモデルを学習させることは有効な方法です。
例えば、Gradient BoostingやXGBoost、LightGBMなどのブースティングアルゴリズムは、各学習ステージで予測確率を出力します。これらの予測確率を説明変数として使い、それを元にメタモデルを学習させることで、複数のブースティングモデルの予測を組み合わせて最終的な予測を行うことができます。
ブースティングアルゴリズムの特徴量として使用される予測確率は、通常は各クラスに属する確率ですが、必要に応じてその他の指標（例えば、クラスのラベル自体や特定の指標の重要度など）も考慮することができます。
したがって、ブースティングアルゴリズムの予測確率を説明変数として使用することは、ランダムフォレストなど他のアルゴリズムの予測確率と同様に有効な手法です。それを使ってメタモデルを学習させ、最終的な予測を行うことで、モデルの性能を向上させることができます。