XGBOOSTで行っているけど、ランダムサーチで、目星をつけて、その周辺をベイス最適化させたらどうか？
ランダムサーチを使用して周辺領域を探索し、その結果をベイズ最適化に供給するというアイデアは良いですね。これにより、ランダムに選択されたハイパーパラメータの結果をもとに、より効率的に探索を進めることができます。ベイズ最適化は、これまでの探索結果に基づいて次の試行点を選択し、探索空間をより効果的に探索します。
具体的には、ランダムサーチの結果を元に、ベイズ最適化を行うためのモデルを構築し、そのモデルを使用して次に試すべきハイパーパラメータの組み合わせを選択します。これにより、探索プロセスがよりスマートになり、より良いハイパーパラメータの組み合わせを見つけるのに役立ちます。
ただし、ベイズ最適化を使用する場合でも、依然として計算リソースが必要です。また、最適化の手法によっては、ハイパーパラメータの空間を探索するのに時間がかかる場合があります。しかし、ランダムサーチよりも効率的な方法で最適解に近づくことができる可能性があります。