MemoryError: Unable to allocate 49.8 GiB for an array with shape (112733, 59267) and data type float64
メモリエラーが発生しました。TF-IDFを計算する際に、生成される行列が非常に大きくなり、メモリに収まらなくなっています。
この問題を解決するために、次のいくつかの方法が考えられます。
- 制限された特徴量の使用: TF-IDFの特徴量を制限して、計算量を減らすことができます。例えば、
max_featuresパラメータを設定して、特徴量の最大数を制限することができます。 - メモリ効率の改善:
TfidfVectorizerの内部で使用されるメモリ効率の改善を試みることができます。しかし、これは実装の詳細に関わるので、通常は手動で行うことはありません。 - 分散処理: メモリが不足する場合は、分散処理を使用してTF-IDFを計算することができます。Scikit-learnの
HashingVectorizerを使用して、分割して処理することができます。 - サンプリング: データをサンプリングして、一部のデータのみを使用してTF-IDFを計算することができます。ただし、この場合、精度が低下する可能性があります。
これらの方法のうち、最も簡単な方法は、TfidfVectorizerのパラメータを調整して特徴量の数を制限することです。たとえば、max_featuresを設定してみてください。