stopwordsの設定をしたい

2024年6月8日

CountVectorizer において stop_words パラメータを使用することで、ストップワードを指定することができます。ストップワードは、処理対象外とする単語のリストです。以下は、stop_words パラメータを使用してストップワードを設定する例です：

python
from sklearn.feature_extraction.text import CountVectorizer

# ストップワードのリストを定義
custom_stopwords = ['your', 'stop', 'words', 'here']

# CountVectorizerのインスタンスを作成し、stop_wordsを設定
vectorizer = CountVectorizer(stop_words=custom_stopwords)

# CountVectorizerを使用してテキストデータをベクトル化
X_category_name_vectorized = vectorizer.fit_transform(X_category_name)

上記の例では、custom_stopwords リストにストップワードを定義し、stop_words パラメータにそれを指定しています。stop_words='english' と指定することで、英語のデフォルトのストップワードを使用することもできます。また、他の言語に対応するストップワードセットも提供されています。

データに合わせて適切なストップワードを指定することで、ベクトル化された特徴量が不要な単語を含まないようにすることができます。