特徴量の作成: 商品名やテキストデータから特徴量を抽出します。これには、TF-IDFや単語の埋め込み（Word Embeddings）を使用することができます

2024年6月8日

TF-IDF（Term Frequency-Inverse Document Frequency）や単語の埋め込み（Word Embeddings）は、テキストデータから特徴量を抽出するための一般的な手法です。以下は、それぞれの手法の例です。

1. TF-IDF（Term Frequency-Inverse Document Frequency）:

python
from sklearn.feature_extraction.text import TfidfVectorizer

# TF-IDFベクトル化器のインスタンス化
tfidf_vectorizer = TfidfVectorizer()

# テキストデータをTF-IDF特徴量に変換
tfidf_features = tfidf_vectorizer.fit_transform(text_data)

print("TF-IDF features shape:", tfidf_features.shape)

TF-IDFは、各単語の重要性を表す数値を計算します。この数値は、単語の出現頻度（Term Frequency）と文書全体での出現頻度の逆数（Inverse Document Frequency）の積です。

2. 単語の埋め込み（Word Embeddings）:

単語の埋め込みは、単語を密なベクトル表現に変換する手法です。代表的なモデルにはWord2VecやGloVeがありますが、これらのモデルは事前学習済みの埋め込みを使用することができます。

python
# 事前学習済みのWord2Vecモデルを使用する場合
from gensim.models import Word2Vec

# Word2Vecモデルのロード
word2vec_model = Word2Vec.load("path/to/pretrained/word2vec/model")

# 商品名の各単語に対する埋め込みを取得し、平均を計算して1つの特徴量にまとめる（仮定）
word_embeddings = []
for product_name in product_names:
    words = product_name.split()  # 商品名を単語に分割
    embeddings = [word2vec_model[word] for word in words if word in word2vec_model]
    if embeddings:
        average_embedding = np.mean(embeddings, axis=0)  # 単語の埋め込みの平均を計算
        word_embeddings.append(average_embedding)
    else:
        # 単語が全て未知語の場合、ゼロベクトルを使用するなどの適切な処理を行う
        word_embeddings.append(np.zeros(word2vec_model.vector_size))

word_embeddings = np.array(word_embeddings)
print("Word embeddings shape:", word_embeddings.shape)

これらの手法を使用することで、テキストデータから特徴量を抽出し、機械学習モデルに入力することができます。