Word Embeddings 単語の意味を表す密なベクトル表現を学習する方法です。Word2VecやGloVeなどのアルゴリズムを使用して、単語を連続したベクトル空間に埋め込むことができます。 商品名の各単語をベクトルに変換し、それらのベクトルの平均や合計をとることで、商品名全体の埋め込みを得ることができます。 これのサンプルコードくれ

2024年6月8日

以下は、PythonのGensimライブラリを使用してWord2Vecを使った商品名の埋め込みを得るサンプルコードです。

python
from gensim.models import Word2Vec
import numpy as np

# 商品名のリスト（各要素は単語のリストとする）
product_names = [
    ['商品', '名', '1'],
    ['商品', '名', '2'],
    ['商品', '名', '3'],
    # 他の商品名データ
]

# Word2Vecモデルの学習
model = Word2Vec(sentences=product_names, vector_size=100, window=5, min_count=1, workers=4)

# 商品名の各単語をベクトルに変換し、平均をとることで商品名全体の埋め込みを得る
def get_product_name_embedding(product_name, model):
    vectors = []
    for word in product_name:
        if word in model.wv:
            vectors.append(model.wv[word])
    if vectors:
        return np.mean(vectors, axis=0)
    else:
        return np.zeros(model.vector_size)

# 各商品名の埋め込みを取得
product_name_embeddings = [get_product_name_embedding(name, model) for name in product_names]

# 商品名全体の埋め込みの例を表示
print(product_name_embeddings[0])  # 最初の商品名の埋め込み

このコードでは、Gensimライブラリを使用してWord2Vecモデルを構築し、各商品名の埋め込みを得るための関数を定義しています。商品名の各単語のベクトル表現をWord2Vecモデルから取得し、それらの平均をとることで商品名全体の埋め込みを得ます。