djangoでクローラーを動かして、モデルで保存したい。

2024年6月8日

Djangoでクローラーを実行し、その結果をモデルに保存するには、次の手順が一般的です。

1. クローラーの作成: PythonのリクエストライブラリやBeautifulSoupなどのライブラリを使用して、クローラーを作成します。このクローラーは、Webページを取得し、必要な情報を抽出するために使用されます。

2. モデルの作成: Djangoのモデルを使用して、データを保存するためのデータベーステーブルを定義します。モデルには、保存したいデータのフィールドが含まれます。

3. クローラーでデータを収集し、モデルに保存する: クローラーがデータを収集した後、それをモデルのインスタンスに変換し、データベースに保存します。これには、DjangoのORM（Object-Relational Mapping）を使用します。

以下は、このプロセスの一般的なコード例です。

python
# models.py
from django.db import models

class MyModel(models.Model):
    field1 = models.CharField(max_length=100)
    field2 = models.TextField()

# crawler.py
import requests
from bs4 import BeautifulSoup
from .models import MyModel

def crawl_and_save_data():
    # クロールしてデータを収集
    response = requests.get('https://example.com')
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    # 必要な情報を抽出
    data1 = soup.find('...')
    data2 = soup.find('...')
    # モデルにデータを保存
    obj = MyModel.objects.create(field1=data1, field2=data2)

この例では、MyModelという名前のモデルを定義し、crawl_and_save_data関数でデータを収集して保存しています。crawl_and_save_data関数は定期的に実行されるようにスケジュールすることができます（例えば、cronジョブやDjangoのカスタムコマンドを使用して）。