データは、どこに保存しようか？DBがいいかな？

2024年6月8日2024年6月15日

はい、データを保存するためにデータベースを使用するのは一般的で効果的な方法です。データベースは、永続的なデータの保存や検索に適していますし、複数のプロセスやアプリケーションからのアクセスを管理することができます。

以下は、Djangoプロジェクト内でデータベースを使用してデータを保存する例です。

1. データモデルの作成: Djangoのモデルを使用して、データベース内のテーブルを定義します。クロール開始時間を保存するためのフィールドを含めることができます。

python
# models.py

from django.db import models

class CrawlRecord(models.Model):
    start_time = models.DateTimeField(auto_now_add=True)

2. マイグレーションの作成と実行: モデルを変更した後、マイグレーションファイルを作成し、データベースに適用します。

python manage.py makemigrations
python manage.py migrate

3. クロール開始時間の記録: クロールが開始されたときに、モデルを使用してクロール開始時間をデータベースに保存します。

python
# crawl.py

from .models import CrawlRecord
import datetime

def record_crawl_start_time():
    start_time = datetime.datetime.now()
    crawl_record = CrawlRecord.objects.create(start_time=start_time)
    crawl_record.save()

これにより、クロール開始時間がデータベースに保存されます。その後、スクレイピングアプリケーションで必要なときに、この情報を取得して使用することができます。