常に3つのタスクを処理するには？（100クロールアプリケーション）

2024年6月8日

Celeryを使用して常に3つのタスクを処理するためには、Celeryのconcurrency（並行性）設定を使用して、同時に処理するタスクの数を制限します。これにより、同時に実行されるタスクの数が制御されます。

以下は、Celeryのconcurrency設定を使用して3つのタスクを同時に処理する方法です。

1. Celeryの設定変更: Djangoプロジェクトのsettings.pyファイルで、CeleryのCELERYD_CONCURRENCY設定を変更します。

   python
   # settings.py
   
   CELERYD_CONCURRENCY = 3  # 同時に処理するタスクの数
   

   この設定により、Celeryワーカーが同時に処理するタスクの数が3つに制限されます。

2. Celeryワーカーの起動: celery -A your_project worker --concurrency=3のように、Celeryワーカーを起動する際に--concurrencyオプションを使用して並行性を指定します。

   bash
   celery -A your_project worker --concurrency=3
   

これにより、Celeryワーカーが3つのタスクを同時に処理し、その他のタスクはキューで待機します。必要に応じて、--concurrencyオプションの値を調整して、同時に処理されるタスクの数を変更できます。