スクレイピングのアプリケーションを分けた時、1クローラーのスクレイピングアプリケーションは１つとすると、100個のスクレイピングアプリケーションを作る必要があるの？
はい、そうです。クローラーアプリケーションからのデータを処理するスクレイピングアプリケーションを1つのクローラーに対して1つずつ作成する必要があります。つまり、100個のクローラーアプリケーションがある場合、それぞれに対応する100個のスクレイピングアプリケーションを作成する必要があります。
各スクレイピングアプリケーションは、対応するクローラーアプリケーションからのデータを処理して適切な形式に整形し、データベースに保存する役割を担います。このようにすることで、各クローラーアプリケーションが個別に処理され、並行して多数のウェブサイトからデータを取得できるようになります。