Error occurred during Crawl rough_and_road: Message: unknown error: session deleted because of page crash from unknown error: cannot determine loading status from tab crashed (Session info: headless chrome=114.0.5735.90) Stacktrace: #0 0x559712dd24e3 <unknown> #1 0x559712b01b00 <unknown> #2 0x559712aecb69 <unknown> #3 0x559712aec066 <unknown> #4 0x559712aeb168 <unknown> #5 0x559712aeafa0 <unknown> #6 0x559712ae99bf <unknown> #7 0x559712aea162 <unknown> #8 0x559712af80d5 <unknown> #9 0x559712af9222 <unknown> #10 0x559712b0bbcb <unknown> #11 0x559712b103ab <unknown> #12 0x559712aea703 <unknown> #13 0x559712b0b810 <unknown> #14 0x559712b7521c <unknown> #15 0x559712b5cde3 <unknown> #16 0x559712b322dd <unknown> #17 0x559712b3334e <unknown> #18 0x559712d923e4 <unknown> #19 0x559712d963d7 <unknown> #20 0x559712da0b20 <unknown> #21 0x559712d97023 <unknown> #22 0x559712d651aa <unknown> #23 0x559712dbb6b8 <unknown> #24 0x559712dbb847 <unknown> #25 0x559712dcb243 <unknown> #26 0x7fd124a3dac3 <unknown>
このエラーは、ページがクラッシュしてセッションが削除されたことを示しています。原因はいくつか考えられますが、一般的な原因としては次のようなものが挙げられます。
- ページ内でのJavaScriptのエラーまたは問題
- ページがロードされるまでの時間が長すぎる
- ページが重すぎてメモリを消費しすぎる
- ページの構造が変更され、スクレイピングが期待どおりに機能しない
対処方法としては、以下のようなものがあります。
- ページのロードが完了するまでの待機時間を長くする
- ページのロードが完了するまでの待機時間を短くする
- ページのロードが完了するまでの待機時間を最適化する
- スクレイピング対象のページをより軽量化する
- エラーが発生した場合にページのリロードを試みる
- ページのロード時に JavaScript エラーが発生した場合にログを出力し、原因を特定する
エラーの原因を特定して、適切な対処を行う必要があります。

ディスカッション
コメント一覧
まだ、コメントがありません