seleniumのheadlessで実行しようとすると、スマホで取得しているらしい

2024年6月8日

SeleniumでHeadlessモードで実行すると、デフォルトではユーザーエージェントがモバイルデバイスのものに設定されることがあります。これは、ウェブサイトがモバイルデバイスに対応している場合に役立つ場合がありますが、ユーザーエージェントを変更することでデスクトップ版のウェブサイトを表示することも可能です。

以下は、SeleniumでHeadlessモードを使用してデスクトップ版のユーザーエージェントを設定する方法の例です。

python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# Chrome WebDriverのオプションを設定
chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-gpu")  # GPUを無効にする（必要に応じて）
chrome_options.add_argument("--window-size=1920x1080")  # ウィンドウサイズを設定する（必要に応じて）
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36")  # ユーザーエージェントを設定する

# Chrome WebDriverのインスタンスを作成
driver = webdriver.Chrome(options=chrome_options)

# URLに移動
driver.get("https://example.com")

# 現在のURLを取得
current_url = driver.current_url
print("Current URL:", current_url)

# WebDriverを終了
driver.quit()

この例では、--headlessオプションを使用してHeadlessモードでChromeを実行し、user-agentオプションを使用してデスクトップ版のユーザーエージェントを設定しています。必要に応じて他のオプションも設定できます。