常にtorを起動しておきたい
常に Tor をバックグラウンドで実行するには、Tor サービスをデーモンとして実行することができます。これにより、システム起動時に自動的に Tor が起動されます。
以下は、Ubuntu で Tor をデーモンとして設定 ...
import requests # Tor プロキシの設定 proxies = { ‘http’: ‘socks5h://127.0.0.1:9050’, ‘https’: ‘socks5h://127.0.0.1:9050’ } # リクエストを送信 response = requests.get(‘http://example.com’, proxies=proxies) # 応答を表示 print(response.text) torの設定をしたい。linux
Tor を使用するためには、まず Tor クライアントをインストールし、その後 Python の requests ライブラリを使用して Tor プロキシ経由でリクエストを送信する必要があります。
以下は、Linux 環境 ...
ここは日本だけど、海外からアクセスしたら、英語でWEBページの情報を取得する可能性もありうる?
はい、そうです。多くの場合、ウェブサイトはユーザーの地理的な位置に基づいて、異なる言語やコンテンツを提供します。特に国際的なウェブサイトや大手のサービスでは、ユーザーが自国外からアクセスした場合には、英語などの国際共通言語でのコンテン ...
torは毎回アクセスするたびにIPアドレスは変わるの?それとも、時間によって変わるの?
Tor ネットワークを通じてインターネットにアクセスする場合、IP アドレスは時間とともに変わることがありますが、アクセスするたびに必ずしも変わるとは限りません。Tor ネットワークは、通常、ノードが数分から数時間ごとに変わることによ ...
def fetch_product_url(self): “””_詳細ページのHTML等の取得_ Returns: df: _DataFrameで現時点URLにいる一覧ページ上のHTML情報を返す_ “”” df = pd.DataFrame() # for index, i in tqdm(enumerate(self.driver.find_element(By.CLASS_NAME, “productList”).find_elements(By.TAG_NAME, “a”))): for index, i in tqdm(enumerate(self.fetch_product_loop_url_atag()),total=len(self.fetch_product_loop_url_atag())): try: self.logger.info(f’detail_url:{i.get_attribute(“href”)}’)#現在の詳細ページを追跡 df.at[0, “crawl_site_id”] = self.crawl_site_id df.at[0, “url”] = i.get_attribute(“href”) try: df.at[0, “html_content”] = requests.get(i.get_attribute(“href”)).text except:#リトライ面倒の為 pass df.at[0, “html_sub_content”] = self.fetch_sub_content(i) df.at[0, “crawl_timestamp”] = timezone.now() self.update_or_create_crawl_data(df)# クロールデータをテーブルへ書き込み df = pd.DataFrame()#メモリ解放 sleep(self.sleep_time) #時間待機 except Exception as e: try: self.logger.error(f”Error fetching HTML content for URL: {i.get_attribute(‘href’)}. Error: {e}”) except: pass continue # df = df.drop_duplicates(subset=[“url”]) return df 上記のrequests.get(i.get_attribute(“href”)).textの部分だけを、torを使って海外IP経由で取得できる?
はい、requests ライブラリを使用して海外のIPアドレスを経由してウェブサイトのHTMLを取得することが可能です。その際に、tor を使用してトラフィックをルーティングすることが一般的です。
以下は、requests ...
これは、相手サーバーから切断されたってこと?
はい、正確にその通りです。エラーメッセージにある ConnectionResetError は、接続がリモートサーバーによって強制的に切断されたことを示しています。つまり、プログラムがデータを送信しようとした際に、相手サーバーが接続を ...
Error occurred during Crawl pmc: (‘Connection aborted.’, ConnectionResetError(104, ‘Connection reset by peer’))
このエラーメッセージは、プログラムがネットワーク上のリモートサーバーに接続しようとした際に、接続が中断されたことを示しています。具体的には、接続がリモートサーバーによって強制的に閉じられたことを示しています。
このエラーが ...
linuxで現在のUbuntuのバージョン確認したい
Ubuntu バージョンを確認するには、ターミナルを開いて以下のコマンドを入力します。
bashlsb_release -a
このコマンドを実行すると、Ubuntu の詳細な情報が表示されます。特に Descrip ...
Windows Server 2022 Datacenter Editionってなに
Windows Server 2022 Datacenter Edition は、Microsoft が提供する Windows Server プラットフォームのエディションの一つです。Windows Server 2022 は、企業 ...
root@531a0c7c5e99:/home/NBSystem# mysql -u nbsystem.cxiyempxoldu.ap-northeast-1.rds.amazonaws.com -p 3306 Enter password: ERROR 1045 (28000): Access denied for user ‘nbsystem.cxiyempxoldu.ap-northeast-1.rds.amazona’@’localhost’ (using password: YES)
このエラーメッセージは、MySQL に対して認証エラーが発生したことを示しています。これは、指定されたユーザー名やパスワードが正しくないか、または MySQL サーバーがホスト localhost からの接続を許可していないことが原因 ...
root@531a0c7c5e99:/home/NBSystem# service mysql start * Starting MySQL database server mysqld su: warning: cannot change directory to /nonexistent: No such file or directory [ OK ] root@531a0c7c5e99:/home/NBSystem#
MySQL サーバーは正常に起動しました。エラーメッセージに su: warning: cannot change directory to/nonexistent: No such file or directory が表示されてい ...
root@531a0c7c5e99:/home/NBSystem# ls /etc/init.d/ cron dbus hwclock.sh procps udev x11-common
/etc/init.d/ディレクトリには、MySQL サービスが見つかりませんでした。これは、MySQL サービスがシステムにインストールされていない可能性があります。
MySQL サーバーをインストールするためには、通常 ...
root@531a0c7c5e99:/home/NBSystem# service mysql start mysql: unrecognized service
mysql サービスが認識されていないというエラーが表示されています。これは、お使いのシステムに MySQL サービスがインストールされておらず、または別の名前でサービスが提供されている可能性があることを意味します。
一般 ...
root@531a0c7c5e99:/home/NBSystem# systemctl status mysql System has not been booted with systemd as init system (PID 1). Can’t operate. Failed to connect to bus: Host is down
このエラーメッセージは、システムが systemd を init システムとして起動されておらず、そのため systemctl コマンドを使用できないことを示しています。代わりに、init システムとして sysvinit または別の ...
root@531a0c7c5e99:/home/NBSystem# mysql ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’ (2)
このエラーメッセージは、MySQL クライアントがローカルの MySQL サーバーにソケットを介して接続しようとしているが、MySQL サーバーが見つからない、またはソケットが見つからないことを示しています。
一般的に、M ...
パブリックアクセス可能ってなに?
「パブリックアクセス可能」とは、ネットワークやシステムがインターネット上からアクセス可能であることを意味します。具体的には、特定のポートやプロトコルを介して、外部のネットワークやユーザーがシステムにアクセスできる状態を指します。
ピアリングってなに
VPC ピアリングは、2 つの異なる Amazon Virtual Private Cloud(VPC)間でプライベート IP アドレスを使用して通信するための仕組みです。通常、同じ AWS アカウント内の異なる VPC 間での通信に ...
パブリックアクセスは不可能にしているんだけど
VPC 内って?
RDSでMYSQLの設定方法
Amazon RDS(Relational Database Service)を使用して MySQL データベースをセットアップする手順は次のとおりです。
AWS Management Console にログイン: AWS ...
root@531a0c7c5e99:/home/NBSystem# python3 manage.py makemigrations /usr/local/lib/python3.10/dist-packages/django/core/management/commands/makemigrations.py:105: RuntimeWarning: Got an error checking a consistent migration history performed for database connection ‘default’: (2003, “Can’t connect to MySQL server on ‘nbsystem.cxiyempxoldu.ap-northeast-1.rds.amazonaws.com:3306’ (110)”) warnings.warn( No changes detected
このエラーメッセージは、Django がMySQLデータベースに接続できないことを示しています。エラーコード 2003 は、MySQL サーバーに接続できないことを示しています。
このエラーの原因はいくつか考えられます:
djangoでmysqlへ接続したい。 やり方教えて
Django で MySQL データベースに接続するためには、いくつかの手順が必要です。以下に、接続するための手順を説明します。
MySQL インストール: まず、MySQL データベースをインストールしてセットアップしま ...
root@531a0c7c5e99:/home/NBSystem# python3 manage.py dbshell CommandError: You appear not to have the ‘mysql’ program installed or on your path. root@531a0c7c5e99:/home/NBSystem#
The error message indicates that the ‘mysql’ program is not installed or not available in your systemR ...