当サイトにクローラーを使用する際のルール
当サイトは、当サイトのアクセス増・宣伝に寄与する場合および 検索サイトなどの例外を除いて、BOTによるクロールは基本的には許可しておりません。
数サイト程度のクローリングであれば大目に見ますが、503を発生させるような量のアクセスをすることは 辞めてください。2017.04.08に以下のIPから750アクセス程度の攻撃を受けました。
サイトの運営を阻害する可能性のあるクローリング行為は、原則としてつつしむようにお願いします。
52.15.172.237からツールを使ってアクセスしている人について
今回このような通知を出した理由は、実際に多数のアクセスを当サイトに投げた輩がいるからです。
| IP Address | 52.15.172.237 |
| Host Name | ec2-52-15-172-237.us-east-2.compute.amazonaws.com |
↑のユーザーは、pythonによるツールを利用して当サイトに多数のアクセスをかけてきました。 該当するユーザーは当分(期間は未定です)アクセス禁止とします。もしWebサイトを運営しているのであれば、皆様方もお気をつけください。
アクセスログの一部表示
career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 301 233 "-" "python-requests/2.13.0" career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 200 13019 "-" "python-requests/2.13.0" career-world.net ec2-52-15-172-237.us-east-2.compute.amazonaws.com - - [07/Apr/2017:14:13:59 +0900] "GET /login.php HTTP/1.1" 301 242 "-" "python-requests/2.13.0" （730行程度のアクセスログ、画像などは省略） career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:26 +0900] "GET /errors/404.php HTTP/1.1" 404 8580 "-" "python-requests/2.13.0" career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8662 "-" "python-requests/2.13.0" career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8635 "-" "python-requests/2.13.0" career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8536 "-" "python-requests/2.13.0" career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8515 "-" "python-requests/2.13.0"
※手動であればここまで多量のアクセスはありえません。手動の範囲を大きく超える範囲のアクセスは、他のユーザーの迷惑になるのでつつしんでください。
BOTやクローラを使いたい人へ
当サイトは一部の行儀のよいクローラー(Google、twitterなどの検索に関係あるもの)以外は原則として拒否しています。 BOTなどを使いたい場合は「連絡先」より連絡をお願いします。
