当サイトにクローラーを使用する際のルール | キャリアワールド
トップページ < 2016.11.09における一時的なメンテナンスについて

当サイトにクローラーを使用する際のルール

当サイトは、当サイトのアクセス増・宣伝に寄与する場合および 検索サイトなどの例外を除いて、BOTによるクロールは基本的には許可しておりません。

数サイト程度のクローリングであれば大目に見ますが、503を発生させるような量のアクセスをすることは 辞めてください。2017.04.08に以下のIPから750アクセス程度の攻撃を受けました。

サイトの運営を阻害する可能性のあるクローリング行為は、原則としてつつしむようにお願いします。

52.15.172.237からツールを使ってアクセスしている人について

今回このような通知を出した理由は、実際に多数のアクセスを当サイトに投げた輩がいるからです。

IP Address52.15.172.237
Host Nameec2-52-15-172-237.
us-east-2.compute.amazonaws.com

↑のユーザーは、pythonによるツールを利用して当サイトに多数のアクセスをかけてきました。 該当するユーザーは当分(期間は未定です)アクセス禁止とします。もしWebサイトを運営しているのであれば、皆様方もお気をつけください。

アクセスログの一部表示

career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 301 233 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 200 13019 "-" "python-requests/2.13.0"
career-world.net ec2-52-15-172-237.us-east-2.compute.amazonaws.com - - [07/Apr/2017:14:13:59 +0900] "GET /login.php HTTP/1.1" 301 242 "-" "python-requests/2.13.0"
(730行程度のアクセスログ、画像などは省略) career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:26 +0900] "GET /errors/404.php HTTP/1.1" 404 8580 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8662 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8635 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8536 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8515 "-" "python-requests/2.13.0"

※手動であればここまで多量のアクセスはありえません。手動の範囲を大きく超える範囲のアクセスは、他のユーザーの迷惑になるのでつつしんでください。

BOTやクローラを使いたい人へ

当サイトは一部の行儀のよいクローラー(Google、twitterなどの検索に関係あるもの)以外は原則として拒否しています。 BOTなどを使いたい場合は「連絡先」より連絡をお願いします。

広告

新着記事

仕事が多すぎる!仕事が大変なときの対処・対策法伝授!

仕事が多すぎるのは誰もが経験したことがあると思いますが、すべてを受けるべきでしょうか?むしろ、仕事が多すぎたらこちらから動かなければならないと考えています。今回はその方法を公開します。

子どもの教育にアニメってすごくおすすめだよ?おすすめアニメ4選

子供には、教育のためにも絶対にアニメを見せたほうがいい!逆説的かも知れませんが、友達がいるといっぱい成長できるのと同じく、アニメでも成長できるのです。何を見せればいいの?それを掲載します。

サービス終了するソーシャルゲームの見分け方

ゲームのサービス終了が言い渡されたら嫌ですよね?そうならないための自衛策を公開します。サービス終了になって不幸な目に合わないためにも熟読して自衛しよう!

ランダム記事

人生を詰んだ?『フリーター・ニート向け』人生を何度でもやり直す方法

人生を詰んでる?人生はやり直せるのです。やり直すための手段を4つ紹介します。どれもフリーターやニートに無理のないものを厳選しています。フリーター・ニートから脱出したい人必見です。

【まもなく就活生必見】就活に失敗しないための就活準備チェックリスト!

就活を控えている人、「特に」直前の方必見!就活に失敗しないために、就活の準備をしなければいけません。チェックリスト形式で準備することを記述します。

【金融業界/業界研究】銀行業界を知ろう!業界情報のまとめノート

銀行業界の業界研究に最適!業界の情報が満載です。業界の仕事の区分、職種、さらには業界の現状や問題点まで詳しく1つの記事にまとめています。就活生必見の記事です。