当サイトにクローラーを使用する際のルール | キャリアワールド
トップページ < 2016.11.09における一時的なメンテナンスについて

当サイトにクローラーを使用する際のルール

当サイトは、当サイトのアクセス増・宣伝に寄与する場合および 検索サイトなどの例外を除いて、BOTによるクロールは基本的には許可しておりません。

数サイト程度のクローリングであれば大目に見ますが、503を発生させるような量のアクセスをすることは 辞めてください。2017.04.08に以下のIPから750アクセス程度の攻撃を受けました。

サイトの運営を阻害する可能性のあるクローリング行為は、原則としてつつしむようにお願いします。

52.15.172.237からツールを使ってアクセスしている人について

今回このような通知を出した理由は、実際に多数のアクセスを当サイトに投げた輩がいるからです。

IP Address52.15.172.237
Host Nameec2-52-15-172-237.
us-east-2.compute.amazonaws.com

↑のユーザーは、pythonによるツールを利用して当サイトに多数のアクセスをかけてきました。 該当するユーザーは当分(期間は未定です)アクセス禁止とします。もしWebサイトを運営しているのであれば、皆様方もお気をつけください。

アクセスログの一部表示

career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 301 233 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:13:58 +0900] "GET / HTTP/1.1" 200 13019 "-" "python-requests/2.13.0"
career-world.net ec2-52-15-172-237.us-east-2.compute.amazonaws.com - - [07/Apr/2017:14:13:59 +0900] "GET /login.php HTTP/1.1" 301 242 "-" "python-requests/2.13.0"
(730行程度のアクセスログ、画像などは省略) career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:26 +0900] "GET /errors/404.php HTTP/1.1" 404 8580 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8662 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8635 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8536 "-" "python-requests/2.13.0"
career-world.net 52.15.172.237 - - [07/Apr/2017:14:14:27 +0900] "GET /errors/404.php HTTP/1.1" 404 8515 "-" "python-requests/2.13.0"

※手動であればここまで多量のアクセスはありえません。手動の範囲を大きく超える範囲のアクセスは、他のユーザーの迷惑になるのでつつしんでください。

BOTやクローラを使いたい人へ

当サイトは一部の行儀のよいクローラー(Google、twitterなどの検索に関係あるもの)以外は原則として拒否しています。 BOTなどを使いたい場合は「連絡先」より連絡をお願いします。

広告

新着記事

仕事が多すぎる!仕事が大変なときの対処・対策法伝授!

仕事が多すぎるのは誰もが経験したことがあると思いますが、すべてを受けるべきでしょうか?むしろ、仕事が多すぎたらこちらから動かなければならないと考えています。今回はその方法を公開します。

子どもの教育にアニメってすごくおすすめだよ?おすすめアニメ4選

子供には、教育のためにも絶対にアニメを見せたほうがいい!逆説的かも知れませんが、友達がいるといっぱい成長できるのと同じく、アニメでも成長できるのです。何を見せればいいの?それを掲載します。

サービス終了するソーシャルゲームの見分け方

ゲームのサービス終了が言い渡されたら嫌ですよね?そうならないための自衛策を公開します。サービス終了になって不幸な目に合わないためにも熟読して自衛しよう!

ランダム記事

「内定を1か月で」獲得した人による面接の質問集&対策まとめ!

面接の質問は、意外と限られてきます。面接で質問される内容は、ほとんどが実はたったの11種類です。主な11種類の面接の質問の対策と考え方を紹介します。

【就活・業界研究】飲料業界を知ろう!業界情報のまとめノート

鉄道業界の業界研究に最適!業界の情報が満載です。業界の職種、シェア、業界の現状や問題点を簡潔に詳しく1つの記事にまとめています。就活生必見の記事です。

就活で親がウザい!反対する!干渉する!ときに読む記事

就活でのラスボス、親。親は就活ではしばしば正しくない認識を持っています。心配で、良かれと思って妨害してきます。そんな親への対応・説得法を伝授します。