2010.09.02
岡崎市立中央図書館には結局クロールして良いの？(4)
■岡崎市立中央図書館には結局クロールして良いの？
今後は岡崎市立中央図書館のウェブサイトをクローラでアクセスしてよいの？
wgetしちゃっていいの？
波乗野郎しちゃっていいの？
岡崎市立中央図書館はLibrahack氏に謝れよ。本当に。
平成十七年（2005）の設計だから想定していなかったって阿呆ですか。
波乗野郎の発売は1996年だ。wgetもその頃からある。この時点で庶民にクローラ需要があったんだぞ。
俺だって十年前から自動巡回も一括取得も当たり前にやってた。
低品質な製品を発注してしまった責任を取りたくないから認められないのか？
三菱から見返りでももらっていたのか？
合法だけど迷惑行為だったとでも言いたいようだが、迷惑を受けたのは逮捕された側だっての。
今まで落ちなかったのは、たまたまそうやって利用されていなかっただけだろ。
利用者の方におかれましては、情報収集のために使われる手段が、他の利用者に迷惑をかけていないかどうかについて、ご配慮をお願いいたします。
同時１コネクション限度でアクセス毎に１秒ウェイトは十分すぎるほど配慮してるじゃないか。
何百メガバイトものファイルを大量に落としたわけでもない。
頻度も大域も１万円の中古パソコンでもさばける程度のアクセスしかしてないじゃないか。
この図書館は最悪だな。こんなだから逮捕者まで出してしまったんだ。
三菱も悪いが図書館の態度も大きな原因だろう。無知でしたとか言う次元じゃない。
こんな図書館だから、こんな商品発注して、この有様なんだとしか言いようがない。
Permalink | トラックバック(1) | 15:51 
1
■http://anond.hatelabo.jp/20100902155129
このくらいの負荷ならOKでしょって主張する人はなぜかみんな自分１人がそういうアクセスをするならという前提で話してるようだけど、みんながそういう高負荷かけたらどうなるかって発想はないの？
都合のいい時だけ万人に開かれてるシステムなんだからと言うくせに、かける負荷の妥当性については自分ひとりが帯域使った場合の前提で話すとかダブスタじゃないの？
そもそも今回のクローラーもそうだけど、一括取得して負荷かけるようなそれに見合うような使い方を本当にしてるの？
ある程度の負荷に対応するシステムを作るにはコストかかるんだよ。ただじゃないんだよ。
サーチエンジンのクローラーは通常１分数回レベルで抑えてる上に、捕捉されることで多数の人にアクセスされやすくなるといういわばwin-winの関係だけど、個人が作ったクローラーに、相手に対して与えられるメリットってあるの？
今回の状況って、個人用に図書館の目録作りたいんですとかいって図書館の全部の棚の前にびっしり大量の人がはりついて他の人が棚使えなくなってるような状況と一緒でしょう。
ご自由におとりくださいと書いてある店のチラシを１人で無意味にごっそり全部持っていくようなもんだよね。
そりゃ技術的には可能だろう。でも可能なら何でもやっていいの？
何度も何度もシステム落としてるんだから空気読めって話じゃん。
そんだけ負荷をかけたいなら対応コスト費用分ぐらい寄付しなよ。
Permalink | トラックバック(3) | 16:14 
2
■http://anond.hatelabo.jp/20100902161406
システムに不具合が無ければ1秒1アクセスぐらい余裕でさばけたはず。全ての利用者がそういうアクセスをしたらまずいかもしれないけど。
っていうか、１分数回でもcookie食べないと同じトラブルは起きるんじゃないか？だから確かgoogleのクローラ弾いてたんでしょ？
Permalink | トラックバック(0) | 16:27 
2
■http://anond.hatelabo.jp/20100902161406
まったくもってナンセンス。話の桁が違いすぎる。
大域ってテキスト情報の大域なんざ静止画の数百分の一も食わない。音声通話の数万分の一も食わない。動画の百万分の一も食わない。
同様の事を千人でやっても大域に関してはまったく問題が無いという話をしてるんだ。
TCPコネクションにしてもたとえばMicrosoft.comは毎秒平均7000～9000回もの攻撃を受けていると言われる。
Librahack氏は毎秒一回ではなく、アクセス毎に１秒のウェイトを入れていた。瞬時の返答があった場合の最高1回/secに過ぎない。
これが、どんだぇ少ないアクセス頻度だか。HTTPコネクション数に限って言えば１００人がクローラ使ったとしても中古パソコンで裁ける程度の話。
バックエンドDBがあってもそう。オラクル使っといて一人当たり数万アクセス程度でこけるとか無駄遣いもいいところ。
今回の状況って、個人用に図書館の目録作りたいんですとかいって図書館の全部の棚の前にびっしり大量の人がはりついて他の人が棚使えなくなってるような状況と一緒でしょう。
鳴門海峡に割り箸千本さしたら海流が止まってしまったというぐらいナンセンス。常識的に考えてちっとも大量の人ではない。
ご自由におとりくださいと書いてある店のチラシを１人で無意味にごっそり全部持っていくようなもんだよね。
限りあるリソースの占有ではない。チラシをとろうとしたら突然床が抜けて屋根が落ちてきたようなもの。
何度も何度もシステム落としてるんだから空気読めって話じゃん。
まさかこの程度で落ちるわけないし、適切なエラーが返ってこないし、どうなってるんだ？と思っていたら逮捕されました。あまりに理不尽。
そんだけ負荷をかけたいなら対応コスト費用分ぐらい寄付しなよ。
三菱が税金ぼったくって、図書館も税金無駄づかいを知らん振りの怠慢。まともに作れば落ちるようなアクセス頻度ではない。
ビジーも伝えずダウンしといて、エラー返せる余裕も無いほどのDOS攻撃だったなどとは笑止千万。
Permalink | トラックバック(0) | 18:11 
2
■http://anond.hatelabo.jp/20100902161406
図書館に行って必死で目録作ってたら警告なしに通報されて逮捕されたでござる。
図書館と警察が横暴だと思ってたら、コスト負担してない悪者って増田に書かれたでござる。
こういうことかね。
Permalink | トラックバック(0) | 19:40 
コメント
コメントする